在國際數(shù)學(xué)奧林匹克 (IMO) 資格考試中，GPT-4o 僅正確解決了 13% 的問題，而 o1 得分為 83%。
OpenAI 也很得意，表示 o1 已經(jīng)達(dá)到AI能力新高度了，所以直接把計(jì)數(shù)重置到1，開啟新的大模型系列 OpenAI o1。
本次 OpenAI o1系列分為三個(gè)型號(hào)，最強(qiáng)但還未發(fā)布的 o1，o1 的預(yù)覽版 o1-preview，和性價(jià)比最高的輕量版 o1-mini。
之前的 GPT 系列還被詬病更新“擠牙膏”，沒想到 OpenAI 一直都是老樣子，不鳴則已一鳴驚人，直接給 AI 界來了個(gè)大大大地震。
這可能是Scaling Law提出以來，LLM領(lǐng)域最重要的發(fā)現(xiàn)。這一進(jìn)展的核心是推理時(shí)間和參數(shù)規(guī)模兩條曲線的協(xié)同作用，而不是單一曲線；
與強(qiáng)化學(xué)習(xí)的完美結(jié)合，可能為我們指明了通往人工通用智能（AGI）的有效路徑（此前AI科技評(píng)論8月28日曾舉辦《大模型時(shí)代的強(qiáng)化學(xué)習(xí)》網(wǎng)絡(luò)研討會(huì)，討論了強(qiáng)化學(xué)習(xí)與大模型的結(jié)合，感興趣的朋友點(diǎn)擊下方鏈接進(jìn)行回看）；
o1 并非 GPT-4o 的升級(jí)版本，目前仍然無法解決像黎曼假設(shè)這樣極其復(fù)雜或開放的問題，也沒能解決幻覺問題。
OpenAI 對(duì)大模型的這次重新構(gòu)想，無疑將對(duì)大模型的未來走向和整個(gè)AI領(lǐng)域的格局產(chǎn)生深遠(yuǎn)影響。
奧特曼表示，o1 是他們迄今為止功能最強(qiáng)大、最一致的模型系列，只是使用的時(shí)候要花更多時(shí)間（凡爾賽了）。
正在休長假、沉寂了一個(gè)月的 OpenAI 的另一位聯(lián)創(chuàng) Greg Brockman 洋洋灑灑寫了一長段推文，表揚(yáng)了 o1 的超強(qiáng)性能，并特別指出 o1 是第一個(gè)使用強(qiáng)化學(xué)習(xí)訓(xùn)練的模型，會(huì)在回答問題之前進(jìn)行深入的思考。
參與研發(fā)o1的 Shengjia Zhao 很謙虛地表示，o1 并不是完美的，也不會(huì)適合所有事情。不過人們能感受到它潛力無限，并再一次感受到 AGI。
他還提到了兩篇近期發(fā)表的關(guān)于 Scaling Law 的論文，并指出 OpenAI 早已意識(shí)到這一點(diǎn)，并通過 o1 證實(shí)了這些發(fā)現(xiàn)。
大模型的泛化能力和背景知識(shí)與強(qiáng)化學(xué)習(xí)的交互學(xué)習(xí)和任務(wù)優(yōu)化相結(jié)合，可以創(chuàng)建出能夠更好地適應(yīng)復(fù)雜環(huán)境、解決多任務(wù)問題、并提供更高效和可解釋決策的智能系統(tǒng)。這種互補(bǔ)性使得兩者的結(jié)合成為推動(dòng)人工智能發(fā)展的重要方向。
o1 大模型的發(fā)布，首次證明了語言模型可以進(jìn)行真正的強(qiáng)化學(xué)習(xí)。而 OpenAI 的一位研究員說，o1 證明了強(qiáng)化學(xué)習(xí)才是通往 AGI 道路上的必備要素（RL研究者狂喜）。
OpenAI 另一位專注推理的研究員也說，通過強(qiáng)化學(xué)習(xí)，o1 能夠在做出反應(yīng)進(jìn)行“思考”，讓他們不用再受預(yù)訓(xùn)練的瓶頸限制，終于可以做擴(kuò)展推理計(jì)算了。
強(qiáng)化學(xué)習(xí)和LLM可以說是非常適配了，只不過在 o1 之前還沒有人能用 LLM 真正實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)。
DeepMind 的新論文也有提到，與監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)可以更好地利用序列結(jié)構(gòu)、在線數(shù)據(jù)并進(jìn)一步提取獎(jiǎng)勵(lì)。
領(lǐng)導(dǎo) DeepMind 強(qiáng)化學(xué)習(xí)研究小組的David Silver，也在前段時(shí)間的演講中強(qiáng)調(diào)，“需要重新關(guān)注強(qiáng)化學(xué)習(xí)，才能走出 LLM 低谷。”
Andrej Karpathy 在測(cè)試后發(fā)推特說，o1-mini 還是有大模型的老毛病，問它黎曼假設(shè)這類復(fù)雜問題就偷懶逃避。
他尖銳地點(diǎn)出了 o1 的八條問題，從多個(gè)方面批評(píng)了o1模型的細(xì)節(jié)披露不足、改進(jìn)不夠全面，認(rèn)為實(shí)際測(cè)試與宣傳間存在差距，并提醒消費(fèi)者要慎重。
Hugging Face 的 CEO 也表示，AI 并不是在思考，只是在在“處理”、“運(yùn)行預(yù)測(cè)”……和谷歌或者計(jì)算機(jī)做的事情是一樣的。這種技術(shù)系統(tǒng)是人類的錯(cuò)誤印象，只是廉價(jià)的騙術(shù)和營銷手段，讓人誤以為它比實(shí)際更聰明。
OpenAI 自己也承認(rèn)了 o1 的不足。在一些自然語言任務(wù)測(cè)試中，尤其是寫作能力方面，GPT-4o 還是更勝一籌。
著名程序員、Django Web 框架的聯(lián)合創(chuàng)建者 Simon Willison 在推特上收集在 GPT-4o 上推理失敗，但在 o1 成功的例子，只找到了幾個(gè)讓他滿意的案例。他認(rèn)為從推理來看，o1 并不是 GPT-4o 的升級(jí)版。
他在博客中寫道，o1 并不是簡單的 GPT-4o 升級(jí)版，而是通過在成本和性能方面引入重大權(quán)衡，換取了更進(jìn)一步的推理能力。
很明顯，o1 和 GPT-4o 代表大模型的兩個(gè)不同方向。OpenAI 也提到，以后會(huì)分別研發(fā)升級(jí)兩個(gè)模型，這意味著，過去適用于 GPT-4o 的 Prompt 技巧未必同樣適用于 o1。
elvis 做了詳細(xì)測(cè)試，他提到 o1-preview 能夠一次性解決很多難以回答的問題，包括很多當(dāng)前大型語言模型（LLMs）難以處理的數(shù)學(xué)問題。
OpenAI 首席研究官 Bob McGrew 在The Verge的采訪中說，“從根本上說，o1 是一種新的模型模式，能夠解決真正困難的問題，從而達(dá)到與人類相似的智能水平。”雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
o1-preview和o1 mini已經(jīng)帶給我們這么多驚喜，不敢想最后發(fā)布的o1到底能有多強(qiáng)悍，讓我們拭目以待。
上一篇：Demis Hassabis：人類的未來是實(shí)現(xiàn) AGI 自由的未來