近日，OpenAI 創(chuàng)始人Sam Altman與 Humanloop CEO Raza Habib 以及其他 20 位開發(fā)者面對面進行了一場閉門交流，交流中他們討論了 OpenAI 的近況與未來的規(guī)劃。HumanLoop 是一家?guī)椭_發(fā)者在大語言模型上構(gòu)建應(yīng)用的公司。
有參加了此次交流會的開發(fā)者表示，因為這是閉門交流會，所以 Altman 在交談中表現(xiàn)出了開放的心態(tài)，討論內(nèi)容既涉及開發(fā)者面臨的實際問題，也延伸到了商業(yè)競爭、AI 監(jiān)管和開源等問題。
此次對話的重點內(nèi)容被 Raza Habib 記錄了下來并公布在了網(wǎng)絡(luò)上。但隨后，應(yīng)OpenAI的要求，此內(nèi)容已被刪除。然而，這一刪帖的舉動引發(fā)了外界的強烈好奇和質(zhì)疑。
有網(wǎng)友表示：“一家從互聯(lián)網(wǎng)上收集信息做產(chǎn)品的公司，居然要求從互聯(lián)網(wǎng)上‘刪除’一篇文章，這種行為真的很諷刺。”
外界紛紛猜測OpenAI刪帖的原因，在 HackNews 上，一位現(xiàn)場的參會者認為之所以刪帖是因為 OpenAI 不希望在公開場合談?wù)撘恍┕局攸c規(guī)劃。
也有網(wǎng)友認為，OpenAI 這種行為有炒作的嫌疑，畢竟 GPU 不足已經(jīng)不再是什么秘密了，看看英偉達的股價就知道了。
OpenAI 也嚴重依賴 GPU
在 Altman 與 Raza 的討論中證實，目前 OpenAI 正受到GPU資源的嚴重限制，導致不少短期計劃已經(jīng)被迫推遲。幾家大客戶還抱怨了 API 的可靠性和速度表現(xiàn)。Altman 認同這些意見，并解釋稱主要問題源自 GPU 供應(yīng)不足。
更長的 32k 上下文還無法全面推廣。OpenAI 還沒能克服 O(n^2)注意力擴展問題，所以盡管 10 萬到百萬級 token 的上下文窗口預計將在今年內(nèi)實現(xiàn)，但進一步擴展還需要突破性研究的加持。
微調(diào) API 目前同樣受到 GPU 資源的限制。因為還沒用上 Adapters 或 LoRa 等高效微調(diào)方法，所以 OpenAI 的微調(diào)運行和管理仍須占用大量算力。未來微調(diào)的支持效果會更好，OpenAI 甚至可能為社區(qū)貢獻模型設(shè)立專門的市場。
專用容量產(chǎn)品也無法獨善其身。OpenAI 目前提供專用容量，為客戶提供模型的私有副本。但要獲取這項服務(wù)，客戶需要預先支付 10 萬美元。
在大語言模型和AIGC大爆發(fā)后，各 AI 企業(yè)對于 GPU 的需求比以往任何事時候都要緊迫。英偉達的高端 GPU 芯片價格已經(jīng)達到了每片數(shù)萬美元，AI 基礎(chǔ)設(shè)施公司正在以數(shù)萬臺的價格購買它們。
馬斯克也曾表示他已經(jīng)為他的新 AI 初創(chuàng)公司 X.AI 購買了 3 萬多塊英偉達頂級的 H100 GPU 芯片，每個價格超過 3 萬美元。此外，Meta 和微軟已經(jīng)是今年英偉達GPU 的最大買家之一(Meta 可能排名第一，因為Facebook、Instagram、WhatsApp 和 Messenger 應(yīng)用程序中有很多 AI 增強的東西要用到 GPU)。
這就是為什么從 Sam Altman 會表示 OpenAI 也很缺 GPU 的原因。Sam Altman 也曾在媒體采訪中公開強調(diào)過 GPU 的可用性如何影響 OpenAI 今年及以后的計劃。
OpenAI 的短期路線圖
除了強調(diào) GPU 的重要性外，Altman 還分享了 OpenAI 的 API 近期路線圖(暫定)。
Altman 表示，2023 年是 OpenAI 發(fā)展的重要一年，他們有一些令人興奮的計劃和目標。
價格更低、速度更快的 GPT-4——這將是 OpenAI 接下來的首要任務(wù)。總體而言，OpenAI 希望盡可能降低“智能實現(xiàn)成本”，因此將隨時間推移不斷控制 API 價格。
更長的上下文窗口——在不久的未來，上下文窗口將擴展至高達百萬 token。
微調(diào) API——微調(diào) API 將被擴展至最新模型，但具體形式還是要根據(jù)開發(fā)者的實際需求來決定。
有狀態(tài) API——如今在我們調(diào)用聊天 API 時，需要反復提交相同的對話歷史并一次又一次為相同的 token 付費。未來，OpenAI 將發(fā)布能夠記住對話歷史記錄的 API 版本。2024 年將是 OpenAI 全面擁抱多模態(tài)性的一年。GPT-4版本就演示了一部分多模態(tài)功能。這意味著模型將能夠處理多種類型的輸入數(shù)據(jù)，例如文本、圖像、音頻和視頻。但在 GPU 資源匱乏問題得到緩解之前，這項功能還無法面向所有用戶開放。
插件“尚未完成市場匹配”，可能不會很快出現(xiàn)在 API 中
不少開發(fā)人員都想通過 API 訪問 ChatGPT 插件，但 Altman 表示這類插件在短期內(nèi)不會發(fā)布。除了瀏覽等簡單場景之外，插件的實際使用情況表明還沒有找到理想的產(chǎn)品市場契合點。在他看來，很多人說是希望在 ChatGPT 中開發(fā)應(yīng)用，但真正想要的其實是把 ChatGPT 納入他們的應(yīng)用。
OpenAI 承諾不會動客戶的“奶酪”
不少開發(fā)人員擔心 OpenAI 最終可能發(fā)布與其產(chǎn)品構(gòu)成競爭關(guān)系的新成果，所以在使用 OpenAI API 做開發(fā)時頗感緊張。Altman 強調(diào) OpenAI 不會發(fā)布除ChatGPT以外的其他產(chǎn)品。
Altman 承認做平臺的巨頭企業(yè)確實掌握著不少殺手級應(yīng)用程序，而 ChatGPT 的目標是把這些企業(yè)轉(zhuǎn)化成客戶來改進 API。ChatGPT 只想成為工作場景下的超級智能助手，OpenAI 也不會涉足眾多其他 GPT 用例。
需要監(jiān)管，但也需要開源
雖然 Altman 呼吁對未來的模型加以監(jiān)管，但他覺得當前的模型并沒有什么風險，并認為粗暴監(jiān)管甚至封禁絕對是個大錯誤。他重申了自己對于開源重要意義的信念，并表示 OpenAI 正在考慮開源 GPT-3 模型。之所以目前還沒有開源，主要原因是他擔心絕大多數(shù)個人和企業(yè)都沒有能力托管和運行這種大語言模型。
擴展定律仍然成立
最近，不少文章宣稱“超大規(guī)模 AI 模型的時代已經(jīng)終結(jié)”，Altman 對此做出了糾正。
OpenAI 的內(nèi)部數(shù)據(jù)表明，模型性能仍然遵循擴展定律(The scaling laws)，即擴大模型規(guī)模將帶來更高的性能。問題在于擴展的速度將無法維持，因為 OpenAI 在短短幾年內(nèi)已經(jīng)把模型放大了數(shù)百萬倍，而這顯然不是一條能夠長期走下去的道路。
OpenAI 仍會繼續(xù)打造出體量更大的模型，只是具體規(guī)模可能每年增加 1 到 3 倍，而不再像之前那樣迅速跨越幾個數(shù)量級。
擴展定律仍然有效這一事實，對于 AGI(通用人工智能)的發(fā)展時間表有著重大影響。擴展定律其實是一種假設(shè)，即我們可能已經(jīng)擁有了建立 AGI 所需要的大部分底層技術(shù)，剩余工作只是運用現(xiàn)有方法并擴展出更大的模型和數(shù)據(jù)集。如果擴展時代就此結(jié)束，那我們也許得重新探索通往 AGI 的前進方向。好在定律仍在，很大程度上預示著 AGI 橫空出世的時間也許已為期不遠。
參考鏈接：
https://web.archive.org/web/20230531203946/https://humanloop.com/blog/openai-plans
本文轉(zhuǎn)載來源：
https://www.infoq.cn/article/xZaNyw2QsZcxmNXUvkZv
