百度大模型加速市場化。
6月6日，百度在成都舉辦了文心大模型技術交流會，會上，百度智能云推出“Comate”代碼助手，并正式開放邀測。
從介紹中可以看到，代碼助手“Comate”可以實現代碼的快速補齊、自然語言推薦代碼、自動查找代碼錯誤，全面提升開發者研發效率。之后，開發者可以通過插件等形式，在主流開發軟件中使用“Comate”代碼助手。
同時在活動現場，百度智能云也公布了大模型業務的新進展。
文心一言方面，3月開始內測兩個月以來，百度文心一言的推理性能已經提升10倍;基于文心千帆大模型平臺提供的完備的工具鏈，文心一言的高性能模式“文心一言-Turbo”推理服務性能已經提升了50倍，目前企業可以在文心千帆大模型平臺上申請測試“文心一言-Turbo/ErnieBot- Turbo” 高性能模式。
此外，文心千帆也在數據導入/任務標注、Prompt管理器、強化學習機制、大模型插件產線、大模型評估、大模型壓縮等等能力上進行了持續升級，同時還能支持更多第三方大模型。
1.推出大模型時代的代碼助手Comate
具體來看，“Comate”代碼助手可以實現編碼、回看、測試等全流程的輔助編碼。比如，在編寫程序時，可實現代碼智能搜索、推薦、自動補全;也可查找代碼錯誤;同時，在測試階段，也可基于代碼直接生成單元測試腳本，實現代碼驗證。
與國外的開發工具相比，“Comate”基于文心大模型在中文理解上的獨特優勢，可以理解代碼中的中文注釋，并通過上下文觸發、語義觸發等能力，完成相應指令，更匹配中國開發者的習慣。
據了解，Comate的研發最早可以追溯到2021年，當時百度云在基于文心大模型進行代碼輔助工具的研究，2022年4月，Comate進行了內測，2022年9月代碼輔助工具開始在百度內部開發中全面應用。
“Comate”代碼助手背后是高質量Github代碼庫以及百度內部代碼的積累。目前，“Comate”覆蓋了30余種編程語言，包含 C/C++、Python、Java等多個主流語言。此外，“Comate”支持程序員最常使用的主流IDE，開發者可以通過插件等形式，在不同軟件中使用“Comate”。“Comate”可確保推理單次請求300ms左右。
現場，百度智能云AI平臺副總經理施恩還使用“Comate”進行了實時演示，并生成了“貪吃蛇”小游戲。演示中可以看到，“Comate”自動聯系上下文理解指令，補全代碼，并在多條推薦代碼之間切換，選擇合適代碼，直接生成了可運行的“貪吃蛇”小游戲。
百度智能云對Comate的產品規劃是：
第一階段主要實現輔助代碼撰寫，目前開發者已經可以通過自然語言的方式寫代碼;
第二階段，“Comate”將在特定領域、場景的自然語言代碼生成;
第三階段將實現全領域的自然語言開發。
百度智能云AI平臺副總經理李景秋告訴「甲子光年」，從整體落地效果來看，目前百度內部，Comate的采納率達到30%-50%，最高有50%的代碼由Comate生成。她也提到，這大大增加了工程師的編碼質量和效率，“以百度的工程師為例，原本更高級別的T6工程師開發的代碼，現在T5、T4的工程師也可以開發出來。”
2.百度千帆大模型再升級
文心千帆大模型平臺是一站式企業級大模型平臺，能夠提供包括文心一言在內的大模型服務，提供開發AI應用的各種工具鏈及整套環境，還支持各類第三方的開源和閉源的大模型。
此次，文心千帆也進行了最新升級，推出了文心一言的高性能模式——ErnieBot-turbo，并在數據標注、調優、插件市場和服務部署方向進行全面迭代：
借助ErnieBot-turbo大模型，一方面可以批量生成標注數據，大大降低數據標注成本;另一方面在一些高頻、核心場景，其推理服務的整體性總共提升了50倍。
大模型調優方面，ErnieBot-turbo大模型支持SFT訓練;同時針對不同場景和效果提供多種訓練方式。
插件市場方面也有了新的動作，百度透露，文心千帆將開放插件協議，能夠讓第三方企業基于插件協議共享插件。比如能源企業，就可以通過插件的方式，給他提供檢索增強的樣板，把內部的數據完全接入，同時實現更好的大模型效果。
服務部署的升級上，百度宣布在整體服務部署上可以支持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模型服務，支持對模型進行評估、壓縮及部署，且還能支持基于應用的QPS分流。
Prompt工程方面，百度千帆目前升級提供一部分預制的Prompt模板，支持Prompt模板的增刪改查，支持參數插值的調用模板，支持通過服務接口形式調用Prompt模板，用于獲得更好的推理效果。
未來，基于文心千帆不斷的升級，百度也將把大模型商業化落地真正落地到不同場景。目前，面向企業市場，文心千帆有公有云服務和私有化部署兩種落地模式。
其中，公有云提供推理、微調、托管三種服務模式面向不同開發能力和不同需求的企業和開發者。比如，通用大模型或者微調出來的行業大模型，都可以直接托管在百度智能云的云端。
私有化部署支持軟件授權、軟硬一體、租賃服務三種交付模式。
軟件授權指的就是，百度智能云將打包的AI軟件系統授權給客戶，由客戶自行搭建部署在本地的數據中心或私有云環境中，百度負責軟件的安裝調試、培訓與維護支持等;企業自己需要具備AI運維能力，并承擔相應的服務器成本。
軟硬一體模式交付成本和價格最高，指的是百度智能云提供包括AI軟件系統授權、配置AI服務器集群、存儲系統交付等整體解決方案的部署、調試和日常的技術支持與維護。租賃模式相對價格沒那么高，指的是百度智能云提供機器和平臺的租賃，訓練完客戶的數據，百度將自己的設備回收。
百度智能云AI平臺副總經理施恩告訴「甲子光年」，目前，軟件授權和軟硬一體是百度智能云優先推進的模式，也是市場主流的模式，同時對百度而言這兩種交付模式也更標準化。
大模型將進一步拉動AI公有云市場的增長，接下來，百度智能云也有機會借此進一步乘勢追擊，進一步收窄與頭部云廠商的差距。
