OpenAI 正尋求新方法對抗“AI 幻覺”
據 CNBC 報道，本周三，OpenAI 宣布計劃采取一種新的 AI 模型訓練方法，以解決“AI 幻覺”難題。
“AI 幻覺”指的是聊天機器人用編造的信息進行回應，這是 AI 的自信反應。當模型有“幻覺”(輸出欺騙性數據的傾向)時，其使用的的訓練數據并不能證明輸出的合理性。比如，ChatGPT 或 Bard 等模型有時看似在滔滔不絕陳述事實，但實際內容卻是“一本正經胡說八道”。
OpenAI 研究人員在報道中寫道，“即使是最先進的模型也很容易生成虛假信息——在不確定情況時，它們往往表現出捏造事實的傾向。這種幻覺在需要多步推理的領域尤其嚴重，其中一個環(huán)節(jié)上的邏輯錯誤就足以破壞整個解答過程。”
OpenAI 為幻覺問題提出了新的策略：在 AI 模型訓練當中設置新的獎勵機制，不僅獎勵其獲得正確的最終結論，更要獎勵它們在得出答案的過程中做出的每個正確推理步驟。
研究人員表示，這種方法被稱為“過程監(jiān)督”，而非“結果監(jiān)督”。由于能夠鼓勵模型更多遵循人類的“思維”方法鏈，所以過程監(jiān)督方法也許能提高 AI 輸出的可解釋性。
OpenAI 公司數學生成(mathgen)研究員 Karl Cobbe 在采訪中指出，“檢測和緩解模型中的邏輯錯誤或者幻覺，將是構建高一致性 AGI(通用人工智能)的關鍵一步。”雖然 OpenAI 之前沒有發(fā)明出過程監(jiān)督方法，但如今亡羊補牢，為時未晚。“這項研究的動機在于解決幻覺問題，使得模型具備解決挑戰(zhàn)性推理問題的強大能力。”
Cobbe 還提到，OpenAI 已經發(fā)布一套附帶數據集，其中包含 80 萬個人類標注，用于訓練研究論文中描述的這套模型。
解決“AI 幻覺”難題任重道遠
隨著 AI 技術得到廣泛應用，“AI 幻覺”帶來的潛在問題也開始浮現，并引發(fā)大眾擔憂。
以谷歌 2 月發(fā)布Bard時的宣傳為例，這款聊天機器人對詹姆斯·韋伯太空望遠鏡做出了錯誤描述。最近，ChatGPT 又在紐約聯邦法院一份文件中引述了“不存在的”案件，涉案律師可能因此面臨處罰。
美國律師 Steven A. Schwartz 向 ChatGPT 求助，想要為自己訴哥倫比亞國家航空一案找點支持案例，ChatGPT 卻給出了根本不存在的判例建議。Schwartz 聲稱他“沒有意識到 ChatGPT 給出的內容可能是假的”。但從他跟機器人的聊天記錄來看，他還是保持了一絲懷疑，想要進一步檢查這些信息。但很遺憾，他選擇詢問 ChatGPT 來確認內容真實性，系統(tǒng)則再次做出誤導，向他保證這些虛構判例完全真實合法。
此前在接受《紐約時報》采訪時，OpenAI 的聯合創(chuàng)始人 Ilya Stutskever 曾坦言 AI 幻覺是個大問題，但很有可能被“治愈”：我們現在的做法是雇人教會 ChatGPT 如何表現。你只需要與它互動，它就能從你的反應中推斷出你想要的東西，比如，你對輸出結果不滿意。因此，它應該在下一次做些不同的事情。我認為這種方法很有可能(a quite a high chance)完全解決幻覺的問題。
隨著 OpenAI 最新 AI 模型訓練方法的公布，如何解決“AI 幻覺”難題再次引發(fā)討論。
電子隱私信息中心高級顧問兼 AI 與人權項目負責人 Ben Winters 對 OpenAI 的訓練方法表示懷疑，稱實際效果要在檢查了完整的數據集和隨附示例后才能確定。
Winters 強調，“我只是覺得單憑這一種措施，不足以在實際應用場景當中顯著降低 AI 生成錯誤信息和不正確結果的問題……另外，他們會不會把研究成果全面納入產品也非常重要。如果不是，這反而會引發(fā)其他嚴重問題，比如操縱模型有選擇地向公眾發(fā)布信息。”
考慮到還不清楚 OpenAI 論文有沒有經過同行評審或者其他形式的評審，布朗大學技術責任中心主任 Suresh Venkatasubramanian 認為這項研究的意義更多在于初步觀察，而非實際應用。
Venkatasubramanian 指出，“在對此給予肯定之前，首先得等待這項成果在研究領域得到證實。這個世界上，很多結果總會定期出現。因為大語言模型的工作方式總體上并不穩(wěn)定，所以在某一種設置、模型和上下文中起效的東西，很可能在另一種設置、模型和上下文中毫無作用。人們最擔心的「幻覺」，其實是模型可能捏造的引用和參考資料。但文中沒有能解決這個問題的證據。……我不是說一定解決不了，只是說這篇論文缺乏相關證據。”
在強調 ChatGPT 局限性方面，OpenAI 做得還不夠
OpenAI 能夠意識 ChatGPT 的“AI 幻覺”問題，但在強調 ChatGPT 局限性方面，OpenAI 做得還不夠。
在 ChatGPT 的主頁上，OpenAI 發(fā)布的一條警告內容稱“可能偶爾會產生不正確信息”，這也是其系統(tǒng)功能和局限性部分的九條須知之一。但這條警告內容放在任何信息源上都同樣適用，對于 ChatGPT 這樣一種強大、身處炒作大潮的風口浪尖且容易被嚴重誤解的技術成果，OpenAI 在引導用戶方面做得還遠遠不夠，OpenAI 應該投入更多精力，明確強調 ChatGPT 無法穩(wěn)定區(qū)分事實和“幻覺”。
據 The Verge 報道，過去幾個月間，很多人都被 ChatGPT 的“胡說八道”所愚弄和影響。值得慶幸的是，大多數案例都微不足道，幾乎沒有造成負面沖擊，ChatGPT 最多也就是捏造了一篇新聞報道、一篇學術論文或者一本不存在的書。但在個別案例中，ChatGPT 的錯誤信息確實可能引發(fā)嚴重后果。
今年 5 月，得克薩斯州農工大學的一位教授就使用聊天機器人檢查學生是不是在靠 AI 寫水文章。ChatGPT 倒是非常熱情，表示所有論文都是由 AI 生成的，但卻拿不出什么真憑實據。教授深信不疑而且大為光火，威脅要讓學生們掛科甚至畢不了業(yè)，好在最終大家發(fā)現了這個錯誤。
這些事件并不會徹底毀掉人們對于 ChatGPT 等聊天機器人的期待和認可。只要配合正確的場景和適當的保護措施，這些 AI 工具仍然能在信息檢索等任務中發(fā)揮巨大作用。目前也有各種有趣的研究正在推進，表明此類系統(tǒng)也許能在未來更好地尊重客觀事實。
但當下，這類 AI 產品的局限性需要引起人們足夠的重視。企業(yè)需要向大眾強調 AI 產品的局限性，媒體也需要承擔相應的報道責任。
干預措施并不需要特別復雜，但必須得有。比如，為什么 ChatGPT 無法識別用戶想要的是事實性依據，并提醒對方“請注意檢查信息來源”?在用戶要求它判斷特定文本是否由 AI 生成時，ChatGPT 為什么就不能明確表示“對不起，我沒有能力做出判斷”?
當然，OpenAI 一直在努力改進這些問題。自 ChatGPT 推出以來，它已經變得越來越坦率、會直言自己存在局限性。最經典的表述就是“作為一個 AI 語言模型，我……”。但不一致問題仍然存在，比如，當問它“你能檢測出 AI 生成的文本嗎?”它回答說“檢測結果不一定準確。”但向它輸入了一大段內容，并提出同樣的問題時，它只是簡單回答“是的，這段文字是由 AI 生成的。”
此外，當要求 ChatGPT 提供一份測量專業(yè)書籍推薦清單時，它給出的答案共有 10 本書，其中不少質量很高，但有 2 本則是完全虛構的。如果不是在刻意檢查，可能根本就不會注意到這個問題。當用戶和 ChatGPT 交流多了，并且驗證后就會發(fā)現，ChatGPT 這類 AI 產品經常“胡說八道”。
面對這樣的現狀，“可能偶爾會產生不正確信息”之類的免責聲明顯然遠遠不夠。
參考鏈接：
https://www.cnbc.com/2023/05/31/openai-is-pursuing-a-new-way-to-fight-ai-hallucinations.html
https://www.theverge.com/2023/5/30/23741996/openai-chatgpt-false-information-misinformation-responsibility
本文轉載來源：
https://www.infoq.cn/news/RL7iFW2SqO0Ppv4msCsL
