智東西12月5日報道，今天，以“智能躍進 創造無限”為主題的2024中國生成式AI大會（上海站）正式開幕，大會現場座無虛席。
大會為期兩天，共有50+位嘉賓基于前瞻性視角為大家解構和把脈生成式AI的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。
大會首日，由復旦大學計算機科學技術學院教授、上海市智能信息處理實驗室副主任張奇領銜，17位嘉賓圍繞通用大語言模型、多模態大模型、行業大模型、垂直大模型、智能體、具身智能、大模型對齊與安全、投資風向等前沿議題，分享了最新的研發與實踐經驗。
“大模型技術作為人工智能領域的重要分支，正在不斷推動著產業的創新和轉型。”上海市人工智能行業協會副秘書長徐琦在致辭中表示，“在此背景下，舉辦此次生成式AI大會，旨在進一步推動上海市生成式AI產業的發展，促進院校和研究機構的學術成果傳播，同時，加強與長三角地區優秀企業和機構的聯動交流，共同探索人工智能的未來發展之路。”
▲上海市人工智能行業協會副秘書長徐琦
徐琦指出，上海一直在AI領域扮演著引領者的角色。產業規模方面，上海規模以上AI企業已從2018年的183家增長到2023年的348家，產業規模從1340億元增長到3808億元，居全國前列。創新成果方面，目前上海已有46款大模型通過備案，多款通用人形機器人原型機發布。產業生態方面，上海加快打造創新載體，吸引企業集聚；持續優化算力基礎設施布局，加大算力資源統籌供給；完善語料數據基礎支撐體系。
面向未來，上海將牢牢把握通用人工智能發展機遇，與海內外企業、機構等緊密合作，持續推動人工智能創新發展，加快塑造高質量發展新動能、新優勢。
作為智一科技傾力打造的產業峰會IP，2024中國生成式AI大會由智東西和智猩猩聯合主辦，此次會議超過3000人報名參會，現場座無虛席。中國生成式AI大會已在北京成功舉辦兩屆，此次是中國生成式AI大會首次登陸上海舉辦。
智一科技聯合創始人、CEO龔倫常代表主辦方為大會致辭：“七年前，我們的首屆AI產業大會在上海成功舉辦，正式開啟了我們在AI領域舉辦產業峰會的征程。7年后，我們的生成式AI大會再次回到上海。”他提到與生成式AI大會北京站相比，上海站大會從產業和技術兩個維度，圍繞模型、AI Infra、應用、技術四個方向對內容進行了升級。
▲智一科技聯合創始人、CEO龔倫常
龔倫常還預告了今年以及明年多個重要會議——下月初，第四屆全球自動駕駛峰會將在北京舉辦；2025年上海車展期間也將舉辦產業峰會；2025年，AI芯片、生成式AI等領域品牌峰會將持續舉辦。歡迎大家參會。
一、高端對話：大模型是百年一遇新生產力革命，熱聊資本市場新風向
高端對話環節以“大模型時代，資本市場的新風向”為主題，由智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁主持，靖亞資本合伙人任曉東、BV百度風投執行董事溫永騰、達晨財智晨云子基金合伙人朱翔就生成式AI投資策略、大模型市場格局、大模型商業化路徑等話題分享觀點。
張國仁談道，從社會的發展來看，這一波生成式AI引領的科技發展是百年一遇的新生產力革命，無論是個人交互陪伴，還是生活、工作、學習都在發生一輪新變革。但不管風向如何改變，我們對AI新技術的發展仍保持美好向往。
▲智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁
靖亞資本合伙人任曉東認為，大模型產品分為公有云和私有化兩類，公有云由于技術開源，大廠易實現導致初創公司機會極少；在私有化部署上，初創公司可以根據企業場景進行定制部署，大廠在這方面優勢不明顯。另外，在AI基礎設施軟件領域，創業公司如果選擇開源則難有作為，難以和大廠進行競爭。
他還強調，在AI投資中，合規是第一原則，要符合國家政策法規以及與LP簽訂的協議，什么領域不能投資、什么應該披露等都予以遵守。
▲靖亞資本合伙人任曉東
BV百度風投執行董事溫永騰說，BV自2021年起密集關注生成式AI創企，從最初到現在，一直認為生成式AI會重塑內容生產和分發方式，Diffusion的出現讓他們在多模態領域找到了生數科技以及其他模態方向上的優秀公司。現在，AI Agent的發展使其開始思考對智能勞動力的投資。
Sequoia Capital（紅杉資本美國）分析，去年全球生成式AI的商業化達30億美金。產業中很難看到一個剛開始受關注一年的市場方向，在一年內就實現巨大的收入增長。因為大模型公司普遍都遵從強研發投入的運營模式，融資和商業化都是關鍵問題，尤其是B端商業化的進展還是需要時間和耐心。但他相信實現更大增長的這一天一定會來，只是時間問題。
▲BV百度風投執行董事溫永騰
達晨財智晨云子基金合伙人朱翔談道，國內大模型創企仍在追趕OpenAI的節奏，處于軍備競賽階段，且部分公司因融資問題發展較慢。
生成式AI領域開始涌現與OpenAI不同的訓練方向，如世界模型和具身智能。近期，李飛飛和谷歌DeepMind發布了新世界模型，新的Scaling Law通過合成數據推動更高效的模型生成，可以有效避免Scaling Law放緩的問題。
朱翔說，具身智能是AGI的關鍵載體，但面臨高訓練成本和硬件限制等挑戰。他預測，具身智能量產前可能會經歷2-3年的“瓶頸期”，期間部分公司將退出市場。
▲達晨財智晨云子基金合伙人朱翔
二、大模型的能力邊界在哪？音視頻能力進階，創新架構涌現
在今日大會上，復旦大學計算機科學技術學院教授、上海市智能信息處理實驗室副主任張奇深入解讀了大語言模型的能力邊界及發展思考，MiniMax副總裁劉華探討了大模型今年大模型發展重點的變化，西湖大學助理教授張馳分享了全場景通用的單目深度估計大模型，北京大學（臨港）大模型對齊執行中心主任、北京阿萊門科技有限公司CEO徐驊討論了模型安全。
張奇認為，大模型發展迅速但目前仍處于“記憶階段”。大模型訓練有不同階段，從知識壓縮和表示學習、能力注入到生成式任務能力提升，訓練只需要非常少的數據，完成某個領域知識問答僅需要60條訓練數據，但“怎么加數據”是最難的問題。
▲復旦大學計算機科學技術學院教授、上海市智能信息處理實驗室副主任張奇
他讓大模型做了今年高考數學題后發現，大模型在數學運算中的計算過程和答案選擇不一致。結果表明，模型雖能完成特定任務推理，但并非真正獲得了與人相似的能力。
張奇總結大模型發展有兩條路徑：一是跟隨OpenAI，以替代所有腦力勞動為目標；二是不追求替代通用任務，只完成特定事情。最關鍵的是落地場景選擇和大模型能力邊界判斷。
對于今年大模型領域的變化，MiniMax副總裁劉華認為，與2022-2023年基礎大模型在文本領域能力的飛速提升相比，2024年基礎大模型能力的提升更全面，體現在了文本、語音、音樂、視頻等多個領域。
他表示，目前多模態大模型已賦能我國的千行百業，轉化為新質生產力。比如，MiniMax在國內服務了3萬多家客戶；公司的視頻大模型受到180個國家AI創業者的喜愛，并在文化創意、電商直播等領域得到了成熟應用。
▲MiniMax副總裁劉華
他判斷，多模態大模型仍處于快速發展階段，尚未看到模型能力的上限。面向未來，MiniMax將繼續快速迭代自研的多模態大模型，并聚焦于降低模型錯誤率、實現無限長的輸入和輸出、推動多模態更加自然融合這3個方面。
西湖大學助理教授張馳分享了全場景通用的單目深度估計大模型，在解決傳統單目深度估計方式痛點方面的思考。傳統單目深度估計方式依賴激光雷達等專業設備，數據采集難度大、成本高，導致數據少且分散。基于AI大模型，其可以更高效地利用大數據訓練、視覺大模型先驗和訓練優化范式，從而追求全場景泛化。
▲西湖大學助理教授張馳
同時，他提到Zero-shot單目深度估計方式勝在靈活易搭載，可應用于機器人、自動駕駛、AI文生3D、AI圖生3D等領域。
西湖心辰CEO、西湖大學深度學習實驗室成果轉化負責人醒辰介紹了西湖心辰在AI情感理解與多模態長程對話領域的探索與成果。他們團隊自創立以來便致力于研發超擬人的情商型大模型，以適配各種涉及復雜情感的人機互動場景。旗下自研的多模態通用基座大模型“西湖大模型”采用深度對齊技術與多模態情感識別技術，增強了AI的情感識別與需求理解能力，讓人機長程對話成為現實。
▲西湖心辰CEO、西湖大學深度學習實驗室成果轉化負責人醒辰
今年該公司推出的國內首個端到端通用語音大模型心辰Lingo，補足了語音交互能力，讓AI更像人、懂人心、說人話。這些“超擬人”技術已被應用于心辰旗下的AI心理咨詢陪伴產品“聊會小天”。
大模型創新技術的演進也在加速。RockAI CTO楊華分享了非Transformer架構大模型Yan在端側的實踐。Transformer架構雖在大模型領域取得巨大成功，但人們也開始思考是否過度依賴它以及現有大模型形態的可持續性。
▲RockAI CTO楊華
Yan架構包含類腦激活機制和MCSD，前者參照人腦神經網絡，后者在訓練時可充分利用GPU計算能力，降低功耗。基于此架構的多模態大模型在手機、電腦、機器人、無人機、樹莓派等端側設備上均可部署，且模型具有強大的指令跟隨能力、多應用場景。自主學習、群體智能也是RockAI在大模型領域的思考和探索。
AI應用的安全至關重要。北京大學（臨港）大模型對齊執行中心主任、北京阿萊門科技有限公司CEO徐驊分析了大模型安全與實用性的矛盾，分享了多模態對齊的探索。
▲北京大學（臨港）大模型對齊執行中心主任、北京阿萊門科技有限公司CEO徐驊
徐驊談道，過度追求安全可能犧牲實用性。為此，他提出了價值對齊方案，設定“3H原則”（Helpful、Honest、Harmless）為目標，確保模型符合人類價值觀。他強調，Aligner對齊器方案在多模態場景中平衡安全與實用性，下一步將聚焦提升模型在醫療、教育等領域的適配能力，突破人類專家上限，推動AGI發展。
三、AI落地拐點時刻，智能體、3D生成、具身智能成焦點
大模型的落地應用是2024年的熱點話題，具身智能、3D生成、AI智能體、音樂生成等創新玩法層出不窮。
1、AI Agent已實現具體算法落地，商務場景應用價值凸顯
AI Agent的多模態感知、記憶增強和推理能力正逐步提升，聯匯科技CEO兼首席科學家趙天成談道，行業正在從“LLM-First”轉向更加符合人類認知的“Agent-First”架構。通過新算法，AI Agent能夠在視覺信息不清晰時動態放大畫面并進行信息分析，從而提升多模態感知能力，使7b模型推理精度可以超越gpt-4o大模型，達到接近人類基準的水平。
▲聯匯科技CEO兼首席科學家趙天成
在推理、記憶和感知三個核心場景中，AI Agent已經實現了具體的算法落地。聯匯科技推出了全面開源的Agent框架，通過構建標準化的基本框架支持AI Agent持續優化。
WeMeet薈神基于大模型構建了多智能體商務互聯平臺，WeMeet薈神創始人顧學斌提到AI在商務場景應用具有多方面重要價值。
▲WeMeet薈神創始人顧學斌
例如為商務人士配備的AI助理；在不同語言環境下為商務活動提供支持幫助人們跨越語言障礙進行交流；解決商機生成的問題，讓潛在買家和產業賣家之間的聯系更加緊密；還可以快速生成會議應用等。最后，他還強調了安全問題，要做好生成式AI服務備案，確保商務場景下AI應用穩定、可靠地發展。
2、端到端具身多模態大模型，瞄準機器人泛化
銀河通用機器人聯創合伙人、大模型負責人，北京智源人工智能研究院具身智能PI張直政博士談道，具身智能從模型到產品再到新質生產力，僅關注“任務自動化”還不夠，銀河通用正在追求的是“流程自動化”。而實現這一點的關鍵在于利用大規模仿真合成數據驅動機器人從底層向上實現環境感知與動作技能學習能力的突破。從將3D小模型與動作大模型結合的大模型系統到端到端具身多模態大模型，銀河通用全面布局，重點提升機器人在真實場景中的泛化工作能力。
▲銀河通用機器人聯創合伙人、大模型負責人，北京智源人工智能研究院具身智能PI張直政博士
談及未來，他認為具身智能的發展方向是“機器人大腦、小腦與硬件本體”協同進化，重點關注其在“流程自動化”中的泛化性突破，從而推動機器人在推理與執行任務中更加高效、智能地完成更復雜的移動操作任務。
3、3D、音樂生成到達爆發節點，展現多場景商業化應用潛力
在3D生成方面，VAST CTO梁鼎分析了在大模型加持下，3D AIGC的發展與應用。在他看來，3D和其他多模態大模型發展歷程類似，都會經歷從技術積累到某個時間點爆發的過程，3D目前已經到了爆發節點。
▲VAST CTO梁鼎
他認為3D AIGC在多個場景都能進行商業化應用，如在傳統游戲影視動畫中實現降本增效及帶來新玩法；工業中能實現3D打印定制化生產；社交直播電商等元宇宙領域也可應用，還能用于定制玩具及與教育結合。
2024年是AIGC音樂爆發元年，趣丸科技副總裁賈朔認為，人工智能的創新發展大大降低了音樂創作門檻，國產AI音樂的歌聲自然度更是突破人耳識別閾值，效果比肩美國頭部模型。他分享了人與音樂的AI交互形式的變化，從文生音樂，到三鍵成曲，再到哼唱成曲。今年6月份，天譜樂全球首發多模態音樂生成模型，支持視頻成曲和圖片成曲功能，一鍵根據用戶視頻或圖片生成一首完整的音樂。
▲趣丸科技副總裁賈朔
此外，賈朔在現場首次預告了天譜樂的新功能——MidiRender，模型如同一個精準、可控音樂版的Control Net，可依據原創音樂片段填充歌詞、完成編曲。
4、法律、醫療垂直賽道模型落地，螞蟻加速AI商業化
華院計算大模型和知識推理算法負責人蔡華拆解了華院法律大模型的底層技術架構及其5大主要落地場景。一般的通用大模型不足以覆蓋法律領域的需求，為了讓大模型更適用于法律專業領域，該公司收集了多源異構知識數據，包括6大類型的基礎知識，并以法條和案件為中心節點搭建關系圖譜。
▲華院計算大模型和知識推理算法負責人蔡華
目前，其應用場景主要分為法治業務和法治決策兩大板塊，具體有類案推薦、法條推薦、判決文書生成、普法反詐宣傳數字人一體機和小雪人法律智能助手等。
騰訊優圖實驗室天衍研究中心負責人、專家研究員吳賢提到了目前基于醫療大模型的十大應用場景，包括科室導診、醫生推薦、預問診、醫患對話領域的病情追問、病例生成、出院小結生成、醫藥知識回答、臨床執業醫師考試、藥企內部效率提升以及醫學科普文章生成。
▲騰訊優圖實驗室天衍研究中心負責人、專家研究員吳賢
他還介紹了在減輕大模型幻覺，語言不均衡問題，大模型評測問題，以及多語言，多模態醫學任務上的最新研究進展。
螞蟻集團基礎智能技術部總監趙耀分享了大語言模型在業務中的應用以及如何通過技術手段解決推理效率、可靠性和可用性問題。螞蟻集團通過知識蒸餾和知識遷移，平衡了推理效率與精度，其中蒸餾將大模型知識轉移至小模型，減少計算量并保持精度；知識遷移幫助模型快速適應不同場景，提升應用效果。
▲螞蟻集團基礎智能技術部總監趙耀
此外，螞蟻集團還通過壓縮和剪枝技術降低成本與能耗，提升計算效率，減少硬件投入。公司目標是推動AI商業化，普及應用。
結語：首次落地上海，共探中國生成式AI產業脈搏
除上述嘉賓外，還有6位青年學者和技術專家在下午的端側生成式AI技術研討會上進行了干貨分享和圓桌Panel討論。
繼連續在北京舉辦兩場聚焦生成式AI的高規格創新峰會，今天，智東西與智猩猩首次落地上海聯合舉辦聚焦生成式AI領域的行業盛會，希望通過豐富的議程設置、多元化的嘉賓經驗分享與觀點碰撞，讓大家不虛此行。
明日精彩繼續，25位產學研代表將圍繞AI Infra、AI視頻生成、具身智能等議題，共探中國生成式AI產業的脈搏。
