Meta 開(kāi)發(fā)出文生圖模型 CM3Leon
近日，Meta 公司宣布開(kāi)發(fā)出一款名為 CM3Leon(發(fā)音類似「chameleon」)的文生圖模型，該模型能夠獨(dú)力解決文本到圖像和圖像到文本的雙向生成任務(wù)。
Meta 表示：“在打造高質(zhì)量生成模型的探索之路上，我們相信 CM3leon 在各類任務(wù)中的強(qiáng)大性能，正是邁向高保真度圖像生成與理解的重要一步。像 CM3leon 這樣的模型終將成為元宇宙中的創(chuàng)造力源泉與應(yīng)用成果，我們也期待繼續(xù)突破多模態(tài)語(yǔ)言模型的新疆界、未來(lái)將更多優(yōu)秀模型呈現(xiàn)在大家面前。”
據(jù)介紹，CM3leon 是首個(gè)使用純文本語(yǔ)言模型配方改編和訓(xùn)練而成的多模態(tài)模型，并經(jīng)歷了大規(guī)模檢索增強(qiáng)預(yù)訓(xùn)練和隨后的多任務(wù)監(jiān)督微調(diào)(SFT)階段。與 Stable Diffusion、DALL-E、Midjourney 等文生圖模型依賴于擴(kuò)散(diffusion)模型技術(shù)不同，CM3Leon 采用了基于 token 的自回歸模型方法。
Meta 表示，盡管訓(xùn)練時(shí)的計(jì)算量?jī)H相當(dāng)于以往基于 Transformer 方法的五分之一，但 CM3leon 在文本到圖像的生成方面還是獲得了同類領(lǐng)先的性能。CM3leon 既具備自回歸模型的功能多樣性和有效性，也保持著較低的訓(xùn)練成本和良好的推理效率。作為一套因果掩碼混合模態(tài)(CM3)模型，它能夠以其他圖像和文本內(nèi)容的任意序列為條件，生成相應(yīng)的文本與圖像序列。這極大擴(kuò)展了以往大模型只能從文本到圖像、或者只能從圖像到文本的功能局限。
一般來(lái)講，純文本生成模型往往會(huì)針對(duì)各類不同任務(wù)進(jìn)行多任務(wù)指令調(diào)整，借此增強(qiáng)其遵循指令提示的能力;而圖像生成模型則更多適配特定任務(wù)。Meta 將大規(guī)模多任務(wù)指令調(diào)節(jié)運(yùn)用到 CM3leon 的圖像和文本生成當(dāng)中，事實(shí)證明能夠顯著提高圖像標(biāo)題生成、視覺(jué)問(wèn)答、基于文本的圖像編輯和按條件生成圖像等能力。這也成為強(qiáng)有力的實(shí)例，證明為純文本模型開(kāi)放的擴(kuò)展配方也能直接推廣到基于 token 化的圖像生成模型當(dāng)中。
Meta 稱，與目前廣泛使用的圖像生成基準(zhǔn)(零樣本 MS-COCO)進(jìn)行性能比較時(shí)，CM3leon 獲得了 4.88 的 FID(Fréchet Inception Distance，一種用于計(jì)算真實(shí)圖像與生成圖像間特征向量距離的指標(biāo)，F(xiàn)ID 值越小則相似度越高，最好為 0)，超越谷歌的文本到圖像模型 Parti，證明了自身技術(shù)的先進(jìn)性。
此外，CM3leon 還表現(xiàn)出令人印象深刻的復(fù)雜組合對(duì)象生成能力。CM3leon 在各類視覺(jué)語(yǔ)言任務(wù)中均表現(xiàn)良好，包括視覺(jué)問(wèn)答和生成長(zhǎng)格式標(biāo)題。由于訓(xùn)練數(shù)據(jù)集僅包含 30 億文本 token，因此 CM3leon 的零樣本性能也超越了由更廣泛數(shù)據(jù)集訓(xùn)練而成的、體量更大的其他模型。
CM3leon 是如何打造出來(lái)的?
據(jù)介紹，CM3leon 架構(gòu)采用的是類似基于文本類模型、已經(jīng)成熟的純解碼器 Transformer。但它的獨(dú)特之處，在于能夠同時(shí)輸入和生成文本加圖像。正是憑借這種能力，CM3leon 才得以成功解決前文提到的各項(xiàng)任務(wù)。
訓(xùn)練方面，Meta 表示，通過(guò)一系列努力，CM3leon 的訓(xùn)練檢索得到了增強(qiáng)，大大提高了模型成果的效率和可控性。此外，Meta 還根據(jù)各種不同圖像和文本生成任務(wù)對(duì)模型進(jìn)行了指令微調(diào)。
隨著 AI 行業(yè)的不斷發(fā)展，像 CM3leon 這樣的生成模型正變得越來(lái)越復(fù)雜。這些模型通過(guò)數(shù)百萬(wàn)的示例圖像接受訓(xùn)練，學(xué)習(xí)視覺(jué)效果與文本之間的關(guān)系，但同時(shí)也可能反映訓(xùn)練數(shù)據(jù)集中存在的偏差/偏見(jiàn)。Meta 稱，目前 AI 行業(yè)仍處于理解和應(yīng)對(duì)這些挑戰(zhàn)的早期階段，提升透明度才是加速解決這些問(wèn)題的關(guān)鍵。
Meta 使用許可數(shù)據(jù)集作為 CM3leon 的訓(xùn)練素材。在預(yù)訓(xùn)練階段，Meta 使用了數(shù)百萬(wàn)張來(lái)自 Shutterstock 的授權(quán)圖片，有著高達(dá) 70 億個(gè)參數(shù)，這也達(dá)到了 OpenAI EALL-E2 模型的兩倍以上。
Meta 方面表示：“在文本到圖像生成領(lǐng)域，圖像數(shù)據(jù)來(lái)源的道德影響已經(jīng)引發(fā)了廣泛的討論。在這一研究中，我們只使用 Shutterstock 上的經(jīng)過(guò)授權(quán)的圖像，因此可以避免與圖像所有權(quán)和歸屬相關(guān)的擔(dān)憂，同時(shí)不會(huì)犧牲性能。”
事實(shí)證明，即使使用與先前所有模型的訓(xùn)練數(shù)據(jù)都截然不同的數(shù)據(jù)分布，仍可實(shí)現(xiàn)強(qiáng)大的性能。通過(guò)全工作流程的透明展示，Meta 希望鼓勵(lì)生成式 AI 領(lǐng)域能夠迎來(lái)更多合作與創(chuàng)新，打造出不僅更準(zhǔn)確、而且對(duì)每個(gè)人都更加公平和公正的 AI 模型。
CM3leon 的跨任務(wù)執(zhí)行
CM3leon 的強(qiáng)大之處在于更好地遵循輸入提示以生成更連貫的圖像。例如，多數(shù)原有圖像生成模型都難以準(zhǔn)確還原全局形態(tài)和局部細(xì)節(jié)，而 CM3leon 在這方面表現(xiàn)出色，以下是 CM3leon 在各類任務(wù)中的表現(xiàn)(所有任務(wù)均由單一模型處理完成)
文本引導(dǎo)的圖像生成與編輯
一般來(lái)說(shuō)，如果約束條件要求將復(fù)雜的對(duì)象或提示全部體現(xiàn)在輸出結(jié)果中時(shí)，圖像生成模型往往難以很好地完成工作。這就讓文本引導(dǎo)的圖像編輯(例如“將天空的顏色更改為蔚藍(lán)色”)更具挑戰(zhàn)，因?yàn)槟Ｐ托枰瑫r(shí)理解文本指令與視覺(jué)內(nèi)容。CM3leon 在這類場(chǎng)景下表現(xiàn)良好，具體請(qǐng)參考以下示例。
文本到圖像
給定具有潛在高組合度結(jié)構(gòu)的提示文本，生成遵循提示的連貫圖像。
例如，CM3leon 根據(jù)提示詞創(chuàng)建了以下四幅圖像：
撒哈拉沙漠中戴著草帽和彩色太陽(yáng)鏡的小仙人掌;
人手特定照片，高質(zhì)量手部模型;
動(dòng)漫風(fēng)格的浣熊角色準(zhǔn)備用武士刀展開(kāi)戰(zhàn)斗，蓄勢(shì)待發(fā)，幻想風(fēng)，插圖風(fēng)格;
奇幻風(fēng)格的停車標(biāo)志，內(nèi)容為“1991”。
文本引導(dǎo)的圖像編輯
給定圖像與文本提示，根據(jù)文本說(shuō)明對(duì)圖像內(nèi)容做編輯處理。憑借強(qiáng)大的通用性，CM3leon 能夠在單一模型之上完成以上與以下各項(xiàng)任務(wù)，這全面突破了以往只能借專用模型(例如 InstructPix2Pix)進(jìn)行文本引導(dǎo)圖像編輯的局限。
文本任務(wù)
CM3leon 模型還能按照一系列不同揭示詞生成或短或長(zhǎng)的標(biāo)題，并回答關(guān)于圖像內(nèi)容的問(wèn)題。
例如，圖像內(nèi)容為一只狗叼著一根棍子。
提示問(wèn)題: 狗叼著什么?
模型輸出: 棍子
提示詞: 詳細(xì)描述這張圖像的內(nèi)容。
模型輸出: 在這張圖片中，有一只狗嘴里叼著一根棍子。地面有草覆蓋，背景中是一片林地。
Meta 還根據(jù)經(jīng)驗(yàn)評(píng)估了這套指令微調(diào)模型在各種圖像標(biāo)題生成和視覺(jué)問(wèn)答任務(wù)中的表現(xiàn)，并將結(jié)果與之前最先進(jìn)的性能基準(zhǔn)進(jìn)行了比較。盡管 CM3leon 模型的文本數(shù)據(jù)量明顯低于 Flamingo(100B)和 OpenFlamingo(40B)，但其在 MS-COCO 字幕與 VQA2 問(wèn)答上的零樣本性能水平仍與 OpenFlamingo 相當(dāng)，甚至在 VizWiz 任務(wù)上以接近 10 分的成績(jī)擊敗了 Flamingo 模型。
結(jié)構(gòu)引導(dǎo)的圖像編輯
結(jié)構(gòu)引導(dǎo)的圖像編輯不僅要求模型正確理解并解釋文本指令，還需要在輸入中自行獲取結(jié)構(gòu)或布局信息。而 CM3leon 同樣展現(xiàn)出強(qiáng)大能力，在對(duì)圖像進(jìn)行視覺(jué)連貫且匹配背景的編輯的同時(shí)，也能嚴(yán)格遵守給定的結(jié)構(gòu)或布局指引。
物體到圖像
根據(jù)給定的圖像邊界框生成文本描述，再將結(jié)果生成為新圖像。
摳圖
根據(jù)給定的圖像(無(wú)文本類)摳圖并生成新的圖像。這里的輸入，代表我們希望進(jìn)行摳圖的原始素材。
超分辨率結(jié)果
以上生成的所有圖像均為 CM3leon 模型的原始輸出結(jié)果。當(dāng)然，圖像生成還涉及另一種常見(jiàn)技巧，就是單獨(dú)做超分辨率訓(xùn)練，借此根據(jù)原始模型生成分辨率更高的新圖像。CM3leon 在這項(xiàng)任務(wù)上同樣表現(xiàn)出色，具體請(qǐng)參見(jiàn)下面的文本到圖像生成示例。
每段提示詞對(duì)應(yīng)四張示例圖像：
一杯熱氣騰騰的咖啡，以山脈為背景，公路旅行中的小憩;
夕陽(yáng)下美麗而雄偉的道路，審美化構(gòu)圖;
湖中央的圓形小島，湖畔有森林分布，高對(duì)比度。
以下是更多生成示例：
海龜在水下游泳，審美化構(gòu)圖，奇幻風(fēng)格;
大象在水下游泳，審美化構(gòu)圖，奇幻風(fēng)格;
羊群，審美化構(gòu)圖，奇幻風(fēng)格。
參考鏈接：
https://ai.meta.com/blog/generative-ai-text-images-cm3leon/
