2021年是大模型層出不窮的一年。從去年OpenAI GPT-3發布開始，今年華為、谷歌、智源、快手、阿里、英偉達等廠商先后推出自己的大模型，人工智能產業開始了新一輪的激烈角逐，而且有愈演愈烈之勢。作為探索通用人工智能的路徑之一，AI大模型不僅本身是一個可能產生原始創新與長期影響的領域，還將成為一個平臺，催生更多世界級的成果。

概述

自2018年Bert大模型的橫空問世以來，華為、阿里、騰訊、谷歌、微軟、英偉達等國內外各巨頭紛紛重兵投入打造自己的大模型，將其視為下一個AI領域的必爭的高地。

如此百家爭鳴，這背后一定有著深層次且必然的原因。

眾所周知，“難以落地”已成為制約人工智能“技術上水平”，“應用上規模”,“產業上臺階”的最大瓶頸。而進一步深究，則是高昂的開發成本和技術門檻形成了一道無形的壁壘，使得技術鏈與產業鏈嚴重脫節。這種生態上的脫節，必然導致“小作坊式”的AI開發模式。這就意味著耗時耗力、復雜繁瑣的數據的收集、標注和訓練工作需要重新來過，無疑加重了開發者的負擔，企業的應用成本也隨之增高。

而大模型的出現，意味著“工業化”開發模式的到來。

得益于大模型的高泛化能力和高通用性，它能把AI開發重新整合建立起一套通用的“預訓練大模型+下游任務微調”流水線。面對不同的應用場景，這套流水線可以得到有效復用。開發者只需要少量行業數據就可以快速開發出精度更高、泛化能力更強的AI模型。

大模型發展現狀

某種程度上看，大模型的規模發展速度似乎超過了摩爾定律。據統計，每年其參數規模至少提升10倍。2021年，我們可以看到各大學術機構、科技企業都在投入重兵打造自己的大模型，并且對其能力邊界、技術路徑進行了極大拓展。

1月，谷歌發布人類歷史首個萬億級模型Switch Transformer。

3月，北京智源研究院發布悟道1.0，6月發布悟道2.0，參數規模已經超過百億。

4月，華為云盤古大模型發布，這是業界首個千億參數中文語言預訓練模型，且并不僅僅局限于人工智能的某一個單獨的領域比如自然語言處理NLP，而是海納百川，集AI多個熱門方向于一身的全能型人工智能。

7月，中科院自動化所也推出了全球首個三模態大模型：紫東·太初。其兼具跨模態理解和生成能力，可以同時應對文本、視覺、語音三個方向的問題。

8月，實驗室已經宣布,將自研深度學習框架“河圖”融入Angel生態,北京大學與騰訊團隊將聯合共建Angel4.0——新一代分布式深度學習平臺,面向擁有海量訓練數據、超大模型參數的深度學習訓練場景,為產業界帶來新的大規模深度學習破局之策。

9月，浪潮發布巨量模型“源1.0”，參數量達2457億，訓練采用的中文數據集達5000GB，相比于美國的GPT-3模型相比，源1.0參數規模領先40%，訓練數據集規模領先近10倍。

11月，英偉達與微軟聯合發布了5300億參數的“MT-NLG”。

近日，阿里達摩院宣布其多模態大模型M6最新參數已從萬億躍遷至10萬億，規模超過了谷歌、微軟此前發布的萬億級模型，成為全球最大的AI預訓練模型。

如果說參數的直觀對比類似外行看熱鬧，那么，落地能力才是大模型實力的真正較量。目前，在落地層面，各大科技巨頭都在進行了相關的落地探索。

華為云盤古大模型在各行業應用方面，已經在能源、零售、金融、工業、醫療、環境、物流等行業的100多個場景實際應用,讓企業的AI應用開發效率平均提升了90%。

另外，阿里達摩院研發的M6，擁有多模態、多任務能力，其認知和創造能力超越傳統AI，目前已應用在支付寶、淘寶、天貓業務上，尤其擅長設計、寫作、問答，在電商、制造業、文學藝術、科學研究等領域有廣泛應用前景。

值得注意的是，目前大模型更多的是離線應用，在線應用上，還需要考慮知識蒸餾和低精度量化等模型壓縮技術、項目實時性等一系列復雜的項目難題。

大模型的分類

1、按照模型架構劃分：單體模型和混合模型。單體模型中比較出名的有：其中OpenAI推出的「GPT-3」、微軟-英偉達推出的「MT-NLG」模型、浪潮推出的「源1.0」等。混合模型包括谷歌的「Switch Transformer」、智源研究院的「悟道」、阿里的「M6」、華為云的「盤古」等。

其中，谷歌「Switch Transformer」采用Mixture of Experts (MoE，混合專家)模式，將模型進行切分，其結果是得到的是一個稀疏激活模型，大大節省了計算資源。

而智源「悟道2.0」1.75萬億參數再次刷新萬億參數規模的記錄，值得關注的是它不再關注單一領域的模型開發，而是各種領域的融合系統。

2、按照應用領域劃分：目前，大模型的熱門方向包括NLP(中文語言)大模型、CV(視覺)大模型、多模態大模型和科學計算大模型等。

目前，自然語言處理領域內熱門單體大模型有：「GPT-3」、「MT-NLG」以及「源1.0」等。驚喜的是，有研究表明，將NLP領域大獲成功的自監督預訓練模式同樣也可以用在CV任務上，效果十分拔群。

大模型的卡點

大模型性能取得的一系列突破的同時，其背后逐漸凸顯的卡點也開始備受社會關注。

首先，打造大模型并非易事，需要消耗龐大的數據、算力、算法等各種軟硬件資源。而短期看，這種巨大的資源消耗，不僅對于企業和科研機構來說，無疑是一項沉重的負擔，更與全球節能環保以及我國提出的雙碳(碳達峰、碳中和)目標，是有所矛盾的。如何在有限資源的條件下實現大模型的低能耗進化，是一個不小的挑戰。

其次，大模型尚缺乏統一的評價標準和模塊化流程。大模型的研發尚處于初步探索階段，市場中有條件的企業和機構紛紛展開角逐的同時，不可避免地會造成高質量的集中資源的再度分化，進而產生各種煙囪式的評判標準、分散的算法模型結構，進而可能導致的割裂的探討評價體系。

再次，創新力度不足。大模型應用價值取決于其泛化能力，而不是參數規模越大越好。大模型是否優秀，不僅依賴數據的精度與網絡結構，也是對其與行業結合軟硬件協同能力的比拼。目前業界過度強調高參數集、強算力模型的研發，而忽視了網絡模型的創新、與行業的協同創新等問題。

最后，落地應用緩慢。業界人士普遍認為：AI大模型最大挑戰在于，如何讓更多行業和場景真正付諸落地。目前看應用仍處于企業內部項目為主。如何改變這種閉門造車的局面，如何快速適配給應用場景，才是大模型的最大價值和難點。

大模型何去何從

1、大模型參數紅利仍在

從百萬、千萬、億再到千億，萬億，大模型隨著參數規模的增加，性能也如研究者預期一樣，一直在不斷接近人類水平。可以預見，未來一段時間，大模型的規模依舊有待提升。可能出現的變化是，人們不再僅僅增加算力，而更多是通過并行計算、軟硬件協同等技術的支撐。值得關注的是，由于實際落地方面的考慮，一些小參數模型也在悄然興起。

2、大模型走向多領域通用

大模型的初心，是令訓練出來的模型具備不同領域的認知力，既能有泛化的能力，又能有自我進化的能力。比如NLP領域內的大模型，復用到CV領域已被得到極有效的證實;GPT-3同樣展現出了從海量未標記數據中學習，且不限于某一特定任務的通用能力。近期興起的多模態預訓練大模型就是最好的證明。大模型的未來需要創新，大模型將致力于構建通用的人工智能算法底層架構，將模型的認知力從單領域泛化到多領域融合，在不同場景中自我生長，向可持續、可進化的方向發展。

3、更易用的開源平臺

大模型開放開源是大勢所趨，這也是不少機構所致力推動的。微軟、IDEA、智源研究院等大多機構的開源還處于淺層次，只是能調用算法包、排隊等待訓練的狀況。未來的大模型要走出實驗室，就需要走向算法體系、標準體系、基礎平臺、數據集、工程化測試等全方位的開放。

4、標準易用的工作流程

“預訓練大模型+微調”的方式的確加速了AI開發者的步伐，但如果把與之相適應的工作流程給搭建起來，大模型將會在更多場景大放光彩。另外，大模型的評估未來會有標準化成熟的體系來衡量，這個體系也會是行業內公認的標準，規范模型的通用性、易用性，同時用這個標準來衡量大模型的優劣而不是如今自賣自夸式的標榜。

5、大模型能力的端側化

未來，將大模型的一些運算存儲等能力像芯片一樣固化在一些端側硬件設備中，在使用的過程中不用在重裝的模型中耗時調用算力與數據，可以實現隨時調用隨時使用。現下的模型多是重裝大模型，使用的話需要調用龐大的算力和運行時間，未來的大模型會逐漸改變這種模式。

大模型會有哪些商業模式

更多人關心大模型未來會有哪些商業模式。可以從三個層面想象：

1、把大模型作為底座。既可以把底座出售或租售給國家的創新中心、政府機構，也可以與之聯合合作，做上層開發。

2、做開源。大模型涉及的許多技術問題單靠一家企業來解決是比較難的，可以通過開放技術的方式，用社區的力量共同解決，共享IP，互惠互利。

3、提供給一般的ISV(獨立軟件開發商)。讓大模型從實驗室走出來，直接去面對千行百業的客戶，不太可行。通過把能力開放給ISV，他們再去接觸下游更多客戶。有兩種接觸方式：一種是通過流量計費、或按項目計費;再一種是讓使用者免費使用，通過流量廣告變現。

總結展望

現如今，大模型的這種盛況，就與深度學習時代極其相似。然而，作為通向認知智能的高階探索，大模型此后的路還有很遠。能否持續提升自身的創新能力、泛化能力、落地能力，將會成為突破變革的關鍵。

也許在未來幾年內，會逐漸形成這樣一種狀態：大模型作為基礎的產業生態，用大算力訓練出最高水平的智能，為各種AI應用提供源源不斷的智能服務。而這一切，都需要時間去證明。

會議推薦

時至今日，人們對人工智能的期待已不止于感知智能，新一代人工智能正逐漸在多模態大模型的支持下向認知智能發起征程。未來人工智能熱潮能否進一步打開天花板、形成更大的產業規模，認知智能的突破是關鍵。

2022年5月14日至15日的WOT全球技術創新大會“認知智能發展新趨勢”專題中，多位來自產業界與學術界的人工智能技術專家將圍繞多模態多語種大模型與智能搜索推薦等方向，為大家帶來深度技術分享。