鄔賀銓院士:中國大模型發展的優勢、挑戰及創新路徑
2023-07-02
來源: 騰訊研究院
隨著ChatGPT在全球掀起熱潮,一時之間其背后的AI大模型風起云涌。大家想知道,評價大模型水平高低的維度和標準有哪些?
ChatGPT上線讓我們看到了在AIGC上的中美差距,那么,當前中國大模型發展狀況如何?未來的中國大模型發展又面臨哪些機遇與挑戰?
當前處在向通用人工智能發展的關鍵時期,面臨各家機構獨立研究大模型的發展態勢,如何提高算力效率并有效避免低水平重復?
有業界人士擔憂AI將毀滅人類,這是否是杞人憂天?我們又該如何防患于未然,實現AI的結果可預期和行為可控?
帶著關于AIGC的各種問題,騰訊研究院獨家專訪了中國工程院院士、我國通信領域權威專家鄔賀銓。
【訪談者】
牛福蓮 騰訊研究院高級研究員
鄔春玲 騰訊研究院高級研究員
王 強 騰訊研究院資深專家
(以下簡稱T)
中國現有算力總規模
相比美國:有差距但不大
T:有人說中國的大模型開發距離國外有1—2年的差距,您怎么看當前中國大模型的發展狀況?
鄔賀銓:中國在大模型開發方面起步比美國晚,在ChatGPT出來后,國內不少單位紛紛表示在研發生成式大模型,與美國目前已知僅有微軟與谷歌等幾個企業在研究大模型相比,我國研制大模型的單位比美國多,但研究主體數量多并不意味中國在大模型上研發水平高。據稱國內某一大模型的參數量高達1.75萬億,超過了GPT-4,但尚未看到其應用的報道。雖然已有中國公司聲稱可推出類似ChatGPT的聊天機器人,但就支持多語種能力方面目前不如ChatGPT,就中文對話能力方面就響應速度而言也還有差距。
我們現在只注意到ChatGPT,它以生成式任務為目標,主要是完成如聊天和寫作等語言生成,谷歌公司的BERT模型更注重判斷決策,強調如問答和語義關系抽取等語言理解相關的任務,BERT模型的技術也值得我們關注。評價大模型水平應該是多維度的,全面性、合理性、使用便捷性、響應速度、成本、能效等,籠統地說目前我國大模型開發與國外的差距為1—2年的依據還不清楚,現在下這一結論意義也不大。
中國企業在獲得中文語料和對中國文化的理解方面比外國企業有天然的優勢,中國制造業門類最全,具有面向實體產業訓練產業AIGC的有利條件。在算力方面中國已具有較好的基礎。據OpenAI報告,訓練GPT3 模型所需的算力高達3.64EFlops/天,相當于3—4個鵬城云腦Ⅱ(鵬城云腦Ⅱ為1Eflops,即每秒百億億次浮點計算)。按2022年年底的數據,美國占全球算力36%,中國占31%,現有算力總規模與美國相比有差距但不大,而以GPU和NPU為主的智能算力規模中,中國明顯高于美國(按2021年年底數據,美國智算規模占全球智算總規模15%,中國占26%),我國不僅是大型互聯網企業具有相當規模的算力,國家實驗室和一些城市政府支持的實驗室也有大規模的算力資源,可以說在訓練大模型所需算力支持方面中國也能做到。據了解,鵬城實驗室正在設計鵬城云腦Ⅲ,算力達到16EFlops,比GPT-3所用算力高3倍,預計耗資60億元,將為人工智能訓練持續提供強有力的算力支持。
中國AIGC研發:需認清差距
重視挑戰 實在創新
T:除了我們在算力方面有較好的基礎之外,您認為在中國做大模型還面臨哪些挑戰?
鄔賀銓:僅有算力還是不夠的,在以下幾方面我們還面臨不少挑戰:
首先,大模型的基礎是深度學習框架,美國的Tensorflow和PyTorch已經深耕深度學習框架生態多年,雖然國內企業也自主開發了深度學習框架,但市場考驗還不夠,生態還有待打造。
其次,將AIGC擴展到產業應用可能需要不止一個大模型,如何將多個大模型高效地整合,有標準化和數據融合的挑戰。
第三,大模型需要海量數據訓練,中國有數千年的文明,但豐富的文化沉淀絕大多數并未數字化,中文在ChatGPT訓練所用到的語料中還不到0.1%。雖然我國互聯網企業擁有大量電商、社交、搜索等網絡數據,但各自的數據類型不夠全面,網上知識的可信性又缺乏嚴格保證,中文可供訓練的語料還需要做大量的挖掘工作。
第四,大模型訓練所依賴的GPU芯片以英偉達公司的A100芯片為代表,但該芯片已被美國限制向中國出口,國產GPU的性能還有待進一步考驗,目前在算力的利用效率上還有差距。
第五,在中國從事AI研究的技術人員不算少,但具有架構設計能力和AIGC數據訓練提示師水平的人才仍然短缺。在ChatGPT出現之前,有人認為中國在AI方面的論文與專利數與美國不相上下,ChatGPT的上線使我們看到了在AIGC上中美的差距,現在是需要清楚認識和重視我們面對的挑戰,做實實在在的創新,將挑戰化為機遇,在新一輪的AI賽道上做出中國的貢獻。
建議開放國家算力平臺
支持各類大模型訓練
T:ChatGPT無疑是一個巨大的創新,中國未來應如何鼓勵類似這樣的創新,應該多做哪些方面的工作?
鄔賀銓:人工智能從判別式發展到生成式是里程碑標志的創新,開始進入到走向通用人工智能的賽道。從GPT-3到GPT-4已經從文字輸入發展到部分圖形輸入,即增加了對圖形的理解能力,在此基礎上向實現一個深度學習架構和通用模型支持多模態數據輸入的時間不遠了,不過大模型的任務通用化和大模型按需調用的精細化還需要更大的投入與創新,對圖形和視頻做數據無標注和無監督學習比語言和文字輸入情況要難得多。
現在處于向通用人工智能發展的關鍵時期,對我國來說這是跨越發展的難得機遇也是嚴峻的挑戰。算力、模型、數據是ChatGPT成功的必要條件也將是通用人工智能成功的在因素,除此之外,創新的生態、機制與人才更是關鍵。中國在算力總規模上可與美國相比,但跨數據中心的算力協同還面臨體制機制的挑戰,不少智算中心算力利用率和效率不高。不少單位各自獨立研究大模型,難免低水平重復,建議在國家科技與產業計劃的協調下合理分工形成合力。建議開放國家實驗室的算力平臺支持各類大模型訓練,例如鵬城云腦現在對外開放的算力達到總能力3/4,可支持規模與GPT-3相當的兩千億參數的開源中文預訓練語言大模型。同時建議組建算力聯盟,集中已有高檔GPU的算力資源,提供大模型數據訓練所需算力。現在以鵬城實驗室為主建設的“中國算力網(C2NET)”已接入二十余個大型智算、超算、數據中心,匯聚異構算力達3EFlops,其中自主研發的AI算力超1.8EFlops。另外,聊天機器人的應用只是訓練與檢驗AIGC的一種直觀方式,但聊天不是剛需,需要基于大模型開發出各類面向行業應用的模型,盡快使大模型在產業上落地見效,在面向各行各業的應用中培養更多的人才。
大模型行業應用需
既懂行業技術又懂AI訓練
的綜合人才
T:目前我們已經看到了 ChatGPT 在某些領域的應用,比如聊天機器人、文本生成和語音識別等。未來在實體行業和領域,是否會有一些應用機會?大模型在實體行業應用還面臨什么樣的障礙?
鄔賀銓:在現有ChatGPT類聊天機器人基礎上經補充相關行業和企業知識的訓練,可以在企業承擔智能客服工作,代替工人面向客戶提供售前與售后服務。在需要軟件編程的設計與制造環節,ChatGPT可代替程序員完成編程任務和檢驗軟件的Bug。可以承擔設計與生產過程所需文件資料的收集、翻譯和整理工作。經過專業的訓練,AIGC類大模型可以用于設計EDA軟件,例如IC設計用的工具軟件。在動漫和游戲企業,基于AIGC類大模型訓練的機器人可以按照提示編寫劇本、創作游戲腳本并進行編程,完成3D動漫的渲染。
但ChatGPT不是通用模型,很難直接在實體產業的生產制造過程上應用,但可以基于訓練ChatGPT的原理,利用行業與企業的知識圖譜進行深度訓練,有可能開發出企業專用的大模型,完成這一工作的挑戰是需要既熟悉企業上傳流程和關鍵環節技術又掌握人工智能大數據訓練技術的人才。
從關注結果到關注過程
融合技術與法制
主導AIGC推理過程
T:ChatGPT也會出現各種各樣的錯誤,也會帶來一些倫理、安全和隱私等方面的問題,未來在應用大模型的時候,如何才能營造一種既包容又兼顧安全和發展的環境?
鄔賀銓:生成式AI的出現將社會對人工智能的關注推到一個前所未有的高度,在引發科技界和產業界對AI的研究熱潮同時,不少專家擔心人工智能將毀滅人類,呼吁停止GPT-5的研究。一些專家的擔憂并非杞人憂天,因為目前ChatGPT機器人的思考過程不透明,人類創造出ChatGPT,但目前人類對它的推理過程并不完全掌握,推理結果知其然不知所以然,可解釋性不足,不確定、不可知就會出現不可控,存在機器人變態和倫理失范及行為失控的風險。
解決辦法不是停止對人工智能的研究,而是對AIGC的研究從關注結果到關注過程,設計和主導其推理過程,做到結果可預期和行為可控。未來對大模型的推廣應用需要經有資質的機構做安全可信的評價,經檢驗該大模型的推理過程是可追溯的。同時需要建立相應的AI治理法規,防止對AIGC訓練的誤導,追究AIGC訓練主體的責任,嚴懲教唆作惡犯罪行為。通過技術與法制相輔,使得人工智能成為人類真正忠誠的助手。
- 推薦
- 新聞
- IT/互聯網
- CIO
- CDO
- IT
下一篇
推薦
-
11月28日-30日,中國數字化年會將于成都正式開幕,本屆年會以數智萬象 無界新生”為主題,設置2場主論壇、1場高峰論壇、5場專題論壇、4項特色活動、2場頒獎典禮等14項活動,以及2天數字化轉型供需對接展。
-
零次方科技發布了其首款人形機器人,可以在多種不規則路面、復雜地形中長時間穩定行走,且具備優秀的抗干擾性能,即使受到各方向的強沖擊也能保持穩定站立。
-
近日,第四屆“青年科學家502論壇”在南方科技大學舉行,美國國家工程院外籍院士沈向洋做了《通用人工智能時代,我們應該怎樣思考大模型》的主題演講,并給出了他對大模型的10個思考。
-
深度解析Meta Reality Labs的生態布局
-
TeleAI 李學龍團隊提出具身世界模型
-
2024 年 10 月 14 日,第 44 屆中東海灣信息技術展(GITEX Global)在阿聯酋迪拜開幕。紫光股份旗下新華三集團重磅亮相展會,以"精耕務實,為時代賦智慧"為主題,全面展示了公司"云-網-安-算-存-端"的全棧技術能力與國際生態合作成果。
我要評論