2023年8月19-20日，由中國人工智能學(xué)會主辦，中國人工智能學(xué)會會士之家(杭州站)承辦，浙江杭州未來科技城管委會協(xié)辦的第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”以線上線下結(jié)合的方式成功舉辦，線上累計(jì)觀看人次超16萬。

　　本期講習(xí)班圍繞熱點(diǎn)話題“多模態(tài)大模型”展開，旨在促進(jìn)學(xué)術(shù)交流，推動(dòng)技術(shù)創(chuàng)新。來自復(fù)旦大學(xué)的邱錫鵬教授和來自清華大學(xué)的徐楓副教授共同擔(dān)任本期講習(xí)班的學(xué)術(shù)主任。宋睿華副教授、代季峰副教授、孫天祥博士、王炳寧先生、趙俊博研究員、嚴(yán)明先生等6位在多模態(tài)大模型及相關(guān)領(lǐng)域具有重要影響力的專家學(xué)者也受邀加入講師團(tuán)，為聽眾們帶來了一場精彩紛呈的學(xué)術(shù)盛宴。講習(xí)班開課期間，聽眾熱情高漲，積極參與互動(dòng)。濃厚的學(xué)術(shù)氛圍也一直延續(xù)到課后，各位講師們在結(jié)束授課后仍一一為線上線下的觀眾們答疑解惑，現(xiàn)場氛圍十分熱烈。

徐楓副教授

　　在8月19日—20日的兩天時(shí)間里，各位講師從嚴(yán)謹(jǐn)縝密到妙趣橫生，從理論研究到落地應(yīng)用，為線上線下的學(xué)員和觀眾帶來了6場“知識盛宴”。

　　授課一：《多模態(tài)理解與人工智能創(chuàng)作》宋睿華

　　8月19日上午，宋睿華副教授為大家?guī)砹说谝惶谜n——《多模態(tài)理解與人工智能創(chuàng)作》。在正式授課前，宋睿華副教授先深入淺出地解釋了“多模態(tài)”的概念、其與多媒體的關(guān)系以及其為何突然火爆出圈等問題。在介紹完“多模態(tài)”相關(guān)的基本信息后，宋睿華副教授開始對文瀾模型1.0-3.0展開介紹，并分享了“多模態(tài)與文本預(yù)訓(xùn)練模型的文本嵌入差異研究”的整個(gè)過程及其成果。在生動(dòng)授課的最后，宋睿華副教授對多模態(tài)理解與創(chuàng)作的趨勢做了總結(jié)，并鼓勵(lì)聽眾在未來能朝著更艱險(xiǎn)處攻關(guān)。

宋睿華副教授

　　授課二：《視覺基礎(chǔ)大模型》代季峰

　　講習(xí)班的第二堂課《視覺基礎(chǔ)大模型》由代季峰副教授主講。他在課堂上指出，通用大模型正在引領(lǐng)人工智能的發(fā)展。圍繞“超大規(guī)模視覺模型”及相關(guān)技術(shù)路線，代季峰副教授在接下來的授課中展開了精彩的講述，他不僅對LLM(大規(guī)模語言模型)其強(qiáng)大的功能進(jìn)行了描述，亦稱贊其是通用人工智能發(fā)展道路上的一個(gè)里程碑。

代季峰副教授

　　授課三：《對話式大型語言模型》孫天祥

　　8月19日下午，孫天祥博士給大家?guī)砹祟}為《對話式大型語言模型》的第三堂課。授課內(nèi)容主要分為四個(gè)部分，分別是預(yù)訓(xùn)練數(shù)據(jù)、自然語言基座模型、對話語言模型和OpenLMLab。

孫天祥博士

　　授課四：《大語言模型的訓(xùn)練和優(yōu)化方法》王炳寧

　　8月19日下午，王炳寧老師帶來了本期講習(xí)班的第四堂課——《大語言模型的訓(xùn)練和優(yōu)化方法》。他首先對語言模型的發(fā)展歷程做了系統(tǒng)的梳理，并指出近幾年語言模型的發(fā)展是超線性的，發(fā)布的頻率在不斷加速。在接下來的授課中，他對大語言模型的基礎(chǔ)框架及優(yōu)化方法進(jìn)行了闡述，并在最后樂觀地表達(dá)了對大語言模型的憧憬和為中文互聯(lián)網(wǎng)大語言模型做貢獻(xiàn)的決心。

王炳寧老師

　　授課五：《TableGPT——大模型的漫長落地之路初探》趙俊博

　　8月20日上午，趙俊博研究員帶來了第五節(jié)課——《TableGPT——大模型的漫長落地之路初探》。在授課前，風(fēng)趣地解釋了他為授課題目加上了“渡劫”二字的原因，做相關(guān)研究過程非常漫長，也充滿了各種挫折和挑戰(zhàn)，他也希望借此激勵(lì)臺下同處于研究瓶頸期的研究者們。趙俊博研究員隨后簡單介紹了自己的團(tuán)隊(duì)成員和研究背景，并解釋了他們做剛性LLM而最終選擇了“TableGPT”等一系列問題。趙研究員在后續(xù)授課過程中介紹了“TableGPT”的功能、落地過程及方案等，并在最后無不幽默地總結(jié)道，從一個(gè)通用LLM到領(lǐng)域LLM就好比從一個(gè)文科生到理科生轉(zhuǎn)變，堪比“渡劫”。

趙俊博研究員

　　授課六：《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》嚴(yán)明

　　8月20日下午，嚴(yán)明老師帶來了本次講習(xí)班的最后一堂課，《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》。他先對多模態(tài)大模型技術(shù)發(fā)展歷程做了簡單的歸納，隨后重點(diǎn)介紹了他的團(tuán)隊(duì)研究多模態(tài)的兩條路徑，一條是mPLUG：模塊化多模態(tài)預(yù)訓(xùn)練大模型技術(shù)系列，另外一條則是大小模型協(xié)同的Agent系統(tǒng)。最后，嚴(yán)明老師對“ModelScope”實(shí)戰(zhàn)應(yīng)用相關(guān)話題展開了詳細(xì)的講解與闡述。

嚴(yán)明老師

　　至此，第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”的6節(jié)課程全部結(jié)束。邱錫鵬教授在線上為此次講習(xí)班做了結(jié)業(yè)總結(jié)，他回顧了6位專家學(xué)者精彩的授課內(nèi)容，指出從學(xué)術(shù)介紹到從應(yīng)用落地，這些研究最前沿的成果讓聽眾耳目一新。此外，邱錫鵬教授還表示，多模態(tài)大模型的發(fā)展處于起步階段，在未來發(fā)展的過程中既充滿了機(jī)遇，也難免會遇到挑戰(zhàn)，而本次講習(xí)班為各位研究者構(gòu)建了一個(gè)交流互動(dòng)的平臺，幫助各位學(xué)者不論在學(xué)術(shù)研究還是落地應(yīng)用層面，都能共同探索、學(xué)習(xí)和進(jìn)步。(中國人工智能學(xué)會)

邱錫鵬教授