AI大模型已經(jīng)成為創(chuàng)業(yè)熱點(diǎn)。
2012年,李志飛選擇回國(guó),在語(yǔ)音交互領(lǐng)域創(chuàng)業(yè),創(chuàng)立出門問(wèn)問(wèn)。
前商湯科技副總裁、通用智能技術(shù)負(fù)責(zé)人閆俊杰已進(jìn)軍多模態(tài)AI大模型領(lǐng)域,于2021年11月成立人工智能公司MiniMax。
MiniMax從底層做起,形成了文本到視覺(jué)(texttovisual)、文本到語(yǔ)音(texttoaudio)、文本到文本(texttotext)三大模態(tài)的基礎(chǔ)模型架構(gòu)。
這可能是國(guó)內(nèi)第一家同時(shí)擁有3個(gè)模態(tài)大模型能力的創(chuàng)業(yè)公司。
在toC方向,其首款A(yù)I虛擬聊天社交軟件Glow推出四個(gè)月已經(jīng)積累數(shù)百萬(wàn)用戶;在toB方向,MiniMax計(jì)劃在今年對(duì)外開放API。
Glow的基本玩法是在應(yīng)用中創(chuàng)建虛擬AI機(jī)器人,可以根據(jù)用戶意愿賦予其性格,實(shí)現(xiàn)實(shí)時(shí)溝通、互動(dòng)并建立情感連接。
助推AI應(yīng)用走向具體落地
如果將AI比作電力,那么大模型則相當(dāng)于發(fā)電機(jī),能將智能在更大的規(guī)模和范圍普及。
大模型的智能能力在未來(lái)將成為一種公共基礎(chǔ)資源,像電力或自來(lái)水一樣隨取隨用。
每個(gè)智能終端、每個(gè)APP,每個(gè)智能服務(wù)平臺(tái),都可以像接入電網(wǎng)一樣,接入由IT基礎(chǔ)設(shè)施組成的智力網(wǎng)絡(luò),讓AI算法與技術(shù)能夠更廣泛地應(yīng)用于各行各業(yè)。
最底層是AI通用大模型,上面可以做AIGC,比如說(shuō)Midjourney可以畫畫,Jasper可以寫文案等;
也可以基于底層模型做對(duì)話機(jī)器人,比如基于ChatGPT。
在美國(guó),除了OpenAI和巨頭,還有另外三、四家創(chuàng)業(yè)公司也都在做AI通用大模型,都有大幾億美金的投入。
首先它有超強(qiáng)的語(yǔ)言能力,在學(xué)習(xí)語(yǔ)言的過(guò)程中,也學(xué)習(xí)了很多知識(shí)和邏輯。
模型學(xué)會(huì)了非常底層的結(jié)構(gòu)和機(jī)制。萬(wàn)物都是自然產(chǎn)生的,語(yǔ)言也好,生物結(jié)構(gòu)也好,它一定符合某種我們目前難以解釋的規(guī)律。
模型經(jīng)過(guò)互聯(lián)網(wǎng)上所有的數(shù)據(jù)訓(xùn)練之后,它也獲得了某種屬于自己的解讀方式。
現(xiàn)在的通用大模型,即使進(jìn)行了微調(diào)后,依舊可以做多個(gè)任務(wù)。
預(yù)訓(xùn)練的核心是讓它有基礎(chǔ)的認(rèn)知和邏輯能力,通過(guò)微調(diào)引導(dǎo),讓它能夠在各項(xiàng)任務(wù)上處理得更好,知道怎么使用已有的知識(shí)。
國(guó)內(nèi)公司與機(jī)構(gòu)競(jìng)相研發(fā)
AI大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個(gè)階段,參數(shù)量實(shí)現(xiàn)了從億級(jí)到百萬(wàn)億級(jí)的突破。
國(guó)外的超大規(guī)模預(yù)訓(xùn)練模型起步于2018年,并在2021年進(jìn)入[軍備競(jìng)賽]階段。
而在國(guó)內(nèi),超大模型研發(fā)展異常迅速,2021年成為中國(guó)AI大模型的爆發(fā)年。
2021年,商湯發(fā)布了書生(INTERN)大模型,擁有100億的參數(shù)量,這是一個(gè)相當(dāng)龐大的訓(xùn)練工作。
在訓(xùn)練過(guò)程中,大概有10個(gè)以上的監(jiān)督信號(hào)幫助模型,適配各種不同的視覺(jué)或者NLP任務(wù),截至2021年中,商湯已建成世界上最大的計(jì)算器視覺(jué)模型,該模型擁有超過(guò)300億個(gè)參數(shù);
同年4月,華為云聯(lián)合循環(huán)智能發(fā)布盤古NLP超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型,參數(shù)規(guī)模達(dá)1000億;
聯(lián)合北京大學(xué)發(fā)布盤古α超大規(guī)模預(yù)訓(xùn)練模型,參數(shù)規(guī)模達(dá)2000億。
阿里達(dá)摩院發(fā)布270億參數(shù)的中文預(yù)訓(xùn)練語(yǔ)言模型PLUG,聯(lián)合清華大學(xué)發(fā)布參數(shù)規(guī)模達(dá)到1000億的中文多模態(tài)預(yù)訓(xùn)練模型M6;
7月,百度推出ERNIE3.0知識(shí)增強(qiáng)大模型,參數(shù)規(guī)模達(dá)到百億;
10月,浪潮信息發(fā)布約2500億的超大規(guī)模預(yù)訓(xùn)練模型[源1.0];
12月,百度推出ERNIE3.0Titan模型,參數(shù)規(guī)模達(dá)2600億。
而達(dá)摩院的M6模型參數(shù)達(dá)到10萬(wàn)億,將大模型參數(shù)直接提升了一個(gè)量級(jí)。
2022年,基于清華大學(xué)、阿里達(dá)摩院等研究成果以及超算基礎(chǔ)實(shí)現(xiàn)的[腦級(jí)人工智能模型]八卦爐(BAGUALU)完成建立。
其模型參數(shù)模型突破了174萬(wàn)億個(gè),完全可以與人腦中的突觸數(shù)量相媲美。
2021年12月,百度發(fā)布了全球首個(gè)知識(shí)增強(qiáng)千億級(jí)大模型——鵬城-百度·文心大模型,產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)[文心大模型]系列大模型也正式對(duì)外。
百度文心大模型正從技術(shù)自主創(chuàng)新和加速產(chǎn)業(yè)應(yīng)用兩方面,推動(dòng)中國(guó)AI發(fā)展更進(jìn)一步。
2022年11月,百度發(fā)布了文心大模型的最新升級(jí),包括新增11個(gè)大模型,大模型總量增至36個(gè)。
部分公司中國(guó)公司雖然目前還沒(méi)有正式推出自身大模型產(chǎn)品,但是也在積極進(jìn)行研發(fā)。
云從科技的研究團(tuán)隊(duì)高度認(rèn)同[預(yù)訓(xùn)練大模型+下游任務(wù)遷移]的技術(shù)趨勢(shì),從2020年開始,已經(jīng)陸續(xù)在NLP、OCR、機(jī)器視覺(jué)、語(yǔ)音等多個(gè)領(lǐng)域開展預(yù)訓(xùn)練大模型的實(shí)踐。
以商湯科技的書生(INTERN)為例,在分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大任務(wù)26個(gè)數(shù)據(jù)集上,基于同樣下游場(chǎng)景數(shù)據(jù)(10%)。
相較于同期OpenAI發(fā)布的最強(qiáng)開源模型CLIP-R50x16,平均錯(cuò)誤率降低了40.2%,47.3%,34.8%,9.4%。
實(shí)現(xiàn)從[手工作坊]到[工廠模式]的轉(zhuǎn)變
在深度學(xué)習(xí)技術(shù)興起的近10年間,AI模型基本上是針對(duì)特定應(yīng)用場(chǎng)景需求進(jìn)行訓(xùn)練的,即小模型,屬于傳統(tǒng)的定制化、作坊式的模型開發(fā)方式。
這意味著除了需要優(yōu)秀的產(chǎn)品經(jīng)理準(zhǔn)確確定需求之外,還需要AI研發(fā)人員扎實(shí)的專業(yè)知識(shí)和協(xié)同合作能力完成大量復(fù)雜的工作。
模型無(wú)法復(fù)用和積累,同樣導(dǎo)致了AI落地的高門檻、高成本與低效率。
而大模型通過(guò)從海量的、多類型的場(chǎng)景數(shù)據(jù)中學(xué)習(xí),并總結(jié)不同場(chǎng)景、不同業(yè)務(wù)下的通用能力,學(xué)習(xí)出一種特征和規(guī)則,成為具有泛化能力的模型底座。
由此利用大模型的通用能力可以有效的應(yīng)對(duì)多樣化、碎片化的AI應(yīng)用需求,為實(shí)現(xiàn)規(guī)模推廣AI落地應(yīng)用提供可能。
大模型相對(duì)于傳統(tǒng)AI模型開發(fā)模式在研發(fā)時(shí)擁有更標(biāo)準(zhǔn)化的流程,在落地時(shí)擁有更強(qiáng)的通用性,可以泛化到多種應(yīng)用場(chǎng)景;
并且大模型的自監(jiān)督學(xué)習(xí)能力相較于傳統(tǒng)的需要人工標(biāo)注的模型訓(xùn)練能夠顯著降低研發(fā)成本,共同使得大模型對(duì)于AI產(chǎn)業(yè)具有重要意義。
結(jié)尾
熱潮已經(jīng)襲來(lái),有技術(shù)基礎(chǔ)的企業(yè)在強(qiáng)勢(shì)突圍,沒(méi)有技術(shù)基礎(chǔ)的企業(yè)準(zhǔn)備發(fā)力,尚待進(jìn)場(chǎng)。
而等熱潮退去,能否留在場(chǎng)上,還需看清自己的優(yōu)勢(shì)和短板。
中國(guó)要有自己的通用自然語(yǔ)義大模型,它需要有為全球通用人工智能提供中國(guó)智慧、中國(guó)價(jià)值體系和中國(guó)方案的愿景;
需要從語(yǔ)料庫(kù)選擇、模型建構(gòu)與訓(xùn)練、參數(shù)調(diào)整的全過(guò)程前置規(guī)避風(fēng)險(xiǎn)和法律、道德與倫理問(wèn)題,更需要的是定力和耐心。
無(wú)論如何,它不能投機(jī)。