經(jīng)濟(jì)觀察網(wǎng) 記者 任曉寧 “卷”了一年大模型后,2024年,科技大廠們把目光瞄向了“小模型”。“小模型”是相對(duì)于大模型的概念,其參數(shù)不同于大模型的千億級(jí)、萬億級(jí),一般是百億級(jí)或以下的輕量模型。
3月21日,百度發(fā)布了3個(gè)輕量模型,其中最小的一款使用成本是文心大模型的百分之一。
百度副總裁謝廣軍向經(jīng)濟(jì)觀察網(wǎng)記者展示的PPT(幻燈片)顯示,文心大模型4.0版每1000tokens(文本處理過程中的最小單位)輸入成本為0.12元,而百度新發(fā)布的3個(gè)輕量模型中,最小的一款每1000tokens輸入成本為0.001元,另外兩款每1000tokens輸入成本分別為0.003元和0.004元。
謝廣軍解釋說,在通用場(chǎng)景和復(fù)雜場(chǎng)景下,輕量模型的效果肯定不如大模型。但經(jīng)過精調(diào)后的輕量模型,在特定場(chǎng)景中甚至可以超過大模型的使用效果。
百度發(fā)布輕量模型,源自快速增長的用戶需求。
百度公布的數(shù)據(jù)顯示,百度用于生成式AI(人工智能)生產(chǎn)和應(yīng)用的千帆大模型平臺(tái)近期客戶數(shù)明顯增加了。從去年3月成立至今,千帆大模型平臺(tái)共服務(wù)8萬企業(yè)用戶,最近一個(gè)月就新增了1萬多個(gè)用戶。用戶增加后,一些共性問題也浮現(xiàn)出來。
其中問題最多的就是價(jià)格。深圳齊心集團(tuán)股份有限公司是百度大模型的用戶之一,齊心集團(tuán)CTO(首席技術(shù)官)于斌平說,他們使用文心大模型的效果非常不錯(cuò),但確實(shí)(感覺)價(jià)格貴了一些。而且大模型需要做大量推理計(jì)算,時(shí)間成本比較高。今年3月他們?cè)囉昧溯p量模型,對(duì)輕量模型的效率和成本比較滿意。
百度正式發(fā)布輕量模型前,在社交、文旅、教育、智能辦公等場(chǎng)景做了實(shí)驗(yàn),謝廣軍說,有的輕量模型最佳實(shí)踐效果能夠達(dá)到一個(gè)千億參數(shù)大模型的效果。
百度發(fā)布的三款輕量模型針對(duì)不同場(chǎng)景,分別在縮短推理速度、降低芯片性能、減少時(shí)間成本的領(lǐng)域做了調(diào)整,目的是降低成本的同時(shí),與大模型做出差異化。
科技大廠中,發(fā)力“小模型”的不僅是百度。此前微軟也發(fā)布了27億參數(shù)規(guī)模的模型,根據(jù)微軟公布的數(shù)據(jù),其27億參數(shù)規(guī)模的模型平均性能得分已經(jīng)超過70億、130億參數(shù)規(guī)模的模型。摩根大通推測(cè)蘋果的AI發(fā)展戰(zhàn)略時(shí),認(rèn)為蘋果會(huì)做專注于手機(jī)本地運(yùn)行的小型模型。
“現(xiàn)在業(yè)界已經(jīng)逐漸形成了一個(gè)共識(shí),(就是)不見得是參數(shù)規(guī)模越大,模型越好。”謝廣軍說,做輕量模型的前提是有大模型的技術(shù)積累,這樣做出來的輕量模型效果才會(huì)好。他判斷2024年會(huì)成為AI原生應(yīng)用的元年,AI模型商業(yè)化會(huì)有很大空間。