經(jīng)濟(jì)觀察網(wǎng) 記者 任曉寧 10月12日，針對旗下大模型已經(jīng)停止預(yù)訓(xùn)練的傳言，零一萬物和百川智能均對經(jīng)濟(jì)觀察網(wǎng)做了否認(rèn)。

近日有傳言稱，“大模型六小虎”中已有兩家企業(yè)停止預(yù)訓(xùn)練。“大模型六小虎”通常被業(yè)界用來形容6家頭部大模型創(chuàng)業(yè)公司，包括智譜、MiniMax、百川智能、零一萬物、階躍星辰、月之暗面。

其中有幾家公司近期出現(xiàn)了較大的動作。智譜與MiniMax發(fā)布了視頻模型，月之暗面發(fā)布大模型版本更新，階躍星辰發(fā)布了萬億參數(shù)大模型。相比而言，百川智能和零一萬物今年動作較小，因此被外界猜測是已停止預(yù)訓(xùn)練的兩家企業(yè)。

預(yù)訓(xùn)練是一種深度學(xué)習(xí)模型的訓(xùn)練策略，這種策略可以讓模型學(xué)習(xí)到更多信息，不斷提高模型性能。停止預(yù)訓(xùn)練，意味著企業(yè)將不再投入資源研發(fā)新模型，而是利用已有的模型進(jìn)行應(yīng)用開發(fā)，企業(yè)的發(fā)展方向?qū)l(fā)生重大變化。

對于上述傳言，零一萬物創(chuàng)始人李開復(fù)10月11日晚上在朋友圈發(fā)文說，零一萬物一直在做預(yù)訓(xùn)練，去年和今年發(fā)布的Yi-34B、Yi-Large、Yi-Coder、Yi- VL、Yi-Vision都是發(fā)布時全球第一梯隊，國內(nèi)領(lǐng)先的預(yù)訓(xùn)練模型。而且零一萬物的新預(yù)訓(xùn)練模型也即將推出。

據(jù)經(jīng)濟(jì)觀察網(wǎng)了解，李開復(fù)所說的新預(yù)訓(xùn)練模型將于下周發(fā)布。

百川智能也否認(rèn)了停止預(yù)訓(xùn)練的說法。百川智能向經(jīng)濟(jì)觀察網(wǎng)回應(yīng)，百川智能的預(yù)訓(xùn)練團(tuán)隊穩(wěn)定，預(yù)訓(xùn)練工作正在穩(wěn)步推進(jìn)，并不存在放棄預(yù)訓(xùn)練一說。

今年5月，百川智能發(fā)布了千億參數(shù)模型Baichuan 4，其今年的重點(diǎn)發(fā)展方向是AI醫(yī)療。百川智能方面稱，其在基礎(chǔ)模型和AI應(yīng)用方面均取得了階段性進(jìn)展，相關(guān)成果將很快面世。

今年以來，有一批大模型公司停下了研發(fā)的腳步。據(jù)經(jīng)濟(jì)觀察網(wǎng)統(tǒng)計，截至2024年10月9日，在188個通過網(wǎng)信辦生成式人工智能備案的大模型中，超過三成的大模型在通過備案后未進(jìn)一步公開其進(jìn)展情況，僅有約一成的大模型仍在加速訓(xùn)練，接近一半的大模型轉(zhuǎn)向了AI應(yīng)用的開發(fā)。

一位大模型技術(shù)人士告訴經(jīng)濟(jì)觀察網(wǎng)，預(yù)訓(xùn)練既要燒錢又要燒數(shù)據(jù)，對中小公司來說，當(dāng)投入與回報不成正比時，及時止損是正確的選擇。但同時，預(yù)訓(xùn)練模型也是大模型公司的底層核心技術(shù)，頭部公司和大廠不能停止預(yù)訓(xùn)練，停了就意味著走下牌桌。