經(jīng)濟觀察網(wǎng) 記者 周應(yīng)梅  4月25日，網(wǎng)易副總裁、網(wǎng)易數(shù)帆總經(jīng)理汪源接受經(jīng)濟觀察網(wǎng)在內(nèi)的媒體采訪時表示，網(wǎng)易杭州研究院2018年起步做預(yù)訓(xùn)練大模型，去年開始投入智能生成代碼、文本理解、智能生成SQL等領(lǐng)域研究，之前大模型相關(guān)技術(shù)在內(nèi)部支撐生產(chǎn)和使用，現(xiàn)在超過1000名工程師使用相關(guān)技術(shù)。

此前網(wǎng)易伏羲實驗室推出了中文預(yù)訓(xùn)練大模型“玉言”，并拿下中文語言理解權(quán)威測評基準(zhǔn)CLUE分類任務(wù)榜單冠軍。公開資料顯示，“玉言”大模型參數(shù)達(dá)到110億，由浪潮信息提供AI算力支持。“玉言”大模型相關(guān)技術(shù)已用于網(wǎng)易集團內(nèi)的文字游戲、智能 NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術(shù)設(shè)計、互聯(lián)網(wǎng)搜索推薦等業(yè)務(wù)場景。

結(jié)合AIGC應(yīng)用，4月25日，網(wǎng)易數(shù)帆在低代碼業(yè)務(wù)戰(zhàn)略發(fā)布會上推出CodeWave智能開發(fā)平臺。網(wǎng)易數(shù)帆強調(diào)，智能開發(fā)平臺接入網(wǎng)易數(shù)帆自研智能大模型，以低代碼為開發(fā)工具，開發(fā)者只需編寫少量代碼，通過自然語言描述和可視化拖拉拽便能快速開發(fā)應(yīng)用。目前，網(wǎng)易數(shù)帆參與共建的AirCoder代碼生成插件工具，提供上下文補全等多種代碼生成模式，目前AI生成代碼量達(dá)到15%。

網(wǎng)易數(shù)帆云原生及低代碼產(chǎn)品線總經(jīng)理陳諤表示，網(wǎng)易數(shù)帆的目標(biāo)是降低開發(fā)者或者企業(yè)使用平臺開發(fā)應(yīng)用的門檻。通過設(shè)計一個全棧式不分前后端的編程語言，讓它的表達(dá)能力跟專業(yè)的編程語言一樣強。開發(fā)門檻要比用Java 、JavaScript低很多，但是相比零代碼或無代碼平臺高。據(jù)介紹，未來智能開發(fā)平臺將增加AIGC的應(yīng)用，增加智能設(shè)計、智能D2C、智能業(yè)務(wù)分析BA、智能資產(chǎn)運營等功能，并計劃發(fā)展100萬開發(fā)者，助推低代碼開發(fā)。

汪源表示，現(xiàn)在的大模型技術(shù)核心起源于2017年，當(dāng)年谷歌發(fā)布的Transformer學(xué)習(xí)模型帶來了新的方向。網(wǎng)易杭州研究院、伏羲實驗室、互娛業(yè)務(wù)部以及從事AI研發(fā)的團隊，都是在新技術(shù)架構(gòu)基礎(chǔ)上開展工作。2017年谷歌機器翻譯團隊發(fā)布了Transformer模型，這個模型基于注意力（Attention）的網(wǎng)絡(luò)架構(gòu)，在機器翻譯及語言理解任務(wù)上相較于現(xiàn)有算法有突出優(yōu)勢，與傳統(tǒng)的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）和CNN（卷積神經(jīng)網(wǎng)絡(luò)）呈現(xiàn)了較大區(qū)別。此后，2021年谷歌大腦團隊又推出了1.6萬億參數(shù)的Switch Transformer大語言模型。

網(wǎng)易伏羲今年4月推出新一代Transformer推理引擎Easy and Efficient Transformer，提升了Transformed-based超大模型的推理效率。該功能也用于網(wǎng)易云音樂AI作詞、AI作曲，將歌詞創(chuàng)作時間縮短到3~4秒。