財(cái)聯(lián)社爆料稱百度的文心大模型4.0正在加緊訓(xùn)練，已經(jīng)接近可發(fā)布狀態(tài)。今天，IT之家也扒到了更多關(guān)于文心4.0的消息，涉及了底層架構(gòu)、基礎(chǔ)設(shè)施、訓(xùn)練數(shù)據(jù)集、成本等關(guān)鍵信息。
先說核心結(jié)論：
1、昨天的爆料基本屬實(shí)。目前了解到，文心大模型4.0實(shí)際上已經(jīng)在小流量測試。
2、文心4.0參數(shù)量大于所有已公開發(fā)布參數(shù)的LLM，也是國內(nèi)首次使用萬卡集群訓(xùn)練的大模型。
3、推理成本相比文心3.5增加很多，據(jù)傳大概是8-10倍。（大模型真的很費(fèi)錢）
接下來我們看看爆料的細(xì)節(jié)。
萬卡集群訓(xùn)練的史上最大參數(shù)模型？
根據(jù)IT之家拿到的消息，文心大模型4.0的參數(shù)規(guī)模要大于目前所有公開發(fā)布參數(shù)的LLM，這意味著文心大模型4.0的參數(shù)規(guī)模預(yù)計(jì)能突破萬億級別。
單看這個(gè)參數(shù)量，很多人會覺得還好，畢竟根據(jù)目前揭秘的信息，GPT-4的參數(shù)量已經(jīng)在1.8萬億左右。但爆料人進(jìn)一步表示，文心大模型4.0仍然是一個(gè)單一模型，并沒有采用GPT和很多其他大語言模型使用的混合專家模型（MoE）。
之前“天才黑客”喬治?霍茲就爆料，GPT-4之所以采用混合模型，是因?yàn)闊o法讓模型的參數(shù)規(guī)模超過2200億。OpenAI希望模型變得更好，但如果僅僅是訓(xùn)練時(shí)間更長，效果已經(jīng)遞減。
所以，如果百度能實(shí)現(xiàn)單一模型上的突破，模型能力是否也會有明顯的提升，這個(gè)只能等真正發(fā)布之后來看了。
這么大參數(shù)量的模型，對算力要求注定不會小?，F(xiàn)在的消息是，文心4.0是在萬卡AI集群上訓(xùn)練出來的，應(yīng)該也算上是國內(nèi)首次使用萬卡規(guī)模集群進(jìn)行訓(xùn)練的大語言模型。
萬卡集群什么概念，國內(nèi)目前只有華為、阿里透露已建成萬卡AI集群，但我們都沒看到基于它推出的具體模型。
這說明，萬卡集群就不容易建了，如果用起來發(fā)揮最大化作用則更難了。據(jù)分析正是因?yàn)轱w槳的深度聯(lián)合，才能基于萬卡集群訓(xùn)練起如此規(guī)模的模型。
成本激增，已低調(diào)面向公眾小流量測試
不僅訓(xùn)練成本在增加，文心4.0的推理成本也被爆比3.5增加很多，IT之家還沒拿到具體每千token的推理成本，但據(jù)傳大概是此前的8-10倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計(jì)成本還會繼續(xù)增加。
最后，根據(jù)內(nèi)部員工的說法，百度實(shí)際上已經(jīng)開始秘密小流量測試文心大模型4.0，有小部分文心一言用戶在使用的已經(jīng)是最新的模型版本，最快下周就會官方公布。
不少人認(rèn)為這個(gè)說法比較靠譜，也可以從最近技術(shù)社區(qū)上的一些爆料上看出一點(diǎn)端倪。說不定，你現(xiàn)在在文心一言上提問，用的就是文心大模型4.0了。不知道生成的結(jié)果是否能跟GPT-4一戰(zhàn)。
IT之家再次強(qiáng)調(diào)，以上并非官方確認(rèn)的信息，大家自行判斷其準(zhǔn)確性。
