AI創(chuàng)業(yè)公司MosaicML近日發(fā)布了其70億參數(shù)模型MPT-7B-8K，據(jù)悉，該模型一次可以處理8000字文本，相當(dāng)擅長處理長文重點(diǎn)摘要和問答，還能在MosaicML平臺(tái)上根據(jù)特定任務(wù)，進(jìn)一步微調(diào)相關(guān)配置。
▲圖源Huggingface
▲圖源Huggingface
據(jù)悉，系列模型采用了150萬個(gè)Token，并以256塊H100 GPU花3天完成模型訓(xùn)練而成。MosaicML本次發(fā)布了3個(gè)版本模型，包括MPT-7B-8k、MPT-7B-8k-Instruct和MPT-7B-8k-Chat。
其中，第一個(gè)版本MPT-7B-8k、是以Transformer解碼器為基礎(chǔ)，并以FlashAttention和FasterTransformer機(jī)制來加速訓(xùn)練與推論，能一次處理8000字文本，MosaicML公司表示，該模型開源、允許商用。
第二個(gè)版本MPT-7B-8k-Instruct是以第一個(gè)版本MPT-7B-8k微調(diào)而成，MosaicML公司表示，MPT-7B-8k-Instruct模型可處理長篇指令，特別注重于生成“摘要和問答”，該模型一樣開源且可商用。
第三個(gè)版本MPT-7B-8k-Chat則是機(jī)器人對話式的AI模型，MosaicML公司宣稱，該模型額外多用了15億個(gè)聊天數(shù)據(jù)Token，在第一版模型MPT-7B-8k之上繼續(xù)訓(xùn)練而成，該模型開源，但不允許商用。
IT之家此前報(bào)道，MosaicML公司也推出了一款號稱訓(xùn)練成本僅為競品零頭的MPT-30B開源模型，該公司日前已將所有開源模型發(fā)布于Huggingface平臺(tái)，感興趣的小伙伴們可以前往進(jìn)行相關(guān)了解，還可以在本地硬件上使用自己的數(shù)據(jù)，在下載后，對模型進(jìn)行各種微調(diào)。
