2023年10月11日-13日，在中國(guó)移動(dòng)全球合作伙伴大會(huì)舉辦期間，中興通訊“星云研發(fā)大模型”亮相，旨在輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測(cè)試、版本部署等。
據(jù)介紹，“星云研發(fā)大模型”支持白名單機(jī)制有效控制使用范圍，以及代碼特征值識(shí)別有效識(shí)別敏感代碼片段、敏感詞識(shí)別機(jī)制可實(shí)時(shí)監(jiān)測(cè)并攔截敏感內(nèi)容，還有后臺(tái)審計(jì)機(jī)制可完整回溯安全事件等。
中興通訊表示，2023年4月，“星云研發(fā)大模型”使用啟動(dòng)，截至目前，日活人數(shù)達(dá)1.2萬(wàn)人，代碼采納率達(dá)40%~45%，編碼提效30%，整體研發(fā)提效10%。
IT之家從官方公告獲悉，中興通訊將領(lǐng)域數(shù)據(jù)、Know-How知識(shí)積累、數(shù)十萬(wàn)篇通信領(lǐng)域技術(shù)文檔和1000億token的無(wú)線/核心網(wǎng)/云代碼語(yǔ)料等注入大模型，進(jìn)行增量預(yù)訓(xùn)練，使用并行訓(xùn)練框架。
中興通訊號(hào)稱：“自研部署方案使用動(dòng)態(tài)batch策略、PagedAttention技術(shù)，結(jié)合無(wú)損模型量化，吞吐量大幅提升，單GPU（A800）達(dá)到1500tokens/s，僅使用4張GPU卡（A800）可滿足超千人使用需求。對(duì)比業(yè)界常規(guī)的部署方案，單GPU吞吐量分別提升10+倍和20+倍；結(jié)合int4量化技術(shù)，在模型精度不下降情況下，模型大小和顯存使用量均下降一半。”
