大語言模型正在受到各大科技公司和科研機(jī)構(gòu)的大力推進(jìn)，利用其可以幫助我們做很多事情，但一個(gè)比較容易被忽視的點(diǎn)是，這些大模型的訓(xùn)練和運(yùn)行需要巨大的能量，上千億參數(shù)的模型往往需要數(shù)百萬GPU小時(shí)來訓(xùn)練，從而會(huì)產(chǎn)生大量碳足跡。
（來源：《麻省理工科技評(píng)論》）
圖|運(yùn)行BLOOM模型的平均功率波動(dòng)（來源：arXiv）
（來源：arXiv）
另一個(gè)問題是，它們的碳足跡到底有多大仍然是一個(gè)謎，對(duì)其衡量評(píng)估也還沒有一個(gè)標(biāo)準(zhǔn)方法。
（來源：《麻省理工科技評(píng)論》）
近日，人工智能初創(chuàng)公司Hugging Face對(duì)外表示，它提出了一種新的、更好的方法，來更精確地計(jì)算模型產(chǎn)生的碳排放量，并且是評(píng)估其整個(gè)生命周期，而不僅僅是訓(xùn)練期間。
這可能是科技公司在評(píng)估AI產(chǎn)品碳足跡上邁出的一大步。相關(guān)專家們也在呼吁該行業(yè)更好地評(píng)估AI對(duì)環(huán)境的影響，這有利于更好地使用這些模型和數(shù)據(jù)。
同時(shí)，該方面的探索還可能推動(dòng)人們轉(zhuǎn)向更有效的AI研究方式，比如微調(diào)現(xiàn)有模型，而不是一味建造更大的模型。
對(duì)于此次工作，Hugging Face也發(fā)表了一篇題為《估算1760億參數(shù)語言模型BLOOM的碳足跡》（Estimating the Carbon Footprint of BLOOM,a 176B Parameter Language Model）的論文，并于近日提交在arXiv預(yù)印本平臺(tái)。
該公司為測試其新方法，估計(jì)了今年早些時(shí)候推出的大語言模型BLOOM的總排放量。這個(gè)過程涉及許多不同方面的疊加，包括在超級(jí)計(jì)算機(jī)上訓(xùn)練模型的能量、制造超級(jí)計(jì)算機(jī)硬件和維護(hù)其計(jì)算基礎(chǔ)設(shè)施的能量，以及運(yùn)行BLOOM所需的能量等。
研究人員最后使用了名為Code Carbon的軟件工具，來實(shí)時(shí)跟蹤計(jì)算BLOOM在18天內(nèi)產(chǎn)生的碳排放量。并估計(jì)得出，BLOOM訓(xùn)練所產(chǎn)生的碳排放達(dá)25噸，而在考慮到用來訓(xùn)練的計(jì)算機(jī)設(shè)備和更廣泛的計(jì)算基礎(chǔ)設(shè)施，以及實(shí)際運(yùn)行BLOOM所需的能量時(shí)，碳排放量增長了一倍。
圖|運(yùn)行BLOOM模型的平均功率波動(dòng)（來源：arXiv）
對(duì)于一個(gè)模型來說，50噸的碳排放量似乎已經(jīng)很多，但值得注意的是，BLOOM的排放量要明顯低于其他相同規(guī)模的大語言模型。其是在一臺(tái)由核能提供主要?jiǎng)恿Γú粫?huì)產(chǎn)生碳排放）的超級(jí)計(jì)算機(jī)上訓(xùn)練的，而其他模型訓(xùn)練所使用的能源更多地依賴化石燃料，污染要相對(duì)更嚴(yán)重。
據(jù)了解，BLOOM于2022年3月推出使用，Hugging Face估計(jì)該模型每天會(huì)排放約19千克的二氧化碳。
相比之下，OpenAI的GPT-3（2020年推出，1750億參數(shù)）和meta的OPT模型（2022年推出，1750億參數(shù)），在訓(xùn)練期間分別排放了約500千克和75千克的二氧化碳。GPT-3的排放量較大，一部分原因是它在較舊、效率較低的硬件上進(jìn)行訓(xùn)練的。
另外，以上數(shù)字只是基于外部估計(jì)或公司自身發(fā)布的有限數(shù)據(jù)，而真實(shí)的數(shù)據(jù)很難確定，目前沒有標(biāo)準(zhǔn)化的方法來衡量它們的碳排放。
Hugging Face的目標(biāo)是幫助AI社區(qū)更好地了解大模型對(duì)環(huán)境的影響，以進(jìn)一步優(yōu)化處理碳排放問題。
（來源：arXiv）
卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院助理教授艾瑪·斯特魯貝爾（Emma Strubell）對(duì)外說：“Hugging Face的論文為開發(fā)AI模型的機(jī)構(gòu)設(shè)定了新標(biāo)準(zhǔn)，其是迄今對(duì)大模型碳足跡最徹底的分析，比我所知道的任何其他論文或報(bào)告都要詳細(xì)。”
值得一提的是，盡管她沒有參與本次新研究，但其早在2019年就撰寫了一篇關(guān)于AI對(duì)氣候影響的開創(chuàng)性論文，題為《NLP中深度學(xué)習(xí)的能量和政策考慮》（Energy and Policy Considerations for Deep Learning in NLP）。
可以說，Hugging Face提供了目前行業(yè)急需的量化語言模型碳足跡的方法。其展示出的模型在生命周期的排放量之大也讓很多人感到驚訝。不過，對(duì)于進(jìn)一步評(píng)估大語言模型對(duì)環(huán)境的影響，仍有一些工作需要進(jìn)行。
另外，值得注意的是，了解AI模型的具體使用也十分重要，像谷歌和meta等諸多大型科技公司，會(huì)通過AI模型來對(duì)用戶推薦內(nèi)容或?qū)υu(píng)論進(jìn)行分類，這本身使用的功率很小，但每天會(huì)進(jìn)行超十億次操作，這加起來就是非常大的能量消耗。
通過更好地了解AI的能源消耗量，可方便公司和開發(fā)人員在污染和成本之間做出更好的權(quán)衡，以在開發(fā)AI模型的同時(shí)盡最大程度較少相關(guān)碳足跡。
氣候變化是人類目前面臨的最大挑戰(zhàn)之一，其影響著世界各地的生態(tài)系統(tǒng)和人們的日常生活，評(píng)估和減少各行業(yè)的碳排放是減輕氣候影響的重要部分。
在論文最后，研究人員還討論了精確估計(jì)機(jī)器學(xué)習(xí)模型的碳足跡的難度和未來有助于改善碳排放的研究方向。
