ChatGPT 難以複製的原因,除了耗顯卡,還有水電費?

最新AI资讯1年前 (2023)发布 Aibot114
1,674 0
广告也精彩
ChatGPT 難以複製的原因,除了耗顯卡,還有水電費?

一覺醒來,世界又變了。ChatGPT 走入大眾後,AIGC 業大爆發,尤其 3 月彷彿每天都是「歷史性」的一天。

以ChatGPT為代表的生成式AI看似超前,卻以極「古典」的形式降世。它沒有花哨圖示,也沒有完美UI設計,而是用最簡單的對話框「震撼」世界。如此簡單卻成了網路和現實最紅的話題,果然「好看的皮囊千篇一律,有趣的靈魂萬中選一」。只是只能在網頁和問答感受它,讓我們忽略了不少問題。

看似毫無負擔的「回答」,背後卻是世界屈指可數的算力成就。隨著ChatGPT成為常態,藏在ChatGPT背後的眉角也逐步顯現。

燒錢費電,還喜歡喝水

生成式AI消耗顯卡很類似「挖礦」。大語言模型(LLMs)訓練參數越多,性能越好,2018年的LLM約1億個參數,現在約要2千億個參數。跑AI需要算力高強的GPU,輝達2020年推出A100高性能GPU,打包八張A100組成DGXA100伺服器,運算伺服器或說顯卡組,最終放在雲端運算中心,如微軟Azure雲服務。ChatGPT 難以複製的原因,除了耗顯卡,還有水電費?

▲ TPU v4組成的Google機器學習中心。(Source:Google)

不光訓練大語言模型需要大量算力,每個用戶問一次,ChatGPT回答一次,都要用到部分算力。流量就是金錢,OpenAI、微軟應該都有刻骨銘心的感受。Similarweb數據,3月ChatGPT吸引全球16億次拜訪,是1月近三倍,即便微軟有準備,裝了一萬多張A100給ChatGPT,但如此流量就算OpenAI也扛不住,當機、封帳和暫停Plus會員開通紛紛上場。

有人估算想完整吃下那時流量,微軟還得再買幾萬張A100或H100顯卡,Azure現在算力遠遠不夠。但買更多顯卡,除了燒錢也會有更多問題。八張A100組成的DGXA100伺服器售價約19.9萬美元,最高功率為6.5kW。以萬張計算,光硬體微軟就要花掉2.5億美元,營運一個月就用掉585萬度電。

除了顯卡本身價格及維持工作的電力,還要有涼爽的環境,搭配蒸發冷卻裝置。原理簡單,就是利用蒸發水散熱,但運行需要耗費大量清水,且循環過程約1%~2%水會蒸發被風帶走。雖然水量大致維持動態平衡,但冷卻塔的小環境卻有無形消耗。

結合AIGC需龐大算力的運算中心,科羅拉多大學與德州大學研究員估算訓練過程消耗的水量。以GPT-3為例,訓練時清潔淡水等於填滿核反應堆冷卻塔水量。果然AI最終還是會跟核電掛鉤。再具體點就是約70萬升水,且還算出一個用戶與ChatGPT進行25~50次問答,大概等於給ChatGPT喝500ml水。蒸發冷卻塔工作時,平均每消耗一度電,就讓一加侖水(3.78L)消失。

不只微軟,Google 2019年為三座資料中心耗費超過23億加侖水。美國本土Google有14座資料中心,為搜尋和現在LaMDA和Bard提供算力,且訓練LaMDA語言模型時比GPT-3還耗水。

AI不只吃顯卡,要住恆溫大房子,胃口還出奇的好,大口吃電,大口喝水。ChatGPT 難以複製的原因,除了耗顯卡,還有水電費?

▲ Google運算中心。(Source:Google)

無處不在的AI鴻溝

AIGC業簡單準確回應的對話框,背後不只技術力,也代表雄厚的金錢力。Sasha Luccioni博士表示,大型語言模型,世界只有少數公司才有資源訓練。以GPT-3為例,訓練1,800億參數,成本約460萬美元,還不包括後續營運和更新維護等。這些有形的無形成本,當然很多公司無法承擔。

故AIGC浪潮下形成AI鴻溝,分成兩種公司。一是錢多到夠燒,訓練最複雜的大語言模型的大型科技公司;另一種就是無法承擔的非營利組織和小公司。

許多AIGC到底消耗多少電力資源的研究報告,多以GPT-3或「預估」等帶過,就像訓練GPT-3用了多少水的研究,OpenAI並沒有披露GPT-3訓練時長,研究員只能從微軟Azure運算中心冷卻塔數據估算。碳排放等其他數據,也多從2019年Bert訓練模型估算。除了資金、GPU、資料中心、網路頻寬等硬實力,Google、微軟也把大語言模型訓練、過程、時間、參數等都列為最高機密。

我們想使用了解,只能透過API或詢問ChatGPT和Bard,無形中成為「AI鴻溝」。

AIGC發展迅速且能力無限擴大,許多國家組織都在考慮如何幫AIGC設立規範,免得它(產生自我意識,開始覺醒等等等)恣意妄為。但就如研究員,AIGC(如GPT-4)幾乎沒有公開資訊,更像科技黑盒子。對大公司而言,AIGC可能就是下個新時代的開端,建造科技壁壘無可厚非,但資源消耗,無論立法機構還是大眾,都該保持透明度,這也是AI提供便利同時,為何研究員不斷挖掘想找到耗費多少資源的理由。

發展AI其實是人類登月

AI耗電、排碳及耗水等研究,並非譴責或反對發展AIGC用資源換取技術改進,是提供AIGC業另一個角度,一條條符合邏輯回答的背後,到底用戶或大科技公司付出什麼代價。也並非要呼籲Google、微軟立刻達成碳中和,並為水資源、電力和間接環境問題買單,轉型成Google Green或綠軟。

AIGC爆發並不是一簇而就,也不是簡單開竅式技術爆發,涵蓋許多產業鏈,更像「水到渠成」。大公司雲端運算中心算力增強,以及GPU高效運算、大語言模型參數複雜化,加上AIGC企業一直不計成本投資。ChatGPT 難以複製的原因,除了耗顯卡,還有水電費?

大數據運算中心只是AIGC業的一環

GPT-3出現前,AI能力還屬稚嫩,大眾也沒意識到AI可能會改變世界,但GPT-4、Midjourey V5等出現,AIGC成了矽谷寵兒。此時OpenAI、微軟、Google等大量消耗資源,讓大算力用途有了初步成果。

同樣的AIGC節點類似人類登月那刻。登月動用當時大量資金資源,但月球並沒有發現同等可利用資源(暫時)回收,但不能否認登月沒有意義,就如現在發展AIGC。因AIGC能發展到什麼地步,誰也說不準。

© 版权声明

相关文章

暂无评论

暂无评论...