GPU缺口45萬片?中國大模型產(chǎn)業(yè)鏈有新動向
很難想象,一個只有兩三百人的會議,來了國內(nèi)“百模大戰(zhàn)”中的幾十家企業(yè)。他們?yōu)楹味鴣恚?/p>
(資料圖)
文|趙艷秋
編|牛慧
8與24日,在北京東三環(huán)一家酒店中舉辦的一場發(fā)布會現(xiàn)場,來了國內(nèi)“百模大戰(zhàn)”中過半的企業(yè)。
全場的氣氛有些焦慮,一些與會者見面時的問候語變成了“你家的GPU服務(wù)器到貨了沒有?”
今年上半年,全球新發(fā)布的大模型約有400個;截至7月,中國發(fā)布的10億參數(shù)以上的大模型有79個。Gartner在其最新2023年新興技術(shù)成熟度曲線,將生成式AI置于過高期望的頂峰,大模型賽道的熱潮,也導(dǎo)致AI算力現(xiàn)在變得異常稀缺,而GPU芯片大廠英偉達(dá)的營收和市值都創(chuàng)造了新高。
“我們判斷現(xiàn)在英偉達(dá)H800的缺口在45萬片?!币晃慌c會互聯(lián)網(wǎng)算力平臺負(fù)責(zé)人說,業(yè)界整體面臨算力從哪來的問題。
更進(jìn)一步說,Gartner預(yù)計生成式AI將在未來兩到五年帶來變革性好處,不少大模型企業(yè)出于自身業(yè)務(wù)長期的發(fā)展,正在體系化考慮大模型業(yè)務(wù),比如,思考自建算力集群,產(chǎn)業(yè)鏈也開始要解決更多大模型系統(tǒng)化發(fā)展帶來的挑戰(zhàn)。
01
中美大模型或?qū)⒆呦虿煌胺忠啊?/strong>
很難想象,一個只有兩三百人的會議,來了幾十家大模型企業(yè)。
此前有業(yè)界人士稱,中國將與美國一樣,未來只有幾個大廠有能力做大模型,其他企業(yè)都將在大模型上做應(yīng)用開發(fā),但顯然每家來參會的企業(yè)都懷抱希望,想要一搏。
“我們的模型開源后,大約有150家企業(yè)客戶將它用到了實際生產(chǎn)中,但其實可能這只是登記在冊的,實際數(shù)量已遠(yuǎn)遠(yuǎn)超過了這個數(shù)。”百川智能技術(shù)聯(lián)合創(chuàng)始人陳煒鵬說。百川是由王小川等創(chuàng)立的大模型企業(yè),今年4月進(jìn)入該賽道,時機(jī)并不算早,但獲得了市場的良性反饋。他們準(zhǔn)備在Q4發(fā)布更大的500億參數(shù)的模型。
快手在8月剛剛宣布自研大模型“快意”,一位與會人士稱,正在加緊探索應(yīng)用場景。
“其實,今天我們只是在生成式AI的起點?!崩顺毙畔⒏呒壐笨偛脛④姼嬖V數(shù)智前線,“我認(rèn)為還沒有到定義中國大模型格局的階段?!?/strong>
浪潮信息高級副總裁劉軍
他的理由是,生成式AI未來的前景實在是太廣闊了。而從技術(shù)角度看,以十年的維度,今天GPT4的能力還是一個小娃娃,未來有多遠(yuǎn),人們能到多高的山,現(xiàn)在都還是未知。包括一些組織正在研究新算法要去顛覆大模型“鼻祖”Transformer,美國至今也在對大模型進(jìn)行瘋狂投資,這些都是行業(yè)內(nèi)值得關(guān)注的動向。
不得不承認(rèn),從應(yīng)用角度看,當(dāng)下大模型在中美的普及程度不太一樣。ChatGPT在美國已成為很多人工作不可或缺的助手,寫代碼、寫文檔、做翻譯、寫郵件,不少人每天都在用,也有很多人在持續(xù)使用文生圖的Stable Diffusion、Midjourney。
在國內(nèi),一些先行企業(yè)在做大模型的落地嘗試。上海儀電旗下數(shù)科公司南洋萬邦智能物聯(lián)部經(jīng)理曾佑軒告訴數(shù)智前線,從他們做的項目來看,主要是內(nèi)部員工的AI助手、知識管理兩大方向。目前AI助手的費(fèi)用已做到每月每人10元。
但一位與會互聯(lián)網(wǎng)人士對此不以為然,他認(rèn)為上述用戶體量還是太小。他們的App有數(shù)億用戶,對大模型的落地“胃口”顯然更大。“你看ChatGPT有幾億用戶。”他說。
大家認(rèn)為,普及上的差距,核心原因是大模型的性能差距。從各大模型企業(yè)釋放的信息來看,今年底,國內(nèi)基礎(chǔ)大模型有望趕上GPT3.5的水平?!拔覀冊O(shè)想中國有10個達(dá)到GPT4、GPT5這樣能力的大模型,運(yùn)用前景跟今天就會完全不一樣。”業(yè)內(nèi)資深人士說。
劉軍認(rèn)為,客觀來看,一方面國內(nèi)在基礎(chǔ)大模型上和Open AI之間存在較大差距,確實需要做提升;另一方面,中國公司在應(yīng)用上毫無疑問具備特別強(qiáng)的創(chuàng)新能力。這兩者結(jié)合起來,中國在生成式AI上會有一個非常好也不一樣的前景。“美國現(xiàn)在的格局,并不意味著就是中國未來的格局。”
大模型的追趕,需要數(shù)據(jù)、算法和算力上的保障,算力目前是一個突出問題。
大模型能力的提升和其訓(xùn)練投入的算力當(dāng)量正相關(guān)。簡單說,算力當(dāng)量就是模型參數(shù)量乘以訓(xùn)練的token數(shù)。根據(jù)公開資料分析,GPT-4、PaLM-2等模型的算力當(dāng)量已達(dá)到GPT-3的數(shù)十倍,相當(dāng)于上萬顆領(lǐng)先的英偉達(dá)Hopper架構(gòu)GPU組成的AI集群,訓(xùn)練超過1 個月的時間。實際情況是大家可能找不到這樣的算力,這是國內(nèi)大模型企業(yè)面臨的一大挑戰(zhàn)。
一位與會創(chuàng)業(yè)者對數(shù)智前線說,他看到業(yè)界正在研發(fā)各類XPU芯片,早有“百芯大戰(zhàn)”之說。未來AI算力將走向百花齊放,尤其是誰將在ChatGPT之后,面向大模型訓(xùn)練開發(fā)出專門的芯片。到那時,GPU將不再通吃天下。
不過,快手異構(gòu)計算負(fù)責(zé)人劉凌志稱,他們看到新的AI芯片 落地用起來,基本上在兩三年之后。
為了加快多元化芯片的落地,8月,浪潮信息發(fā)布了《開放加速規(guī)范AI服務(wù)器設(shè)計指南》,“百芯”公司可參考規(guī)范,將服務(wù)器適配周期從原來將近一年時間縮短到三分之一。這里的核心問題是,英偉達(dá)最搶手的GPU采用了NVLink高速互聯(lián)協(xié)議,但這是一種私有協(xié)議。為解決其他芯片高速協(xié)同工作,國際開放組織OCP制定了開放加速計算規(guī)范,目前浪潮信息是最核心的牽頭者和推動者。
在8月北京舉辦的OCP大會上,數(shù)智前線看到了采用燧原AI加速芯片的服務(wù)器。有業(yè)者告訴數(shù)智前線,多元算力局面將在2024年底到來。
不過,為了解決大模型的快速推進(jìn)和算力稀缺之間的矛盾,業(yè)界需要做的還要更多。
02
硬件企業(yè)向上,軟件企業(yè)向下
當(dāng)下算力的矛盾,不僅是芯片問題,也有如何從系統(tǒng)角度把芯片用起來的問題。
“很多人認(rèn)為,只要買了很多GPU,就可以搭建超大規(guī)模的訓(xùn)練集群,這是很大的誤區(qū)。”商湯聯(lián)合創(chuàng)始人陳宇恒曾告訴數(shù)智前線,他深刻體會到構(gòu)筑AI計算集群去訓(xùn)練大模型的不易,稱之為“工程的奇跡”。試想,把幾千、幾萬塊GPU連接起來,實現(xiàn)非常高的并行效率,還要保障長時間無故障運(yùn)行,確實不容易。
浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU在拜訪一家海外大型科技企業(yè)時,企業(yè)的IT總監(jiān)告訴他:“Al集群就像一臺動力強(qiáng)勁的法拉利,但目前為止我們還沒有很好的掌握如何駕馭它。”這家企業(yè)有很長一段時間都在用公有云,當(dāng)他們要創(chuàng)建自己的AI集群時,發(fā)現(xiàn)自己已喪失了面對最新硬件設(shè)備構(gòu)建集群、優(yōu)化運(yùn)維的能力。
“我們每個創(chuàng)業(yè)公司都會考慮自建集群,但基本決策都還沒有下?!币患遗c會的大模型創(chuàng)業(yè)人士告訴數(shù)智前線,他稱想自建的原因是目前整個行業(yè)的算力都很緊張,使用云服務(wù)有很大的不確定性,長期來看成本也較貴,因為原來云可以超賣,但現(xiàn)在訓(xùn)練大模型,為了追求集群的性能,不允許云廠商超賣,這導(dǎo)致用云的成本比自建要高。而目前沒做決策的原因,是自建的復(fù)雜性。
金山辦公技術(shù)總監(jiān)熊龍飛觀察,他們的一些用戶出于數(shù)據(jù)安全和隱私,對私有化部署已提出強(qiáng)烈需求?!爱?dāng)前,我們做的主要還是公有云方案,后面要進(jìn)行私有化部署的遷移,不僅需要尺寸更小的模型,也要更強(qiáng)的本地算力集群?!?/p>
Owen ZHU觀察,企業(yè)在智算場景下,建設(shè)本地集群的需求越來越明顯,但從目前的情況看,絕大多數(shù)用戶在如何用好這些算力上,或多或少都遇到一些問題。
基于這些用戶的需求,8月24日,浪潮信息正式發(fā)布大模型智算軟件棧OGAI (Open GenAI Infra) “元腦生智”,這是一套全棧軟件,面向生成式AI開發(fā)與應(yīng)用場景,涉及從集群系統(tǒng)環(huán)境部署到算力調(diào)度保障再到大模型開發(fā)管理。
“現(xiàn)在市面上沒有公開、標(biāo)準(zhǔn)化的東西,我們就把自己從2021年起做大模型的工程經(jīng)驗、服務(wù)客戶的經(jīng)驗,轉(zhuǎn)化成工具和流程?!監(jiān)wen ZHU說。
這看上去有些跨界,畢竟浪潮信息以算力和基礎(chǔ)設(shè)施為主。但實際上,人工智能產(chǎn)業(yè)鏈上,跨界動作愈發(fā)頻繁,業(yè)界有著“軟件企業(yè)向下,硬件企業(yè)向上”的現(xiàn)象。
各大互聯(lián)網(wǎng)企業(yè)不僅開發(fā)各類大模型,做模型商店,還向下做芯片,做人工智能算力大底座。
GPU大廠英偉達(dá)CEO黃仁勛在今年一個大學(xué)演講中稱,“調(diào)動公司各方力量來推進(jìn)人工智能”。英偉達(dá)估計,這項工作在過去十年間已花費(fèi)了超過 300 億美元,使英偉達(dá)不僅是一家芯片供應(yīng)商,還建立起一支訓(xùn)練大模型的人工智能團(tuán)隊,開發(fā)了CUDA 之外的多層關(guān)鍵軟件,目的是為程序員節(jié)省勞動力。
“人工智能是對計算方式的重新發(fā)明?!秉S仁勛進(jìn)一步解釋,“我們從頭開始構(gòu)建一切,從處理器一直到最終。”
此前,浪潮信息也已開始人工智能的相關(guān)布局,在2021年9月,發(fā)布了參數(shù)量為2457億的大語言模型“源1.0”,成為國內(nèi)首個推出大語言模型的“硬件”企業(yè),時間與互聯(lián)網(wǎng)企業(yè)如阿里等不相上下。
在被問及浪潮信息的定位時,劉軍回應(yīng),開發(fā)大模型的核心出發(fā)點,還是研究大模型對于算力系統(tǒng)的需求特點,但他也隨即補(bǔ)充,“我們越來越不認(rèn)為自己是個硬件廠商,如何能把硬件這個生意轉(zhuǎn)化成更大的生產(chǎn)力,我們必須去理解客戶的應(yīng)用需求和痛點,這也要求浪潮信息不僅僅是硬件,我們在系統(tǒng)、軟件、算法上都有非常強(qiáng)的團(tuán)隊和能力?!?/p>
在人工智能賽道,中美企業(yè)當(dāng)下處于狂跑構(gòu)筑大模型、創(chuàng)造新應(yīng)用的關(guān)鍵時期,很多角色在加速轉(zhuǎn)變,因為客戶需求復(fù)雜,單一角色的價值越來越低,越做越難。這就好像混亂的“戰(zhàn)國時代”,沒有說分工在哪一層,有跨界,有垂直整合,有些亂序,說不上誰對誰錯,大家都在嘗試。
03
公有云之外的一套工具鏈
為什么浪潮信息會選擇此時推出大模型智算軟件棧OGAI?一位資深人士告訴數(shù)智前線,在公有云上跑通大模型后,不少企業(yè)開始考慮自建集群,而一些企業(yè)搶購的GPU,將陸續(xù)在下半年和明年上半年到達(dá)客戶現(xiàn)場。
此前,互聯(lián)網(wǎng)大廠都提供了相應(yīng)的工具鏈,但都在自家云平臺上提供服務(wù)。浪潮信息的大模型智算軟件棧OGAI“元腦生智”,則針對本地化或私有化部署,并且可以在用戶的不同平臺上“嫁接”使用,不要求一定基于浪潮信息的“源”大模型或該公司的某一平臺。
大模型智算軟件棧OGAI分為五層,各層對應(yīng)不同的應(yīng)用場景,每層間是解耦的,用戶需要哪些工具,就可以調(diào)用哪些。Owen ZHU看到 ,在大型智算中心的建設(shè)場景中,基本會使用從L0到L4的全棧軟件服務(wù),企業(yè)也可選擇其中的某一些工具鏈。
在這五層中,與其他工具鏈形成差異化的主要是L1和L2層。
L1層PODsys提供了集群部署的系統(tǒng)化工具。有趣的是,這一層是開源軟件組成的。Owen ZHU稱,這符合不少有互聯(lián)網(wǎng)精神的企業(yè),使用開源組件的需求。在諸多開源工具中如何選用、如何配置、如何快速組合,浪潮信息將自己之前的實踐公開出來。這些軟件可從PODsys.ai網(wǎng)站下載,免費(fèi)使用。
L2層則是商業(yè)化調(diào)度平臺AIStation,它的一些功能將與L1層PODsys形成承接。劉軍介紹,商業(yè)化和開源之間的區(qū)別在于生產(chǎn)效率。
比如,在PODsys里也有兩個開源的調(diào)度器,是免費(fèi)使用的,而商業(yè)版本則能自動識別各種節(jié)點、設(shè)備的故障,把它從計算資源池里剔除出去,加入新的可用計算資源。同時,如果產(chǎn)生了斷點,它能從最新斷點自動化加載回來繼續(xù)往前計算。
這是斷點續(xù)訓(xùn)功能,大模型訓(xùn)練時間通常從幾周到幾個月,出現(xiàn)設(shè)備失效后,不能讓跑了幾十天的作業(yè)又重頭再來,斷點續(xù)訓(xùn)的設(shè)置和保護(hù),對客戶是一個極大的保護(hù)。目前,市面上的開源版本不提供這些功能,用戶可以根據(jù)需求來選擇。
L3大模型訓(xùn)練層和L4層多模型納管層,提供的功能類似互聯(lián)網(wǎng)企業(yè)的工具鏈,但OGAI是為企業(yè)提供本地化和私有化部署的。值得關(guān)注的是L4層,未來,浪潮信息將通過它的元腦生態(tài),參與到大模型企業(yè)的商業(yè)通道中。
經(jīng)歷了這些年人工智能的演進(jìn)后,劉軍稱,今天我們?nèi)蕴幱诖竽P偷钠瘘c,除了人工智能的三要素——更好的數(shù)據(jù)、更有創(chuàng)意的算法和更好的算力之外,他希望再加兩個,即更好的工程和更好的生態(tài),逐步將大模型的飛輪跑起來。
關(guān)鍵詞:
相關(guān)文章
經(jīng)濟(jì)觀察:從長春農(nóng)博會一窺中國農(nóng)村的未來
中新網(wǎng)長春8月27日電(李丹)中國農(nóng)村的未來會是什么樣子?從8月18日至27
【外盤異動】相較于隔夜23:00 美原油(23:00基準(zhǔn))上漲1.36%
警惕!相較于隔夜23:00,美原油(23:00基準(zhǔn))出現(xiàn)快速上行,漲幅錄得1 36
【香坊真香 · 相約哈夏】香坊區(qū)舉行“人民的節(jié)日 精彩的哈夏”暨“香坊真香 香飄萬里”文化藝術(shù)節(jié)閉幕式文藝演出活動
8月28日,香坊區(qū)“人民的節(jié)日精彩的哈夏”暨“香坊真香香飄萬里”文化
精彩推送
貴陽高新區(qū)再添三家市級孵化器
多彩貴州網(wǎng)訊(本網(wǎng)記者程曦)8月29日,記者從貴陽高新區(qū)創(chuàng)業(yè)服務(wù)中心獲
招聯(lián)金融可以協(xié)商還款嗎 招聯(lián)能協(xié)商還款嗎
用戶在招聯(lián)金融申請的貸款逾期后,如果是因為特殊原因?qū)е聼o力還款,比
網(wǎng)紅導(dǎo)游因河南雕塑事件收威脅郵件 基本信息講解
大家好,今日關(guān)于【網(wǎng)紅導(dǎo)游因河南雕塑事件收威脅郵件】的話題登上了各
高級經(jīng)濟(jì)師各科三色筆記匯總? 搶先學(xué)習(xí),輕松拿捏考試重難點!
2024年高級經(jīng)濟(jì)師考試備考已開啟,考試時間在每年的6月。時間不等人,
濟(jì)源投資集團(tuán)擬發(fā)行5億元中票,用于償還有息負(fù)債
據(jù)悉,本期中票基礎(chǔ)發(fā)行規(guī)模為0億元,上限為5億元,期限為2+1年,采用
供應(yīng)風(fēng)險增加 歐洲天然氣價格現(xiàn)大幅波動
中國網(wǎng)是國務(wù)院新聞辦公室領(lǐng)導(dǎo),中國外文出版發(fā)行事業(yè)局管理的國家重點
三亞:進(jìn)一步加大旅游市場規(guī)范整治力度,重拳打擊潛水、沖浪、婚慶等市場的違法違規(guī)行為
36氪獲悉,8月29日,三亞市旅游市場工作領(lǐng)導(dǎo)小組2023年第2次工作會議召
下周前瞻:8月PMI數(shù)據(jù)將公布,美國8月非農(nóng)數(shù)據(jù)來襲,A股4只新股申購,解禁市值環(huán)比大降
一周財經(jīng)日歷下周新股發(fā)行情況速覽下周(8月28日-9月1日)A股市場4只新
數(shù)字經(jīng)濟(jì)新動能持續(xù)釋放
截至6月,我國互聯(lián)網(wǎng)普及率達(dá)76 4%——數(shù)字經(jīng)濟(jì)新動能持續(xù)釋放8月28日
美國6月S&P/CS20座大城市房價指數(shù)年率錄得-1.17%
美國6月S&P CS20座大城市房價指數(shù)年率錄得-1 17%,預(yù)期為-1 3%,前值為-1 7%。
錫業(yè)股份2023年上半年凈利6.87億 同比減少54.78%
挖貝網(wǎng)2023年8月23日,錫業(yè)股份(000960)近日發(fā)布2023年半年度報,報告
南雄市開展食用農(nóng)產(chǎn)品“快檢+抽檢”
為落實民生實事工作要求,加強(qiáng)食用農(nóng)產(chǎn)品銷售環(huán)節(jié)質(zhì)量安全監(jiān)管,今年以
七大部門聯(lián)手,推動鋼鐵行業(yè)穩(wěn)增長,券商:關(guān)注“高、強(qiáng)、大”
工信部、國家發(fā)改委、財政部等7部門聯(lián)合印發(fā)《鋼鐵行業(yè)穩(wěn)增長工作方案
小城鎮(zhèn)中老年消費(fèi)值得重視
在傳統(tǒng)認(rèn)知中,年輕一代熱衷嘗鮮,消費(fèi)意愿更強(qiáng),企業(yè)更愿意在年輕消費(fèi)
營養(yǎng)美味又安全 杭州亞運(yùn)會運(yùn)動員餐廳菜單新鮮出爐
記者從杭州亞組委后勤保障部了解到,隨著杭州亞運(yùn)會運(yùn)動員餐廳菜單的審
8月為什么要有31號!B社《星空》Steam版現(xiàn)已開啟預(yù)載
B社太空科幻巨作《星空》現(xiàn)已在Steam開啟預(yù)載,據(jù)下載頁面顯示預(yù)載大小
打造科技創(chuàng)新高地 樹立滬港合作典范丨楊浦區(qū)與香港中文大學(xué)座談會召開
今天(8月29日)上午,楊浦區(qū)與香港中文大學(xué)座談會召開。楊浦區(qū)委書記
長安啟源正式官宣:的定位“數(shù)智進(jìn)化新汽車”,目標(biāo)150萬
近日,長安汽車品牌長安啟源在“長安啟源日”發(fā)布會上正式發(fā)布。該品牌
600萬Ubuntu用戶支持 官方匯總用戶需求決定Ubuntu發(fā)展
近日,Ubuntu在官方博客更新了系統(tǒng)活躍用戶等數(shù)據(jù)。根據(jù)文章提供的數(shù)據(jù)
航空工業(yè)宏光邀請外部專家對 GJB5000B 軟件體系進(jìn)行外審
8月28-29日,公司邀請外部專家對公司GJB5000B軟件體系進(jìn)行外審,并就軟
2023河南新鄉(xiāng)經(jīng)濟(jì)技術(shù)開發(fā)區(qū)招聘中小學(xué)教師20人網(wǎng)上報名入口(8月30日8點開通)
2023年新鄉(xiāng)經(jīng)濟(jì)技術(shù)開發(fā)區(qū)公開招聘中小學(xué)教師20人將于8月30日開始報名
山西長治襄垣縣:推進(jìn)稅費(fèi)服務(wù)管理現(xiàn)代化
山西長治襄垣縣:推進(jìn)稅費(fèi)服務(wù)管理現(xiàn)代化
成渝城市群:成都上榜企業(yè)品牌價值總量增長500多億,區(qū)域產(chǎn)業(yè)結(jié)構(gòu)升級成效明顯丨品牌讀榜·城市篇⑥
◎榜單顯示,成渝城市群上榜企業(yè)合計品牌價值總和為9256 82億元,上榜
始興縣首個新型智慧農(nóng)貿(mào)市場即將建成
始興縣石湖農(nóng)貿(mào)市場建設(shè)項目是該縣的重點民生項目,備受廣大市民關(guān)注。
鄉(xiāng)村振興 產(chǎn)業(yè)先行|廣西農(nóng)信:寫好“特色”文章,增添發(fā)展動力
近年來,廣西農(nóng)信社聚焦鄉(xiāng)村振興關(guān)鍵領(lǐng)域、薄弱環(huán)節(jié),嚴(yán)格落實“四個不
效果圖曝光!朝陽多個地塊建設(shè)方案發(fā)布,規(guī)劃住宅樓、小學(xué)!
效果圖曝光!朝陽多個地塊建設(shè)方案發(fā)布,規(guī)劃住宅樓、小學(xué)!,東壩,朝陽
中貝通信與漢江集團(tuán)簽署戰(zhàn)略協(xié)議共建綠色智算中心
8月29日,中貝通信與漢江集團(tuán)在武漢簽訂戰(zhàn)略合作協(xié)議,共同在算力服務(wù)