我們擅長(zhǎng)商業(yè)策略與用戶體驗(yàn)的完美結(jié)合。
歡迎瀏覽我們的案例。
對(duì)此,《科創(chuàng)板日?qǐng)?bào)》記者詢問(wèn)百度、騰訊和阿里巴巴方面,均未有回應(yīng)。
不過(guò),阿里巴巴集團(tuán)董事會(huì)主席兼 CEO 張勇在財(cái)報(bào)溝通會(huì)上坦言,GPU 在中國(guó)市場(chǎng)供應(yīng)確實(shí)緊缺。“新一代人工智能發(fā)展帶來(lái)的模型訓(xùn)練和推理場(chǎng)景,對(duì) AI 云服務(wù)的需求非常旺盛,但是由于短期內(nèi) GPU 在中國(guó)市場(chǎng)供應(yīng)的緊缺,使得這樣的需求只得到了部分滿足,AI 相關(guān)服務(wù)所帶來(lái)的增量機(jī)會(huì)剛剛開(kāi)始得到釋放。”
有大模型創(chuàng)業(yè)公司高層向《科創(chuàng)板日?qǐng)?bào)》透露,”相比 5 月份英偉達(dá)芯片上漲了百分之小幾十,A100 和 H100 都已經(jīng)買(mǎi)不到了。”
一家算力服務(wù)平臺(tái)的相關(guān)人員告訴《科創(chuàng)板日?qǐng)?bào)》記者,當(dāng)前算力資源較為緊缺,有幾百家企業(yè)都在排隊(duì)。
未來(lái)推理算力需求或遠(yuǎn)高于訓(xùn)練算力
隨著 AI 大模型加速在實(shí)際場(chǎng)景落地,算力需求也隨之激增。
以 AI 應(yīng)用“妙鴨相機(jī)”為例,其上線不到一個(gè)月,算力需求暴漲數(shù)百倍。據(jù)相關(guān)負(fù)責(zé)人透露,“妙鴨相機(jī)”已在阿里云上進(jìn)行緊急擴(kuò)容,應(yīng)對(duì)暴漲數(shù)百倍的算力需求。雖然算力一邊加,但另一邊用戶也在漲,但高峰期排隊(duì)現(xiàn)象已經(jīng)有了緩解。
“此前,大家對(duì)大模型訓(xùn)練需要的算力關(guān)注較多,尤其是 GPT 類的模型訓(xùn)練,動(dòng)輒需要上萬(wàn)張顯卡。”某資深人士分析,隨著 Llama2 等開(kāi)源大模型的流行,大模型應(yīng)用推理端的算力需求更值得關(guān)注。隨著各個(gè)行業(yè)的 AIGC 開(kāi)發(fā)逐步完成,對(duì)業(yè)務(wù)開(kāi)展階段使用的推理算力需求開(kāi)始大幅增長(zhǎng),未來(lái)幾個(gè)月推理的算力需求總量可能遠(yuǎn)高于訓(xùn)練算力。
優(yōu)刻得董事長(zhǎng)兼 CEO 季昕華認(rèn)為,未來(lái)對(duì) GPU 的需求會(huì)繼續(xù)增長(zhǎng)。“國(guó)產(chǎn)大模型的玩家越來(lái)越多,算力需求越來(lái)越高漲,同時(shí)大模型訓(xùn)練的數(shù)量、數(shù)據(jù)和參數(shù)越來(lái)越大,也導(dǎo)致需求越來(lái)越多。其中,對(duì)推理算力的需求會(huì)更大。
“這是因?yàn)橥评砗陀脩魯?shù)直接相關(guān)。目前,優(yōu)刻得用于客戶訓(xùn)練的 GPU 和推理的 GPU 的比例大概在3:7。假設(shè)三萬(wàn)張卡做訓(xùn)練的話,對(duì)應(yīng)到七萬(wàn)張卡做推理,這也是為何 ChatGPT 會(huì)限制大家使用和注冊(cè),就是因?yàn)橥评?的卡)不夠。” 季昕華說(shuō),“如今受限于整個(gè)供應(yīng)鏈,全球缺貨。雖然我們能買(mǎi),但是到貨時(shí)間會(huì)很難。此外,也受限于整個(gè)美國(guó)的政策,對(duì) A100 和 H100 有限制。”
國(guó)產(chǎn)芯片相比英偉達(dá)仍有差距
當(dāng)下,已有不少國(guó)內(nèi)企業(yè)入局 AI 芯片,包括華為昇騰、寒武紀(jì)、天數(shù)智芯、燧原科技、沐曦科技、壁仞科技等。
“國(guó)內(nèi)真正已經(jīng)參與大模型訓(xùn)練的廠商,主要是華為昇騰、寒武紀(jì)。”一位 AI 專家指出。“其他初創(chuàng)企業(yè)的痛點(diǎn),主要是生態(tài)上不夠成熟,但在細(xì)分領(lǐng)域可以落地,比如,燧原科技在某些領(lǐng)域的加速表現(xiàn)不錯(cuò)。”
另有大模型創(chuàng)業(yè)者對(duì)《科創(chuàng)板日?qǐng)?bào)》記者表示,目前已經(jīng)與昇騰、燧原等國(guó)產(chǎn)芯片進(jìn)行適配。“雖然距離英偉達(dá)高端芯片還需要加油,華為昇騰在國(guó)產(chǎn)芯片中已經(jīng)很優(yōu)秀了。”
一位相關(guān)芯片技術(shù)人員則向記者強(qiáng)調(diào),昇騰芯片在某些深度學(xué)習(xí)的特定場(chǎng)景上性能已經(jīng)趕上英偉達(dá)。
天數(shù)智芯相關(guān)負(fù)責(zé)人則對(duì)記者表示,其產(chǎn)品已成功支撐大模型訓(xùn)練、推理,取得一定程度的突破。此外,在數(shù)據(jù)中心、能源、教育以及醫(yī)療等方面都有訂單,整體銷售額已經(jīng)突破 5 億。
“國(guó)產(chǎn)芯片和英偉達(dá)的差距主要在于生態(tài)和通信性能。”季昕華指出,“現(xiàn)在大部分的人工智能方案都是基于英偉達(dá)的 CUDA 平臺(tái),國(guó)產(chǎn)芯片需要兼容 CUDA 架構(gòu),對(duì)生態(tài)要求還是比較高的。其次,在整個(gè)通信的性能上仍有挑戰(zhàn),推理今年能夠?qū)崿F(xiàn)使用,但訓(xùn)練方面還需要一點(diǎn)時(shí)間。不過(guò)進(jìn)步非??臁N覀儸F(xiàn)在也積極地與國(guó)產(chǎn) GPU 對(duì)接,能讓他們用起來(lái)。”
?。?a href="http://www.weiseditor.com">邯鄲小程序)
中國(guó)互聯(lián)網(wǎng)大廠加碼訂購(gòu)!英偉達(dá)GPU繼續(xù)漲價(jià) 國(guó)產(chǎn)芯片仍缺生態(tài)加持 10:10:09
任天堂擴(kuò)張長(zhǎng)期游戲研發(fā)計(jì)劃,宣布新開(kāi)發(fā)大樓竣工延期至 2028 年 10:03:49
迪士尼 Disney+ 流媒體服務(wù)密碼共享遭到濫用 將于明年開(kāi)始打擊 09:59:43
三星正研發(fā) 256TB 超大容量 SSD,目標(biāo)殺死企業(yè)級(jí)機(jī)械硬盤(pán) 09:55:28
字節(jié)跳動(dòng)旗下火山引擎推出了 TrafficRoute DNS 套件服務(wù) 09:52:39
X 公司 CEO 確認(rèn) 即將支持視頻通話功能 09:48:19