技術(shù)
導(dǎo)讀:亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計(jì)算芯片上更低成本地運(yùn)行數(shù)千個(gè) AI 模型。
5 月 23 日消息,亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計(jì)算芯片上更低成本地運(yùn)行數(shù)千個(gè) AI 模型。
估值 45 億美元(IT之家備注:當(dāng)前約 326.25 億元人民幣)的 Hugging Face 已成為 AI 研究人員和開發(fā)者分享聊天機(jī)器人或其他 AI 軟件的中心,并得到了亞馬遜、Alphabet 旗下的谷歌和英偉達(dá)等公司的支持,它是開發(fā)者獲取和調(diào)整開源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平臺(tái)。
當(dāng)開發(fā)人員調(diào)整了開源的 AI 模型后,他們通常希望使用該模型來驅(qū)動(dòng)軟件。亞馬遜和 Hugging Face 周三宣布,他們已經(jīng)合作在一個(gè)名為 Inferentia2 的定制亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)芯片上實(shí)現(xiàn)這一目標(biāo)。
“對(duì)我們來說,效率非常重要 —— 確保盡可能多的人能夠運(yùn)行模型,并且能夠以最具成本效益的方式運(yùn)行,”Hugging Face 的產(chǎn)品和增長負(fù)責(zé)人 Jeff Boudier 說。
AWS 希望吸引更多的 AI 開發(fā)者使用其云服務(wù)來交付 AI。雖然英偉達(dá)在訓(xùn)練模型的市場上占據(jù)主導(dǎo)地位,但 AWS 認(rèn)為其芯片可以以較低成本運(yùn)行那些經(jīng)過訓(xùn)練的模型。
負(fù)責(zé) AWS 人工智能產(chǎn)品的 Matt Wood 表示,你可能每個(gè)月訓(xùn)練這些模型一次,但可能每小時(shí)對(duì)它們進(jìn)行成千上萬次推理,這是 Inferentia2 真正閃光的地方。