應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

亞馬遜與 AI 公司 Hugging Face 合作:定制芯片低成本運(yùn)行 AI 模型

2024-05-24 08:55 IT之家
關(guān)鍵詞:亞馬遜AI芯片

導(dǎo)讀:亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計(jì)算芯片上更低成本地運(yùn)行數(shù)千個(gè) AI 模型。

  5 月 23 日消息,亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計(jì)算芯片上更低成本地運(yùn)行數(shù)千個(gè) AI 模型。

  估值 45 億美元(IT之家備注:當(dāng)前約 326.25 億元人民幣)的 Hugging Face 已成為 AI 研究人員和開發(fā)者分享聊天機(jī)器人或其他 AI 軟件的中心,并得到了亞馬遜、Alphabet 旗下的谷歌和英偉達(dá)等公司的支持,它是開發(fā)者獲取和調(diào)整開源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平臺(tái)。

  當(dāng)開發(fā)人員調(diào)整了開源的 AI 模型后,他們通常希望使用該模型來驅(qū)動(dòng)軟件。亞馬遜和 Hugging Face 周三宣布,他們已經(jīng)合作在一個(gè)名為 Inferentia2 的定制亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)芯片上實(shí)現(xiàn)這一目標(biāo)。

  “對(duì)我們來說,效率非常重要 —— 確保盡可能多的人能夠運(yùn)行模型,并且能夠以最具成本效益的方式運(yùn)行,”Hugging Face 的產(chǎn)品和增長負(fù)責(zé)人 Jeff Boudier 說。

  AWS 希望吸引更多的 AI 開發(fā)者使用其云服務(wù)來交付 AI。雖然英偉達(dá)在訓(xùn)練模型的市場上占據(jù)主導(dǎo)地位,但 AWS 認(rèn)為其芯片可以以較低成本運(yùn)行那些經(jīng)過訓(xùn)練的模型。

  負(fù)責(zé) AWS 人工智能產(chǎn)品的 Matt Wood 表示,你可能每個(gè)月訓(xùn)練這些模型一次,但可能每小時(shí)對(duì)它們進(jìn)行成千上萬次推理,這是 Inferentia2 真正閃光的地方。