應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

亞馬遜云科技宣布Amazon EC2 P5實(shí)例正式可用

2023-07-31 14:30 美通社

導(dǎo)讀:北京2023年7月31日 -- 亞馬遜云科技近日在紐約峰會(huì)上宣布Amazon Elastic Compute Cloud(EC2)P5實(shí)例正式可用。這是一款下一代GPU實(shí)例,由最新的英偉達(dá)H100 Tensor Core GPU提供支持,可以滿足客戶在運(yùn)行人工智能、機(jī)器學(xué)習(xí)和高性能計(jì)算工作負(fù)載時(shí)對(duì)高性能和高擴(kuò)展性的需求。與上一代基于GPU的實(shí)例相比,Amazon EC2 P5實(shí)例可以將訓(xùn)練時(shí)間縮減6倍(從幾天縮短到幾小時(shí)),從而幫助客戶節(jié)省高達(dá)40%的訓(xùn)練成本。

加速生成式AI和高性能計(jì)算應(yīng)用,由英偉達(dá)H100 Tensor Core GPU提供支持

北京2023年7月31日 -- 亞馬遜云科技近日在紐約峰會(huì)上宣布Amazon Elastic Compute Cloud(EC2)P5實(shí)例正式可用。這是一款下一代GPU實(shí)例,由最新的英偉達(dá)H100 Tensor Core GPU提供支持,可以滿足客戶在運(yùn)行人工智能、機(jī)器學(xué)習(xí)和高性能計(jì)算工作負(fù)載時(shí)對(duì)高性能和高擴(kuò)展性的需求。與上一代基于GPU的實(shí)例相比,Amazon EC2 P5實(shí)例可以將訓(xùn)練時(shí)間縮減6倍(從幾天縮短到幾小時(shí)),從而幫助客戶節(jié)省高達(dá)40%的訓(xùn)練成本。

Amazon EC2 P5實(shí)例提供8個(gè)英偉達(dá)H100 Tensor Core GPU,具有640 GB高帶寬GPU內(nèi)存,同時(shí)提供第三代AMD EPYC處理器、2TB系統(tǒng)內(nèi)存和30 TB本地NVMe存儲(chǔ)。Amazon EC2 P5實(shí)例還提供3200 Gbps的聚合網(wǎng)絡(luò)帶寬并支持GPUDirect RDMA,從而能夠繞過(guò)CPU進(jìn)行節(jié)點(diǎn)間通信,實(shí)現(xiàn)更低的延遲和高效的橫向擴(kuò)展性能。

亞馬遜云科技與英偉達(dá)攜手開(kāi)發(fā)下一代基礎(chǔ)設(shè)施

亞馬遜云科技和英偉達(dá)(NVIDIA)在今年3月宣布了一項(xiàng)多方合作,構(gòu)建全球最具可擴(kuò)展性且按需付費(fèi)的人工智能基礎(chǔ)設(shè)施,以便訓(xùn)練日益復(fù)雜的大語(yǔ)言模型和開(kāi)發(fā)生成式AI應(yīng)用程序。

當(dāng)時(shí),亞馬遜云科技預(yù)發(fā)布了由英偉達(dá)H100 Tensor Core GPU支持的Amazon EC2 P5實(shí)例,可為構(gòu)建和訓(xùn)練更大規(guī)模的機(jī)器學(xué)習(xí)模型提供高達(dá)20 exaFLOPS的算力。亞馬遜云科技和英偉達(dá)合作十多年來(lái)成果頗豐,推出了包括支持視覺(jué)計(jì)算、人工智能和高性能計(jì)算集群的各種GPU實(shí)例,如CG1實(shí)例(2010年)、G2(2013年)、P2(2016年)、P3(2017年)、G3(2017年)、P3dn(2018年)、G4(2019年)、P4(2020年)、G5(2021年)和P4de(2022年)實(shí)例。

現(xiàn)在,機(jī)器學(xué)習(xí)模型的規(guī)模已經(jīng)達(dá)到數(shù)萬(wàn)億參數(shù),這種復(fù)雜性大大增加了客戶訓(xùn)練模型所需的時(shí)間,例如,最新的大語(yǔ)言模型訓(xùn)練時(shí)間長(zhǎng)達(dá)數(shù)月之久。類似的趨勢(shì)也出現(xiàn)在高性能計(jì)算領(lǐng)域。隨著高性能計(jì)算客戶數(shù)據(jù)收集準(zhǔn)確度的提高以及數(shù)據(jù)集達(dá)到EB級(jí)規(guī)模,客戶已經(jīng)在尋找解決日益復(fù)雜應(yīng)用程序的更快方法。

關(guān)于Amazon EC2 P5實(shí)例

Amazon EC2 P5實(shí)例非常適合訓(xùn)練和運(yùn)行越來(lái)越復(fù)雜的大語(yǔ)言模型和計(jì)算機(jī)視覺(jué)模型,以滿足最苛刻的計(jì)算密集型生成式AI應(yīng)用的需求,包括問(wèn)答、代碼生成、視頻和圖像生成、語(yǔ)音識(shí)別等。與上一代基于GPU的實(shí)例相比,Amazon EC2 P5實(shí)例在這些應(yīng)用中的訓(xùn)練時(shí)間縮短了6倍。那些可以在工作負(fù)載中使用較低精度FP8數(shù)據(jù)類型的客戶,例如使用Transformer框架的語(yǔ)言模型,將通過(guò)英偉達(dá)Transformer Engine的支持獲得高達(dá)6倍的性能提升。

高性能計(jì)算客戶通過(guò)使用Amazon EC2 P5實(shí)例可以在藥物發(fā)現(xiàn)、地震分析、天氣預(yù)報(bào)和金融建模等領(lǐng)域更大規(guī)模地部署高要求的應(yīng)用程序。此外,對(duì)于使用基于動(dòng)態(tài)規(guī)劃(Dynamic Programming)算法進(jìn)行基因組測(cè)序或加速數(shù)據(jù)分析等應(yīng)用的客戶,Amazon EC2 P5將通過(guò)新的DPX指令集提供支持。

Amazon EC2 P5實(shí)例使客戶能夠探索以前看似無(wú)法解決的問(wèn)題,更快地迭代解決方案,并加速進(jìn)入市場(chǎng)。

第二代Amazon EC2 UltraClustersElastic Fabric Adapter

Amazon EC2 P5實(shí)例為多節(jié)點(diǎn)分布式訓(xùn)練和緊密耦合的高性能計(jì)算工作負(fù)載提供先進(jìn)的橫向擴(kuò)展功能,其使用的第二代Elastic Fabric Adapter(EFA)網(wǎng)絡(luò)設(shè)備提供高達(dá)3200 Gbps的網(wǎng)絡(luò)速度,是Amazon EC2 P4d實(shí)例的8倍。

為了滿足客戶對(duì)大規(guī)模和低延遲的需求,Amazon EC2 P5實(shí)例部署在第二代Amazon EC2 UltraClusters中,該集群目前可在超過(guò)2萬(wàn)個(gè)英偉達(dá)H100 Tensor Core GPU上為客戶提供更低的延遲。作為云中最大規(guī)模的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施之一,Amazon EC2 UltraClusters中的Amazon EC2 P5實(shí)例可提供高達(dá)20 exaFLOPS的聚合計(jì)算能力。

Amazon EC2 UltraClusters使用了Amazon FSx for Lustre,這是一種完全托管的共享存儲(chǔ),構(gòu)建在常用的高性能并行文件系統(tǒng)上。客戶通過(guò)Amazon FSx for Lustre,可以按需大規(guī)??焖偬幚砗A繑?shù)據(jù)集,并實(shí)現(xiàn)亞毫秒級(jí)延遲。Amazon FSx for Lustre的低延遲和高吞吐量特性經(jīng)過(guò)優(yōu)化,可在Amazon EC2 UltraCluster上為深度學(xué)習(xí)、生成式AI和高性能計(jì)算工作負(fù)載提供支持。

Amazon FSx for Lustre可以為Amazon EC2 UltraCluster中的GPU和機(jī)器學(xué)習(xí)加速器持續(xù)提供數(shù)據(jù),從而加速最苛刻的工作負(fù)載,包括大語(yǔ)言模型訓(xùn)練、生成式AI推理,以及基因組學(xué)和金融風(fēng)險(xiǎn)建模等高性能計(jì)算負(fù)載。

Amazon EC2 P5實(shí)例現(xiàn)已正式可用

Amazon EC2 P5實(shí)例現(xiàn)已在以下區(qū)域正式可用:美國(guó)東部(北弗吉尼亞)和美國(guó)西部(俄勒岡)。更多信息可訪問(wèn):Amazon EC2定價(jià)Amazon EC2 P5實(shí)例。

客戶也可以選擇亞馬遜云科技提供的各種內(nèi)置生成式AI的云服務(wù),它們都運(yùn)行在具有成本效益的生成式AI云基礎(chǔ)設(shè)施上,助力客戶加快創(chuàng)新和重塑應(yīng)用。更多信息請(qǐng)?jiān)L問(wèn)亞馬遜云科技生成式AI頁(yè)面。