應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

走向邊緣智能,美格智能攜手阿加犀成功在高算力AI模組上運行一系列大語言模型

2023-11-14 14:28 美格智能

導讀:近日,美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術,在搭載高通QCS8550平臺的高算力AI模組上,成功運行了一系列大語言模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。

近日,美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術,在搭載高通QCS8550平臺的高算力AI模組上,成功運行了一系列大語言模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。

image.png

▌構建智算底座,加速大模型端側部署

大模型和生成式AI的浪潮席卷全球,帶來人工智能新紀元。大模型誕生之初主要是與云端綁定,而隨著應用場景的拓展,AI開始賦能千行百業(yè),大模型也需要在越來越多的終端設備上運行。如果說生成式AI是正在高速向前行駛的列車,那算力就是燃料。終端側AI的落地應用,離不開硬件和設備算力的升級。

今年,高通推出了AI算力芯片QCS8550,整合了強大的NPU算力和邊緣側AI處理技術、Wi-Fi 7連接技術以及增強型圖形和視頻處理能力,提供高速、低功耗的AI計算平臺,為終端側AI賦能。

image.png

基于高通QCS8550芯片平臺,美格智能推出了高算力AI模組SNM970,綜合AI算力高達48Tops,并支持混合精度計算,為IoT設備打造全新的智算底座。高算力AI模組是承載端側AI無限創(chuàng)造空間的最佳形式,為海量碎片化場景提供穩(wěn)定的通信能力和強大的邊緣算力,讓終端開發(fā)者能夠基于標準化的模組完成低成本、短流程的產(chǎn)品設計和制造,降低大模型的開發(fā)和使用成本。

另一方面,AI從芯片到應用還需要解決跨平臺遷移、異構芯片效率丟失、碎片化的場景需求等挑戰(zhàn)。阿加犀具備成熟的AidLux平臺和行業(yè)領先的開箱即用AI工具鏈,能夠全面提升邊緣設備的AI性能和模型執(zhí)行效率,為AI項目在豐富場景中快速落地提供專業(yè)支持,進一步推動AI應用的終端部署。

此次,美格智能高算力AI模組產(chǎn)品團隊攜手阿加犀,在基于高通驍龍800系列平臺的自研高算力AI模組上成功運行一系列大語言模型,成功驗證了算力模組作為未來大模型邊緣AI算力底座的通用性,對邊緣端生成式AI的支持進一步成熟,有望將生成式AI拓展至更多領域。

image.png

美格智能提供具備出色能效比、強大的計算能力的算力模組,結合阿加犀獨有的AI工具鏈帶來的領先的SoC性能調(diào)度能力,二者強強聯(lián)合發(fā)揮出模組的極致性能,讓多個參數(shù)達70億的語言大模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,都能在算力模組上保持高效運行。

▌高算力AI模組,讓AI觸手可及

美格智能高算力AI模組產(chǎn)品專為終端側、邊緣側AI應用設計,依靠強大的軟硬件一體研發(fā)能力,美格智能持續(xù)推進高算力AI模組的AI硬件不斷升級,至今已經(jīng)歷經(jīng)多代產(chǎn)品演進,涵蓋入門級、中端、旗艦級多層次產(chǎn)品,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,對應AI算力覆蓋14Tops~48Tops。image.png

同時,美格智能研發(fā)團隊在AI應用場景開發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領域的設計研發(fā)能力處于行業(yè)領先水平,相關算力產(chǎn)品在各類核心場景大規(guī)模應用,讓智慧零售、智能機器人、智慧交通、智慧農(nóng)業(yè)、智能制造等各行各業(yè)快速于邊緣端部署大模型,以AI驅動業(yè)務創(chuàng)新。

針對AI邊緣計算領域,美格智能基于高算力AI模組SNM972,助力客戶打造SoC陣列服務器產(chǎn)品。該模組采用MiniPCIe封裝方式,支持16GB LPDDR5X + 256GB UFS 4.0內(nèi)存,并支持混合精度計算,支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架,可輕松賦能各類AI場景。

image.png

方案中每個算力節(jié)點采用刀片+陣列式設計,內(nèi)部實現(xiàn)模塊化及熱插拔設計,可以實現(xiàn)不停機維護。最高可配置80路算力模組,單顆模組內(nèi)部支持Android虛擬化,可虛擬出多路計算單元,更好地進行算力配置,為實時互動云計算、邊緣AI云計算、云渲染等業(yè)務場景提供最佳算力底座。

AI正在改變世界,美格智能始終以市場需求為導向,與合作伙伴緊密合作,圍繞高算力AI模組打造更多適配行業(yè)的解決方案,拉近大模型和應用之間的距離,把握智慧先機,實現(xiàn)讓AI觸手可及的目標,賦能數(shù)字經(jīng)濟發(fā)展。