應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

商湯科技發(fā)布多模態(tài)通用大模型“書生 2.5”:擁有 30 億參數(shù),支持問答、識圖、以文生圖等

2023-03-15 10:09 IT之家

導讀:商湯科技于今日發(fā)布了多模態(tài)多任務通用大模型“書生(INTERN)2.5”,擁有 30 億參數(shù),號稱是目前全球開源模型中 ImageNet 準確度最高、規(guī)模最大,同時也是物體檢測標桿數(shù)據(jù)集 COCO 中唯一超過 65.0 mAP 的模型。

3 月 14 日消息,商湯科技于今日發(fā)布了多模態(tài)多任務通用大模型“書生(INTERN)2.5”,擁有 30 億參數(shù),號稱是目前全球開源模型中 ImageNet 準確度最高、規(guī)模最大,同時也是物體檢測標桿數(shù)據(jù)集 COCO 中唯一超過 65.0 mAP 的模型。

據(jù)介紹,“書生 2.5”的圖文跨模態(tài)開放任務處理能力可為自動駕駛、機器人等通用場景任務提供高效精準的感知和理解能力支持。“書生”由商湯科技、上海人工智能實驗室、清華大學、香港中文大學、上海交通大學于 2021 年 11 月首次共同發(fā)布,并持續(xù)聯(lián)合研發(fā)。

改進方面,“書生 2.5”實現(xiàn)了通過文本來定義任務,從而可以靈活地定義不同場景的任務需求,并根據(jù)給定視覺圖像和任務的提示性語句,給出相應的指令或作答,進而具備通用場景下的高級感知和復雜問題處理能力,比如圖像描述、視覺問答、視覺推理和文字識別等。

在自動駕駛和居家機器人等通用場景下,“書生 2.5”可輔助處理各種復雜任務。

例如,在自動駕駛場景中,可以大幅提升場景感知理解能力,準確輔助車輛判斷交通信號燈狀態(tài)、道路標志牌等信息,為車輛決策規(guī)劃提供有效信息輸入。

▲利用多模態(tài)多任務通用大模型輔助完成自動駕駛場景中各類復雜任務

▲利用多模態(tài)多任務通用大模型輔助完成居家機器人場景中各類復雜任務

除解決自動駕駛和居家機器人這類復雜問題的能力,“書生 2.5”通用大模型也可解決紛繁復雜的日常生活中的常見任務,滿足各種需求。

除全圖級別的以圖生文,“書生 2.5”通用大模型同樣可根據(jù)物體邊框更精細化定位任務需求。

“書生 2.5”同時具備AIGC“以文生圖”的能力??筛鶕?jù)用戶提出的文本創(chuàng)作需求,利用擴散模型生成算法,生成高質量、自然的寫實圖像。

例如,借助“書生 2.5”的以文生圖能力幫助自動駕駛技術研發(fā),通過生成各類真實的道路交通場景,如繁忙的城市街道、雨天擁擠車道、馬路上奔跑的狗等,生成寫實的 Corner Case 訓練數(shù)據(jù),進而訓練自動駕駛系統(tǒng)對 Corner Case 場景的感知能力上限。

“書生 2.5”還可根據(jù)文本快速檢索出視覺內容。

例如,可在相冊中返回文本所指定的相關圖像,或是在視頻中檢索出與文本描述最相關的幀,提高視頻中時間定位任務的效率。此外還支持引入物體檢測框,根據(jù)文本返回最相關的物體,實現(xiàn)開放世界視頻或圖像中物體檢測及視覺定位。

即日起,“書生 2.5”多模態(tài)通用大模型已在商湯參與的通用視覺開源平臺 OpenGVLab 開源,IT之家附GitHub 倉庫訪問鏈接。