應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊個人注冊登錄

算力不能被壟斷!多所大學(xué)研究者呼吁:要填上AI中的計(jì)算鴻溝

2020-11-13 11:29 智東西

導(dǎo)讀:這種AI創(chuàng)新“貧富分化”的背后,是算力的不平等,是只有大公司和名牌強(qiáng)校才能承擔(dān)得起的研究成本。

當(dāng)我們已經(jīng)對充斥生活方方面面的AI技術(shù)習(xí)以為常時(shí),有時(shí)候卻會忽略一個問題,為什么那些應(yīng)用和軟件都來自于那“幾個公司”?

據(jù)新財(cái)富統(tǒng)計(jì)的中國前30大APP,7成隸屬阿里或騰訊旗下,兩家公司分別都已構(gòu)建起十萬億投資帝國,分割中國應(yīng)用生態(tài)市場,試圖負(fù)責(zé)中國人民的“衣食住行”;而在美國,從IBM到微軟、谷歌,壟斷傳聞頻頻爆出……而這些公司業(yè)務(wù)的快速擴(kuò)張和地位的不斷提升都離不開背后的AI力量,不到十年的時(shí)間過去,AI卻似乎從學(xué)術(shù)屆的“白月光”變成了科技巨擎之間角力的砝碼,有著普通企業(yè)不能承受的“千鈞之重”。

這種AI創(chuàng)新“貧富分化”的背后,是算力的不平等,是只有大公司和名牌強(qiáng)校才能承擔(dān)得起的研究成本。

近日,弗吉尼亞理工大學(xué)和加拿大西安大略大學(xué)的研究人員Nur Ahmed和Muntasir Wahed就算力加劇AI研究不平等的問題進(jìn)行研究,并在arXiv發(fā)表了題為《人工智能的非民主化:深度學(xué)習(xí)與人工智能研究中的計(jì)算鴻溝(The De-democratization of AI:DeepLearning and the Compute Divide in Artificial Intelligence Research)》的論文,該論文從頂會論文發(fā)表、研究資金投入和科研人才流動等方面解釋了AI研究不平等的產(chǎn)生。

論文鏈接:https://arxiv.org/abs/2010.15581

一、名校大廠強(qiáng)強(qiáng)合作,頂會論文占半壁江山

在論文中,研究團(tuán)隊(duì)調(diào)研了從2000到2019年,包括ACL、ICML和NeurIPS在內(nèi)57個頂會中涵蓋計(jì)算機(jī)視覺、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語言學(xué)習(xí)等領(lǐng)域的171394篇論文。

▲2000-2019,一個會議年中各學(xué)術(shù)機(jī)構(gòu)平均采納論文數(shù)

從上圖可以看出,QS前五十的學(xué)校和AI公司是AI頂會中的主力軍。

在一個會議年的903篇論文中,QS前五十的學(xué)校平均發(fā)表66篇頂會論文,是第二、三檔學(xué)校(QS51-100、QS101-200)的近乎兩倍,而AI相關(guān)公司也勇奪第二,平均發(fā)表約42篇論文。

▲2000-2019年,各頂會中校企合作論文比例

而近年來,AI領(lǐng)域校企合作的這股“大風(fēng)”,也可以從論文合作的數(shù)目中很明顯地看出來。

各領(lǐng)域校企合作論文的比例都有不同程度的上漲,其中KDD(數(shù)據(jù)挖掘頂級會議)中合作論文在2020年比例超過50%,ICCV(國際計(jì)算機(jī)視覺大會)達(dá)到45%。

無論是數(shù)據(jù)挖掘,還是計(jì)算機(jī)視覺,深度學(xué)習(xí)都是其中很重要的一部分,而這時(shí)候,頂級大學(xué)和公司的資金優(yōu)勢就不言而喻了,畢竟訓(xùn)練像AlphaGo Zero和GPT-3這樣的大型模型需要價(jià)值數(shù)百萬美元的計(jì)算資源。

根據(jù)2019年年度AI研究排名,斯坦福大學(xué)、MIT、卡內(nèi)基梅隆大學(xué),加州大學(xué)伯克利分校和微軟列為領(lǐng)先AI研究會議的六大貢獻(xiàn)者。

二、學(xué)術(shù)界人才流失,計(jì)算鴻溝問題初現(xiàn)

規(guī)模較小的學(xué)校通常也缺乏資金支持來發(fā)展前沿科技,而這時(shí),科技巨頭通過向AI研究投入大量資金和高額薪酬,將學(xué)術(shù)界人才納入麾下,加速了學(xué)術(shù)界人才的流失。

論文中也證實(shí)了這種人才流動導(dǎo)致的科技水平變化,自深度學(xué)習(xí)興起以來,QS 301-500的大學(xué)在頂會中的論文平均減少了六篇,比預(yù)期少了25%,而世界500強(qiáng)、科技巨頭和頂尖大學(xué)論文發(fā)表情況卻截然不同。

論文作者Nur Ahmed和Muntasir Wahed表示:“就我們所知,這篇論文首次證實(shí)了資金、設(shè)備等因素對AI領(lǐng)域企業(yè)和學(xué)校產(chǎn)生的巨大影響。我們認(rèn)為深度學(xué)習(xí)的興起極大地提高了計(jì)算能力和數(shù)據(jù)的重要性,進(jìn)而通過增加成本而提高了準(zhǔn)入門檻?!?/p>

在分析AI領(lǐng)域趨勢時(shí),Nur Ahmed和Muntasir Wahed將人工智能的發(fā)展歷史劃分為兩個階段。第一個階段是從1960年代到2012年左右,那時(shí)使用通用的硬件來訓(xùn)練AI;在2012年后即是第二個階段,深度學(xué)習(xí)和如GPU等專門設(shè)計(jì)的硬件重新定義了AI。

而二人也認(rèn)為:自2012年以來,基于GPU的深度學(xué)習(xí)突然興起,AI越來越變成少數(shù)人的“游戲”,大部分玩家來自于頂級公司或大學(xué)。要真正實(shí)現(xiàn)AI“民主化”,就需要決策者、學(xué)術(shù)機(jī)構(gòu)和公司層面共同努力,解決橫跨在小型機(jī)構(gòu)和學(xué)校面前的計(jì)算鴻溝。

三、填補(bǔ)計(jì)算鴻溝:AI研究云、加大教育投入

對于縮小計(jì)算鴻溝的具體解決方案,Nur Ahmed和Muntasir Wahed認(rèn)為建立國家統(tǒng)一的AI研究云是很有必要的。今年6月,美國多所大學(xué)、科技公司和參議院議員都表示支持建立國家AI研究云,通過共享公共數(shù)據(jù)集幫助算力不夠的機(jī)構(gòu)訓(xùn)練和測試AI模型。

美國國防創(chuàng)新委員會和AI國家安全委員會(NSCAI)等組織已建議五角大樓和國會增強(qiáng)與私人企業(yè)合作,加大對AI領(lǐng)域的政府資助,以吸引更多人才。下一屆美國總統(tǒng)拜登(目前來看)也曾表示要在5G和AI領(lǐng)域投入3000億美元,用于研究。

Ahmed和Wahed的發(fā)現(xiàn)還得到了其他研究者的支持。

一篇名為《人工智能、人力資本和創(chuàng)新(Artificial Intelligence, Human Capital, and Innovation)》的論文發(fā)現(xiàn),企業(yè)中的AI的飛速發(fā)展導(dǎo)致了2004年至2018年之間學(xué)術(shù)界前所未有的人才流失,有200多名教授辭去了教職。

頂尖大學(xué)的博士和深度學(xué)習(xí)初創(chuàng)公司是當(dāng)前AI人才短缺最大的受益者,卡內(nèi)基梅隆大學(xué)、MIT和斯坦福大學(xué)的學(xué)生創(chuàng)辦AI初創(chuàng)公司的比例最高。

Ahmed和Wahed還追蹤調(diào)查了200多位從學(xué)術(shù)界轉(zhuǎn)換到業(yè)界的科學(xué)家。該研究受計(jì)算機(jī)研究協(xié)會(CRA)委托并于幾個月前發(fā)布,分析了科學(xué)家們的“跳槽”現(xiàn)狀以及校企合作的利弊。

調(diào)查報(bào)告中顯示:“科學(xué)家的大量‘跳槽’可能對研究課題、研究質(zhì)量、學(xué)院文化以及對本科生和研究生的培養(yǎng)產(chǎn)生負(fù)面影響。相關(guān)機(jī)構(gòu)需要特別關(guān)注部門文化、潛在的利益沖突、知識產(chǎn)權(quán),并且確保學(xué)生能夠繼續(xù)獲得足夠的教師指導(dǎo),以為他們的職業(yè)道路做好準(zhǔn)備?!?/p>

結(jié)語:AI民主化,算力先行

AI資源越來越集中大企業(yè)、大名校不僅僅是美國一家的問題,同樣也值得我們注意和防范。

如何在AI發(fā)展越來越迅猛的當(dāng)下,不讓少數(shù)企業(yè)壟斷市場,不讓高校流失人才,為尚未有積淀的創(chuàng)企和未來的科技人才提供研究成本和教育資源,為AI市場留出創(chuàng)新發(fā)展的口子,也同樣是值得我們思考的問題。

來源:VentureBeat