技術(shù)
導(dǎo)讀:人與機(jī)器之間的比較性研究,往往受到人類(lèi)自發(fā)解釋思維這一強(qiáng)烈偏見(jiàn)的影響。
人類(lèi)級(jí)別的表現(xiàn)、人類(lèi)級(jí)別的精度……在開(kāi)發(fā)AI系統(tǒng)的企業(yè)中,我們經(jīng)常會(huì)聽(tīng)到這類(lèi)表述,其指向范圍則涵蓋人臉識(shí)別、物體檢測(cè),乃至問(wèn)題解答等各個(gè)方面。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的不斷進(jìn)步,近年來(lái)越來(lái)越多卓越的產(chǎn)品也開(kāi)始將AI算法作為自身的實(shí)現(xiàn)基礎(chǔ)。
但是,這種比較往往只考慮到在有限數(shù)據(jù)集上對(duì)深度學(xué)習(xí)算法進(jìn)行的測(cè)試結(jié)果。一旦貿(mào)然將關(guān)鍵性任務(wù)交付給AI模型,這種草率的考核標(biāo)準(zhǔn)往往會(huì)導(dǎo)致AI系統(tǒng)的錯(cuò)誤期望,甚至可能產(chǎn)生危險(xiǎn)的后果。
最近一項(xiàng)來(lái)自德國(guó)各組織及高校的研究,強(qiáng)調(diào)了對(duì)深度技術(shù)在視覺(jué)數(shù)據(jù)處理領(lǐng)域進(jìn)行性能評(píng)估時(shí)所面臨的實(shí)際挑戰(zhàn)。研究人員們?cè)谶@篇題為《人與機(jī)器的感知比較:眾所周知的難題》的論文中,著重指出了當(dāng)前深度神經(jīng)網(wǎng)絡(luò)與人類(lèi)視覺(jué)系統(tǒng)的識(shí)別能力比較方法存在的幾個(gè)重要問(wèn)題。
在這項(xiàng)研究中,科學(xué)家們進(jìn)行了一系列實(shí)驗(yàn),包括深入挖掘深度學(xué)習(xí)結(jié)果的深層內(nèi)容,并將其與人類(lèi)視覺(jué)系統(tǒng)的功能做出比較。他們的發(fā)現(xiàn)提醒我們,即使AI看似擁有與人類(lèi)相近甚至已經(jīng)超越人類(lèi)的視覺(jué)識(shí)別能力,我們?nèi)匀恍枰灾?jǐn)慎的態(tài)度看待這方面結(jié)果。
人類(lèi)與計(jì)算機(jī)視覺(jué)的復(fù)雜性
對(duì)于人類(lèi)感知能力的基本原理,特別是重現(xiàn)這種感知效果的無(wú)休止探索當(dāng)中,以深度學(xué)習(xí)為基礎(chǔ)的計(jì)算機(jī)視覺(jué)技術(shù)帶來(lái)了最令人稱(chēng)道的表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)算法中所常用的架構(gòu),能夠完成種種傳統(tǒng)軟件根本無(wú)法實(shí)現(xiàn)的高難度任務(wù)。
然而,將神經(jīng)網(wǎng)絡(luò)與人類(lèi)感知進(jìn)行比較,仍是一項(xiàng)巨大的挑戰(zhàn)。一方面是因?yàn)槲覀儗?duì)人類(lèi)的視覺(jué)系統(tǒng)乃至整個(gè)人類(lèi)大腦還不夠了解,另一方面則是因?yàn)樯疃葘W(xué)習(xí)系統(tǒng)本身的復(fù)雜運(yùn)作機(jī)制同樣令人難以捉摸。事實(shí)上,深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度之高,往往令創(chuàng)造者也對(duì)其感到困惑。
近年來(lái),大量研究試圖評(píng)估神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理,及其在處理現(xiàn)實(shí)情況中表現(xiàn)出的健壯性。德國(guó)研究人員們?cè)谡撐闹袑?xiě)道,“盡管進(jìn)行了大量研究,但對(duì)人類(lèi)感知與機(jī)器感知能力進(jìn)行比較,仍然極度困難?!?/p>
在此次研究中,科學(xué)家們主要關(guān)注三個(gè)核心領(lǐng)域,借此評(píng)估人類(lèi)與深度神經(jīng)網(wǎng)絡(luò)究竟如何處理視覺(jué)數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)如何感知輪廓?
第一項(xiàng)測(cè)試為輪廓檢測(cè)。在此項(xiàng)實(shí)驗(yàn)中,人類(lèi)與AI參與者需要說(shuō)出所面對(duì)的圖像中是否包含閉合輪廓。其目標(biāo)在于了解深度學(xué)習(xí)算法是否掌握了閉合與開(kāi)放形狀的概念,以及其能夠在各類(lèi)條件下都順利檢測(cè)出符合概念定義的目標(biāo)。
▲你能判斷出,以上哪幅圖像中包含閉合圖形嗎?
研究人員們寫(xiě)道,“對(duì)于人類(lèi)來(lái)說(shuō),圖中所示為一個(gè)閉合輪廓,其周邊則分布著大量開(kāi)放輪廓。相比之下,DNN則可能很難檢測(cè)到閉合輪廓,因?yàn)樯窠?jīng)網(wǎng)絡(luò)可能會(huì)把閉合輪廓與其他圖形視為統(tǒng)一的整體?!?/p>
在實(shí)驗(yàn)當(dāng)中,科學(xué)家們使用了ResNet-50,即由微軟公司AI研究人員們開(kāi)發(fā)的一套流行卷積神經(jīng)網(wǎng)絡(luò)。他們使用遷移學(xué)習(xí)技術(shù),使用14000個(gè)閉合與開(kāi)放輪廓圖像對(duì)該AI模型進(jìn)行了微調(diào)。
接下來(lái),他們又通過(guò)其他類(lèi)似的訓(xùn)練數(shù)據(jù)(使用不同指向的圖形)進(jìn)行AI測(cè)試。初步發(fā)現(xiàn)表明,經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)似乎掌握了閉合輪廓的基本概念。即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形,模型也能夠在處理曲線圖形時(shí)帶來(lái)良好表現(xiàn)。
科學(xué)家們寫(xiě)道,“這些結(jié)果表明,我們的模型確實(shí)掌握了開(kāi)放輪廓與閉合輪廓的概念,而且其判斷過(guò)程與人類(lèi)非常相似?!?/p>
▲即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形,模型也能夠在處理曲線圖形時(shí)帶來(lái)良好表現(xiàn)。
但進(jìn)一步調(diào)查顯示,某些不會(huì)影響到人類(lèi)判斷的因素卻有可能降低AI模型的判斷準(zhǔn)確率。例如,調(diào)整線條的顏色與寬度會(huì)導(dǎo)致深度學(xué)習(xí)模型的準(zhǔn)確率驟然下降。而當(dāng)形狀的尺寸超過(guò)特定大小時(shí),模型似乎也難以正確對(duì)形狀作出判斷。
▲當(dāng)圖形中包含不同的顏色與粗細(xì)線條,且總體尺寸遠(yuǎn)大于訓(xùn)練集圖像時(shí),ResNet-50神經(jīng)網(wǎng)絡(luò)將很難做出準(zhǔn)確判斷。
此外,神經(jīng)網(wǎng)絡(luò)對(duì)于對(duì)抗性干擾也顯得非常敏感。所謂對(duì)抗性干擾,屬于一類(lèi)精心設(shè)計(jì)的變化。人眼雖然無(wú)法察覺(jué)這些變化,但卻會(huì)給機(jī)器學(xué)習(xí)系統(tǒng)的行為帶來(lái)巨大影響。
▲右側(cè)圖像已經(jīng)進(jìn)行過(guò)對(duì)抗性干擾處理。
在人眼看來(lái),兩張圖像沒(méi)有任何區(qū)別;但對(duì)于神經(jīng)網(wǎng)絡(luò),二者卻已經(jīng)截然不同。
為了進(jìn)一步研究AI的決策過(guò)程,科學(xué)家們使用了特征袋(Bag-of-Feature)網(wǎng)絡(luò),這項(xiàng)技術(shù)旨在對(duì)深度學(xué)習(xí)模型決策中所使用的數(shù)據(jù)位進(jìn)行定位。分析結(jié)果證明,“神經(jīng)網(wǎng)絡(luò)在進(jìn)行分類(lèi)標(biāo)記時(shí),確實(shí)會(huì)使用某些局部特征,例如具有端點(diǎn)與短邊,作為強(qiáng)依據(jù)?!?/p>
機(jī)器學(xué)習(xí)能夠?qū)D像做出推理嗎?
第二項(xiàng)實(shí)驗(yàn)旨在測(cè)試深度學(xué)習(xí)算法在抽象視覺(jué)推理中的表現(xiàn)。用于實(shí)驗(yàn)的數(shù)據(jù)基于合成視覺(jué)推理測(cè)試(SVRT),AI需要在其中回答一系列關(guān)于圖像中不同形狀間關(guān)系的問(wèn)題。測(cè)試問(wèn)題分為找不同(例如,圖像中的兩個(gè)形狀是否相同?)以及空間判斷(例如,較小的形狀是否位于較大形狀的中心?)等。人類(lèi)觀察者能夠輕松解決這些問(wèn)題。
▲SVRT挑戰(zhàn),要求AI模型解決找不同與空間判斷類(lèi)型的任務(wù)。
在實(shí)驗(yàn)當(dāng)中,研究人員們使用RESNet-50測(cè)試了其在不同大小的訓(xùn)練數(shù)據(jù)集中的表現(xiàn)。結(jié)果表明,通過(guò)28000個(gè)樣本進(jìn)行微調(diào)訓(xùn)練之后的模型,在找不同與空間判斷任務(wù)上均表現(xiàn)良好。(之前的實(shí)驗(yàn),使用的是一套小型神經(jīng)網(wǎng)絡(luò)并配合100萬(wàn)張樣本圖像)隨著研究人員減少訓(xùn)練示例的數(shù)量,AI的性能也開(kāi)始下滑,而且在找不同任務(wù)中的下滑速度更快。
研究人員們寫(xiě)道,“相較于空間判斷類(lèi)任務(wù),找不同任務(wù)對(duì)于訓(xùn)練樣本的需求量更大。當(dāng)然,這并不能作為前饋神經(jīng)網(wǎng)絡(luò)與人類(lèi)視覺(jué)系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)。”
研究人員們指出,人類(lèi)視覺(jué)系統(tǒng)天然就在接受大量抽象視覺(jué)推理任務(wù)的訓(xùn)練。因此,直接比較對(duì)于只能在低數(shù)據(jù)樣本量下進(jìn)行學(xué)習(xí)的深度學(xué)習(xí)模型并不公平。所以,不能貿(mào)然給出人類(lèi)與AI內(nèi)部信息處理方式之間存在差異的結(jié)論。
研究人員們寫(xiě)道,“如果真的從零開(kāi)始進(jìn)行訓(xùn)練,人類(lèi)視覺(jué)系統(tǒng)在這兩項(xiàng)識(shí)別任務(wù)中,沒(méi)準(zhǔn)會(huì)與表現(xiàn)出ResNet-50類(lèi)似的情況?!?/p>
衡量深度學(xué)習(xí)的間隙判別
間隙送別可以算是視覺(jué)系統(tǒng)當(dāng)中最有趣的測(cè)試之一。以下圖為例,大家能不能猜出完整的圖像呈現(xiàn)的是什么?
毫無(wú)疑問(wèn),這是一只貓。從左上方的局部圖來(lái)看,大家應(yīng)該能夠輕松預(yù)測(cè)出圖像的內(nèi)容。換言之,我們?nèi)祟?lèi)需要看到一定數(shù)量的整體形狀與圖案,才能識(shí)別出圖像中的物體。而局部放大得越夸張,失去的特征也就越多,導(dǎo)致我們?cè)诫y以區(qū)分圖像中的內(nèi)容。
▲根據(jù)圖中所包含的特征,小貓圖像中不同部分的局部放大圖,會(huì)對(duì)人類(lèi)的感知產(chǎn)生不同的影響。
深度學(xué)習(xí)系統(tǒng)的判斷也以特征為基礎(chǔ),但具體方式卻更加巧妙。神經(jīng)網(wǎng)絡(luò)有時(shí)候能夠發(fā)現(xiàn)肉眼無(wú)法察覺(jué)的微小特征,而且即使把局部放得很大,這些特征仍然能夠得到正確檢測(cè)。
在最終實(shí)驗(yàn)當(dāng)中,研究人員們?cè)噲D通過(guò)逐漸放大圖像,直到AI模型的精度開(kāi)始顯著下降,借此衡量深度神經(jīng)網(wǎng)絡(luò)的間隙判別。
這項(xiàng)實(shí)驗(yàn)表明,人類(lèi)的圖像間隙判別與深度神經(jīng)網(wǎng)絡(luò)之間存在很大差異。但研究人員們?cè)谄湔撐闹兄赋?,以往關(guān)于神經(jīng)網(wǎng)絡(luò)間隙判別的大多數(shù)測(cè)試,主要基于人類(lèi)選擇的局部圖。這些局部的選擇,往往有利于人類(lèi)視覺(jué)系統(tǒng)。
在使用“機(jī)器選擇”的局部圖對(duì)深度學(xué)習(xí)模型進(jìn)行測(cè)試時(shí),研究人員們發(fā)現(xiàn)人類(lèi)與AI的間隙判別表現(xiàn)基本一致。
▲間隙判別測(cè)試能夠評(píng)估局部圖對(duì)于AI判斷準(zhǔn)確率的具體影響。
研究人員們寫(xiě)道,“這些結(jié)果顯示,只有在完全相同的基礎(chǔ)之上進(jìn)行人機(jī)比較測(cè)試,才能避免人為設(shè)計(jì)給結(jié)果造成的偏差。人與機(jī)器之間的所有條件、命令與程序都應(yīng)盡可能接近,借此保證觀察到的所有差異都源自決策策略——而非測(cè)試程序中的差異?!?/p>
縮小AI與人類(lèi)智能之間的鴻溝
隨著AI系統(tǒng)復(fù)雜程度的不斷提升,我們也需要開(kāi)發(fā)出越來(lái)越復(fù)雜的方法以進(jìn)行AI測(cè)試。這一領(lǐng)域之前的研究表明,大部分用于衡量計(jì)算機(jī)視覺(jué)系統(tǒng)準(zhǔn)確率的流行基準(zhǔn)測(cè)試中存在一定誤導(dǎo)性。德國(guó)研究人員們的工作,旨在更好地衡量人工智能表現(xiàn),并準(zhǔn)確量化AI與人類(lèi)智能之間的真實(shí)差異。他們得出的結(jié)論,也將為未來(lái)的AI研究提供方向。
研究人員們總結(jié)道,“人與機(jī)器之間的比較性研究,往往受到人類(lèi)自發(fā)解釋思維這一強(qiáng)烈偏見(jiàn)的影響。只有選擇適當(dāng)?shù)姆治龉ぞ卟⑦M(jìn)行廣泛的交叉核查(例如網(wǎng)絡(luò)架構(gòu)的變化、實(shí)驗(yàn)程序的統(tǒng)一、概括性測(cè)試、對(duì)抗性示例以及受約束的網(wǎng)絡(luò)測(cè)試等),我們才能對(duì)結(jié)果做出合理解釋?zhuān)⒄曔@種自發(fā)性偏見(jiàn)的存在??偠灾趯?duì)人類(lèi)與機(jī)器的感知能力進(jìn)行比較時(shí),必須注意不要向其中人為強(qiáng)加任何系統(tǒng)性的偏見(jiàn)。”