文字向后。時(shí)鐘逆時(shí)針運(yùn)行。汽車在錯(cuò)誤的道路上行駛。右手變成左手。

康奈爾大學(xué)的一個(gè)研究小組對(duì)反射如何以微妙而不是那么微妙的方式改變圖像產(chǎn)生了興趣，他們使用人工智能研究了將原稿與反射區(qū)分開的原因。他們的算法學(xué)會(huì)了從意想不到的線索(例如頭發(fā)部位，凝視方向以及令人驚訝的胡須)中發(fā)現(xiàn)-這些發(fā)現(xiàn)對(duì)于訓(xùn)練機(jī)器學(xué)習(xí)模型和檢測偽造圖像具有啟示意義。

“宇宙不對(duì)稱。如果您翻轉(zhuǎn)圖像，也有差別，”諾厄·斯納夫利，在康奈爾大學(xué)科技計(jì)算機(jī)科學(xué)副教授和研究的資深作者說，“視覺手性在6月14日至19日舉行的2020年計(jì)算機(jī)視覺和模式識(shí)別會(huì)議上發(fā)表。“我對(duì)通過收集信息的新方法所能發(fā)現(xiàn)的發(fā)現(xiàn)很感興趣。”

林志奎'20是該論文的第一作者;合著者是計(jì)算機(jī)科學(xué)助理教授安倍·戴維斯(Abe Davis)和康奈爾科技大學(xué)的博士后研究員JinSun。

Snavely說，區(qū)分原始圖像和反射圖像對(duì)于AI來說是一件非常容易的任務(wù)-基本的深度學(xué)習(xí)算法可以快速學(xué)習(xí)如何分類圖像是否以60%到90%的準(zhǔn)確度進(jìn)行翻轉(zhuǎn)，具體取決于所用圖像的種類。訓(xùn)練算法。人們難以察覺到的許多線索。

在這項(xiàng)研究中，研究小組開發(fā)了創(chuàng)建熱圖的技術(shù)，該熱圖指示了算法感興趣的圖像部分，從而深入了解了如何做出這些決策。

他們毫不奇怪地發(fā)現(xiàn)，最常用的線索是文本，在每種書面語言中向后看起來都不同。為了了解更多信息，他們從數(shù)據(jù)集中刪除了帶有文本的圖像，并發(fā)現(xiàn)該模型關(guān)注的下一組特征包括手表，襯衫領(lǐng)(按鈕通常在左側(cè))，面部和電話-大多數(shù)人往往掌握右手–以及其他顯示右撇子的因素。

該算法傾向于集中于人臉，這似乎并不對(duì)稱，這引起了研究人員的興趣。“在某些方面，它留下的問題多于答案，” Snavely說。

然后，他們進(jìn)行了另一項(xiàng)針對(duì)面部的研究，發(fā)現(xiàn)熱量圖在包括頭發(fā)部位，眼睛凝視在內(nèi)的區(qū)域照亮了(由于研究人員不知道的原因，大多數(shù)人凝視肖像照片中的左側(cè))和胡須。

Snavely說他和他的團(tuán)隊(duì)成員不知道該算法在胡須中發(fā)現(xiàn)了什么信息，但是他們假設(shè)人們梳理或刮臉的方式可以顯示出慣用的手感。

“這是視覺發(fā)現(xiàn)的一種形式，” Snavely說。“如果您可以在數(shù)百萬個(gè)圖像上大規(guī)模運(yùn)行機(jī)器學(xué)習(xí)，也許您可??以開始發(fā)現(xiàn)有關(guān)世界的新事實(shí)。”

結(jié)果表明，這些線索中的每一個(gè)可能都不可靠，但是該算法可以通過組合多個(gè)線索來建立更大的置信度。研究人員還發(fā)現(xiàn)，該算法使用源自相機(jī)處理圖像的方式的低電平信號(hào)來做出決策。

盡管需要進(jìn)行更多的研究，但是這些發(fā)現(xiàn)可能會(huì)影響機(jī)器學(xué)習(xí)模型的訓(xùn)練方式。這些模型需要大量的圖像才能學(xué)習(xí)如何對(duì)圖片進(jìn)行分類和識(shí)別，因此計(jì)算機(jī)科學(xué)家經(jīng)常使用現(xiàn)有圖像的反射來有效地將其數(shù)據(jù)集加倍。

Snavely說，檢查這些反射圖像與原始圖像的不同之處可能會(huì)揭示有關(guān)機(jī)器學(xué)習(xí)中可能導(dǎo)致結(jié)果不準(zhǔn)確的偏見的信息。