作者：朱小佩編輯：好困【新智元導(dǎo)讀】眾所周知，打印一張圖揣身上就能騙過(guò)圖像識(shí)別，那你知道如何才能騙過(guò)紅外識(shí)別么？在疫情期間，紅外行人識(shí)別系統(tǒng)被廣泛應(yīng)用。這得益于熱紅外識(shí)別的系統(tǒng)的兩個(gè)重要的優(yōu)勢(shì)：1.對(duì)于溫度敏感，紅外圖像的成像利用了物體的熱

作者：朱小佩

編輯：好困

【新智元導(dǎo)讀】眾所周知，打印一張圖揣身上就能騙過(guò)圖像識(shí)別，那你知道如何才能騙過(guò)紅外識(shí)別么？

在疫情期間，紅外行人識(shí)別系統(tǒng)被廣泛應(yīng)用。

這得益于熱紅外識(shí)別的系統(tǒng)的兩個(gè)重要的優(yōu)勢(shì)：

1. 對(duì)于溫度敏感，紅外圖像的成像利用了物體的熱輻射，所以可以反映出物體的溫度，這一特性對(duì)于人體的非接觸式測(cè)溫具有重要的應(yīng)用。

2. 紅外成像具有一定的「透視」特性，即使人體被一些衣物遮擋，但是熱輻射依然可以透過(guò)衣物被接收器感知到，所以可以透過(guò)遮擋進(jìn)行成像。

盡管目前紅外行人檢測(cè)系統(tǒng)被廣泛使用，但是很少有人去關(guān)注該系統(tǒng)的安全隱患。

今年，來(lái)自清華大學(xué)的研究團(tuán)隊(duì)就提出了一項(xiàng)基于小燈泡的物理攻擊方法。相關(guān)論文發(fā)表在AAAI2021會(huì)議上（Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs）。相關(guān)技術(shù)已經(jīng)申請(qǐng)國(guó)家發(fā)明專利。

以下就是一個(gè)例子，從圖中我們看到，持有小燈泡板子的人成功地逃避了檢測(cè)器的檢測(cè)，而持有空白板子和不帶任何東西的人卻被檢測(cè)器檢測(cè)到。

研究背景

近年來(lái)，對(duì)抗樣本的研究越來(lái)越引起人們的重視。在數(shù)字空間中，研究者發(fā)現(xiàn)，通過(guò)設(shè)計(jì)特定的噪聲，神經(jīng)網(wǎng)絡(luò)會(huì)以很高的置信度對(duì)圖像進(jìn)行了錯(cuò)誤的分類，而且這種噪聲人眼不易察覺(jué)。更進(jìn)一步地，人們發(fā)現(xiàn)對(duì)抗樣本也可以在現(xiàn)實(shí)世界中產(chǎn)生威脅。

例如，一個(gè)3D打印的烏龜，當(dāng)其表面裝飾有對(duì)抗性的紋理之后，會(huì)被神經(jīng)網(wǎng)絡(luò)誤認(rèn)為是一個(gè)來(lái)福槍。對(duì)抗樣本除了可以干擾分類模型，也可以干擾目標(biāo)檢測(cè)模型，例如，一張打印出來(lái)的對(duì)抗性紙張，可以成功地欺騙目標(biāo)檢測(cè)器YOLOv2，使得其檢測(cè)不到行人。

但目前幾乎所有的關(guān)于對(duì)抗樣本的研究都集中在可見(jiàn)光領(lǐng)域。而對(duì)于紅外領(lǐng)域的研究還處于空白階段。與可見(jiàn)光的圖像（三通道）相比，紅外圖像只有一個(gè)灰度通道，而且紅外圖像的紋理信息遠(yuǎn)遠(yuǎn)少于可見(jiàn)光的信息。

另外，為了實(shí)現(xiàn)物理攻擊，紅外圖像不能像可見(jiàn)光圖像一樣，直接通過(guò)激光打印機(jī)打印到一張紙上。因此，如何在物理世界中顯示特定的圖案是一件困難的事情。

研究方法

既然不能用「打印」的方式實(shí)現(xiàn)熱圖像，這時(shí)候作者另辟蹊徑?？煞窭冒l(fā)熱物體本身的熱圖作為基本模塊，然后去優(yōu)化模塊的位置。作者于是考察了多種電子元件，包括二極管，電阻等等。

最后發(fā)現(xiàn)了一個(gè)看似簡(jiǎn)單卻十分好用的器件——小燈泡！因?yàn)樾襞菟傻臒峒t外圖像十分接近于一個(gè)二維高斯函數(shù)。

那么這個(gè)猜想是否成立呢，作者對(duì)小燈泡的紅外圖像進(jìn)行了數(shù)學(xué)分析。

在拍攝了單個(gè)燈泡的紅外圖像之后，嘗試用一個(gè)二維的高斯函數(shù)來(lái)建模和擬合。函數(shù)擬合后發(fā)現(xiàn)，二維高斯函數(shù)可以很好地?cái)M合燈泡的紅外圖像。

有了基本的單元之后，作者就想到，可以構(gòu)建一個(gè)正方形的平面，平面上有多個(gè)符合二維高斯分布的「光斑」，這些光斑的位置就可以是優(yōu)化變量，通過(guò)優(yōu)化，就有可能能找到一個(gè)具有對(duì)抗特性的圖案。

而這個(gè)圖案，恰好可以與物理世界一一對(duì)應(yīng)，正方形平面對(duì)應(yīng)于一塊板子，而數(shù)字世界的「光斑」，就是對(duì)應(yīng)于物理世界中小燈泡的成像效果。

此時(shí)整個(gè)的優(yōu)化流程就清晰了，首先在數(shù)字世界，首先構(gòu)建一個(gè)帶有多個(gè)「光斑」的patch，將它「貼」到紅外數(shù)據(jù)集中的行人上面，同時(shí)作者也在數(shù)字世界模擬了物理世界的一些擾動(dòng)，例如噪聲，亮度變化，平移，旋轉(zhuǎn)等等。這使得patch的魯棒性進(jìn)一步提高。

優(yōu)化的目標(biāo)函數(shù)包括檢測(cè)器的物體置信度輸出以及patch光滑度的和。通過(guò)反向傳播來(lái)優(yōu)化patch上「光斑」的位置，直到找到一個(gè)最優(yōu)的圖案。

而當(dāng)數(shù)字世界驗(yàn)證好以后，就可以通過(guò)小燈泡將此圖案在物理世界中實(shí)現(xiàn)，從而達(dá)到在物理世界中攻擊紅外行人檢測(cè)器的目的。

實(shí)驗(yàn)結(jié)果

思路明確了，那么實(shí)驗(yàn)的效果如何呢？

實(shí)驗(yàn)結(jié)果表明，數(shù)字世界中基于二維高斯函數(shù)的patch可以成功地使得YOLOv3檢測(cè)器的AP (Average Precision) 降低了64.12%。

注意到與之對(duì)比的同樣大小的隨機(jī)噪聲patch和空白的patch僅使得檢測(cè)器性能分別降低了25.05%和29.69%。

下面給出了一個(gè)具體的例子，可以看到，在數(shù)字空間中作者設(shè)計(jì)的patch可以成功躲避行人檢測(cè)器。而與之對(duì)比的放有blank patch，random noise patch以及什么都不放的人卻被檢測(cè)到了。

接下來(lái)作者進(jìn)行了物理實(shí)驗(yàn)。

以下左圖是實(shí)際制造出來(lái)的裝有小燈泡的板子，而右圖是這個(gè)板子的紅外熱圖像與模擬的數(shù)字圖像的對(duì)比。

作者招募了若干名志愿者，在相同的環(huán)境下，測(cè)試優(yōu)化后的小燈泡板子對(duì)紅外行人檢測(cè)器的對(duì)抗效果。對(duì)照組包含了使用空白的板子以及什么都不帶的情況。

計(jì)算結(jié)果表明，在物理世界中，優(yōu)化后的小燈泡板子可以使得YOLOv3檢測(cè)器的AP降低了34.48%，而同樣大小的空白板子僅僅使得檢測(cè)器的性能下降了14.91%。

以下給出了一組具體的例子，由圖中可以看到，在相同的條件下，使用了優(yōu)化后的小燈泡板子的人沒(méi)有被YOLOv3檢測(cè)到，而持有空白板子以及什么都不帶的人，被YOLOv3檢測(cè)到了。

這表明，經(jīng)過(guò)優(yōu)化后的小燈泡板子可以成功攻破紅外行人檢測(cè)器。

上文中作者都是針對(duì)YOLOv3檢測(cè)模型進(jìn)行攻擊，那么進(jìn)一步的問(wèn)題就是，生成的對(duì)抗樣本能否遷移到其他檢測(cè)模型上去。

一開(kāi)始，作者采用了直接進(jìn)行遷移攻擊的方式，結(jié)果確不如人意。實(shí)驗(yàn)表明，通過(guò)YOLOv3模型生成的對(duì)抗patch直接遷移攻擊，僅使得Cascade RCNN和RetinaNet的AP分別降低了11.60%和25.86%。

這時(shí)候作者想到了黑盒攻擊的經(jīng)典辦法，模型集成。簡(jiǎn)而言之，就是集成多種模型來(lái)生成對(duì)抗樣本，這樣生成的對(duì)抗樣本，由于已經(jīng)綜合了不同類型模型的信息，所以具有更好的遷移到未知模型的能力。

作者在實(shí)驗(yàn)中，集成了三種經(jīng)典的目標(biāo)檢測(cè)模型，包括YOLOv3，F(xiàn)aster-RCNN和Mask-RCNN。集成之后生成的對(duì)抗patch，可以使得Cascade-RCNN和RetinaNet的AP分別降低了35.28%和46.95%。

由此可見(jiàn)，集成攻擊的效果相比于直接遷移攻擊有了大幅度的提高。

總結(jié)和展望

本文首次提出了針對(duì)紅外行人檢測(cè)系統(tǒng)進(jìn)行物理攻擊的方法。作者在數(shù)字世界中基于二維高斯函數(shù)構(gòu)建對(duì)抗性的patch，并在物理世界中用小燈泡實(shí)現(xiàn)了對(duì)抗性的板子。

經(jīng)過(guò)優(yōu)化之后的對(duì)抗性板子可以成功地攻擊YOLOv3模型。作者進(jìn)一步采用集成攻擊的方法，提高了對(duì)未知模型的遷移攻擊能力。該

研究揭示了目前廣泛使用的紅外目標(biāo)檢測(cè)模型可能存在安全隱患，作者表示下一步的研究工作就是研究防御對(duì)抗樣本的方法，這對(duì)于提升紅外行人檢測(cè)系統(tǒng)的安全性具有重要意義。

作者簡(jiǎn)介

本文的第一作者是來(lái)自于清華大學(xué)集成電路學(xué)院2018級(jí)的直博生朱小佩。他目前的研究方向是計(jì)算機(jī)視覺(jué)、對(duì)抗樣本和目標(biāo)檢測(cè)。

本文的通訊作者是清華大學(xué)集成電路學(xué)院的王喆垚教授和清華大學(xué)計(jì)算機(jī)系的胡曉林副教授。

參考資料：

https://arxiv.org/abs/2101.08154