亞馬遜人臉識(shí)別產(chǎn)品Rekognition又闖禍了

亞馬遜人臉識(shí)別再次陷入輿論漩渦。該產(chǎn)品此前就遭到亞馬遜用戶、民間組織、股東甚至亞馬遜員工在內(nèi)超過(guò)15萬(wàn)人聯(lián)名抗議。最近，在美國(guó)公民自由聯(lián)盟（ACLU）的一次測(cè)試中，它將535名美國(guó)國(guó)會(huì)議員中的28人誤判為罪犯！不過(guò)，亞馬遜今天回應(yīng)，這只是ACLU設(shè)置有誤，菜炒糊了別怪鍋。

亞馬遜人臉識(shí)別產(chǎn)品Rekognition又闖禍了。

美國(guó)公民自由聯(lián)盟（ACLU）使用亞馬遜的這款人臉識(shí)別軟件進(jìn)行了一項(xiàng)實(shí)驗(yàn)，發(fā)現(xiàn)軟件錯(cuò)誤地將28名國(guó)會(huì)議員判定為此前被捕的罪犯！

尷尬。

但亞馬遜方面今天回應(yīng)，其軟件的設(shè)計(jì)本意是輔助人類工作，造成誤判的原因是ACLU在實(shí)驗(yàn)中使用了錯(cuò)誤的設(shè)置，將識(shí)別閾值定為80%，一般在警方工作中建議閾值不低于99%——簡(jiǎn)而言之，這鍋我們可不背。

Rekognition是亞馬遜最具爭(zhēng)議的產(chǎn)品之一。這是一款在亞馬遜服務(wù)器上運(yùn)行的圖像識(shí)別AI軟件，用戶需要為使用該軟件處理的每張圖片向亞馬遜付費(fèi)。

它可以識(shí)別圖像或視頻上的文字、對(duì)象、場(chǎng)景、活動(dòng)和人員。亞馬遜正積極地將其面部識(shí)別技術(shù)賣給執(zhí)法部門。在美國(guó)，警方已經(jīng)開(kāi)始使用該軟件來(lái)尋找走失的兒童和被拐賣的人口。

但是，此舉引發(fā)了美國(guó)民眾極其強(qiáng)烈的反對(duì)和民權(quán)倡導(dǎo)者的嚴(yán)重質(zhì)疑，遭到亞馬遜用戶、民間組織、股東甚至亞馬遜員工在內(nèi)超過(guò)15萬(wàn)人聯(lián)名抗議。其中，最強(qiáng)烈的質(zhì)疑聲音來(lái)自美國(guó)公民自由聯(lián)盟（ACLU）。該組織警告稱，無(wú)處不在的面部識(shí)別軟件可能侵犯人們的隱私，并造成一個(gè)無(wú)縫不入的政府監(jiān)控系統(tǒng)。

使用默認(rèn)設(shè)置，針對(duì)有色人種，識(shí)別錯(cuò)誤率達(dá)5.2%

最近，ACLU找到了一些看似令人信服的證據(jù)——他們使用亞馬遜的Rekognition人臉識(shí)別工具，掃描了全部535名美國(guó)國(guó)會(huì)議員的照片，并將它們與25000張警方公開(kāi)的罪犯面部照片進(jìn)行了比對(duì)。

結(jié)果，系統(tǒng)錯(cuò)誤地將28名國(guó)會(huì)議員的照片與罪犯面部照片進(jìn)行了配對(duì)。

也就是說(shuō)，亞馬遜的人臉識(shí)別工具認(rèn)為，535名國(guó)會(huì)議員中，有28名議員看起來(lái)像是罪犯。

在測(cè)試時(shí)，ACLU使用25000張公開(kāi)的入監(jiān)，照構(gòu)建了一個(gè)面部照片數(shù)據(jù)庫(kù)和搜索工具。然后，他們搜索了這個(gè)數(shù)據(jù)庫(kù)，比對(duì)了所有現(xiàn)任參眾兩院議員的公開(kāi)照片。他們使用亞馬遜為Rekognition的默認(rèn)匹配設(shè)置。

民主黨眾議員Sanford Bishop (D-Ga.)被亞馬遜人臉識(shí)別系統(tǒng)錯(cuò)誤地判定為罪犯。

結(jié)果，產(chǎn)生了28個(gè)不正確的匹配——錯(cuò)誤率達(dá)到5.2%。

被錯(cuò)誤匹配的議員中，有色人種的比例顯著過(guò)高（11人），僅國(guó)會(huì)黑人同盟（Congressional Black Caucus）就有6名成員被誤判，其中包括著名的民權(quán)活動(dòng)家眾議院議員約翰·劉易斯（D-Ga）。

測(cè)試表明，對(duì)于皮膚較黑的人和女性，人臉識(shí)別通常不太準(zhǔn)確。雖然對(duì)于整個(gè)國(guó)會(huì)來(lái)說(shuō)，錯(cuò)誤率是5.2%，但對(duì)于非白人的國(guó)會(huì)議員，錯(cuò)誤率達(dá)到39%。

有色人種被錯(cuò)誤匹配的比例顯著過(guò)高。近40%的錯(cuò)誤匹配來(lái)自有色人種，盡管他們只占國(guó)會(huì)議員的20%。

ACLU強(qiáng)調(diào)，整個(gè)測(cè)試只花費(fèi)了12.33美元。他們使用的是亞馬遜提供給所有用戶的面部識(shí)別系統(tǒng)，任何人都可以用它來(lái)掃描人臉圖像，進(jìn)行匹配。

ACLU希望此結(jié)果促使國(guó)會(huì)加入抵制行列，呼吁執(zhí)法部門停止使用亞馬遜人臉識(shí)別系統(tǒng)。

在今年早些時(shí)候，已有亞馬遜員工、股東、近70個(gè)民權(quán)組織組成的聯(lián)盟、400多名學(xué)術(shù)界人士，以及超過(guò)15萬(wàn)名公眾呼吁亞馬遜，甚至上書(shū)亞馬遜CEO貝索斯，停止向政府和執(zhí)法部門提供人臉識(shí)別監(jiān)控！

亞馬遜回應(yīng)：ACLU使用方法不對(duì)，這鍋我們不背！

亞馬遜今天在官方博客發(fā)表了一篇文章《關(guān)于機(jī)器學(xué)習(xí)準(zhǔn)確率的思考》，署名Matt Wood 博士。

簡(jiǎn)單說(shuō)，亞馬遜認(rèn)為ACLU一開(kāi)始并沒(méi)有正確地使用這個(gè)工具，因此才造成上述看似荒誕的誤判。

事實(shí)上，美國(guó)公民自由聯(lián)盟（ACLU）是在默認(rèn)的80%置信度閾值設(shè)置下使用Rekognition軟件，而不是亞馬遜為執(zhí)法機(jī)構(gòu)推薦的95%以上的置信度水平。

鑒于ACLU并沒(méi)有公開(kāi)其實(shí)驗(yàn)設(shè)置細(xì)節(jié)，亞馬遜自己做了一個(gè)測(cè)試。他們使用850,000 張學(xué)界通用的人臉和所有美國(guó)國(guó)會(huì)議員的圖片，將識(shí)別閾值調(diào)到99%以后，誤判率為0%。

此外，ACLU使用的罪犯照片也可能模糊不清，導(dǎo)致識(shí)別出錯(cuò)。

亞馬遜發(fā)言人通過(guò)電子郵件回應(yīng)道：

“關(guān)于ACLU最近對(duì)Amazon Rekognition的測(cè)試，我們認(rèn)為，通過(guò)在測(cè)試中設(shè)置最佳實(shí)踐的置信度閾值（即Rekognition發(fā)現(xiàn)一個(gè)匹配的百分比），結(jié)果可能會(huì)得到改進(jìn)?！?/p>

“對(duì)于熱狗、椅子、動(dòng)物或其他社交媒體用例中的照片來(lái)說(shuō)，80%的置信度是可以接受的閾值，但對(duì)于識(shí)別具有合理程度確定性的個(gè)人來(lái)說(shuō)，這并不合適。當(dāng)我們?cè)趫?zhí)法活動(dòng)中使用人臉識(shí)別時(shí)，我們會(huì)引導(dǎo)客戶設(shè)置一個(gè)95%或更高的閾值?！?/p>

在今天Wood博士發(fā)表的文章中提到，人們普遍存在一種誤解，認(rèn)為人可以比機(jī)器更好地匹配面部照片。實(shí)際上，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）最近分享了一項(xiàng)關(guān)于面部識(shí)別技術(shù)的研究，該技術(shù)至少比亞馬遜 Rekognition 中使用的技術(shù)落后兩年，并得出結(jié)論，即使是那些舊技術(shù)也能超越人類的面部識(shí)別能力。

“當(dāng)有新的技術(shù)進(jìn)步時(shí)，我們都必須清楚地了解什么是真實(shí)的，什么不是。使用機(jī)器學(xué)習(xí)識(shí)別食物和使用機(jī)器學(xué)習(xí)來(lái)進(jìn)行面部匹配并根據(jù)其結(jié)果考慮是否應(yīng)該采取執(zhí)法行動(dòng)，兩件事完全不同。后者是嚴(yán)肅的，需要更高的置信水平。我們繼續(xù)建議客戶，不要在執(zhí)法中使用低于99％的置信水平，然后僅將此方法作為眾多工具中的一種?！?/p>

機(jī)器學(xué)習(xí)是一個(gè)幫助執(zhí)法機(jī)構(gòu)非常有價(jià)值的工具，雖然擔(dān)心它會(huì)被濫用，但我們不應(yīng)該因?yàn)榘褱囟日{(diào)錯(cuò)烤糊了比薩就扔掉烤箱。

誤報(bào)是人臉識(shí)別公認(rèn)的問(wèn)題，現(xiàn)階段必須由人接管

但是，一名ACLU律師告訴CNET，亞馬遜不一定會(huì)引導(dǎo)執(zhí)法機(jī)構(gòu)將置信度閾值設(shè)得更高。也就是說(shuō)，如果警察部門使用該軟件，它的默認(rèn)閾值設(shè)置仍是80%，也不會(huì)詢問(wèn)用戶是否需要改變?cè)O(shè)置，哪怕用戶打算用它來(lái)識(shí)別罪犯。

ACLU律師Jacob Snow說(shuō)：“亞馬遜不會(huì)詢問(wèn)客戶他們使用Rekognition的目的是什么?！?/p>

ACLU表示，即使是面向安全目的的人臉識(shí)別，亞馬遜網(wǎng)站也認(rèn)為80%的置信度已經(jīng)足夠。

一位知情人士表示，當(dāng)亞馬遜直接與執(zhí)法機(jī)構(gòu)合作時(shí)，如奧蘭多警察局，亞馬遜會(huì)教他們?nèi)绾螠p少誤報(bào)，避免人為的偏見(jiàn)。

值得注意的是，“誤報(bào)”是人臉識(shí)別技術(shù)公認(rèn)存在的問(wèn)題。

包括ACLU在內(nèi)的所有人都沒(méi)有說(shuō)過(guò)，警方會(huì)僅憑人臉識(shí)別軟件的“誤報(bào)”就去逮捕某人。人臉識(shí)別縮小了嫌疑犯名單的范圍，接下來(lái)是由人類來(lái)接管。

最近，在英國(guó)，人臉識(shí)別幫助警方確定了來(lái)英國(guó)要毒殺俄羅斯雙面間諜的俄羅斯刺客；在美國(guó)，人臉識(shí)別幫助警方鎖定了《首都公報(bào)》槍擊案搶手。在中國(guó)，人臉識(shí)別更是讓歌神張學(xué)友變身“捕神”，警察通過(guò)人臉識(shí)別技術(shù)，在演唱會(huì)現(xiàn)場(chǎng)連連抓到逃犯。

而且，與英國(guó)大都會(huì)警察局（UK Metropolitan Police）的人臉識(shí)別技術(shù)（誤報(bào)率高達(dá)98%?。┫啾龋词乖?0%的置信度下，亞馬遜的Rekognition也沒(méi)有產(chǎn)生那么多誤報(bào)結(jié)果。

但美國(guó)公民自由聯(lián)盟擔(dān)心，亞馬遜的誤報(bào)結(jié)果可能會(huì)讓警官或政府機(jī)構(gòu)在不應(yīng)該的情況下搜索、質(zhì)疑無(wú)辜民眾，甚至可能動(dòng)用武器。美國(guó)公民自由聯(lián)盟指出，亞馬遜的科技似乎過(guò)多針對(duì)有色人種。

ACLU還提供了以下聲明：

亞馬遜似乎忽略了（或拒絕承認(rèn)）一個(gè)更廣泛的觀點(diǎn)：政府掌握的人臉識(shí)別技術(shù)已為濫用做好了準(zhǔn)備，并引發(fā)了對(duì)公民權(quán)利的重大擔(dān)憂。它可以允許——在某些情況下已經(jīng)允許——警察確定那些人參加了抗議活動(dòng)，令ICE（美國(guó)移民及海關(guān)執(zhí)法局）繼續(xù)監(jiān)控移民，令城市可以定期跟蹤居民，不管他們是否有理由懷疑犯罪活動(dòng)。將閾值從80%更改為95%并不能改變這一點(diǎn)。事實(shí)上，甚至可能加劇這種情況。

在美國(guó)公民自由聯(lián)盟的測(cè)試曝光后的幾個(gè)小時(shí)內(nèi)，已經(jīng)有5名國(guó)會(huì)議員公開(kāi)致信亞馬遜CEO貝索斯，要求他給出回應(yīng)，并要求立即舉行會(huì)面。

另外，據(jù)美國(guó)公民自由聯(lián)盟稱，由于亞馬遜的技術(shù)似乎過(guò)多針對(duì)有色人種，信中提出了有關(guān)人臉識(shí)別技術(shù)的問(wèn)題。