機(jī)器學(xué)習(xí)可能帶來(lái)的風(fēng)險(xiǎn)和應(yīng)對(duì)方法

　　近年來(lái)，深度學(xué)習(xí)算法推動(dòng)人工智能實(shí)現(xiàn)了快速發(fā)展。以深度學(xué)習(xí)為基礎(chǔ)的機(jī)器學(xué)習(xí)可以讓計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類(lèi)學(xué)習(xí)行為，從而不斷改善自身性能，其應(yīng)用正遍及人工智能的各個(gè)領(lǐng)域，并在各行業(yè)得到爆發(fā)式增長(zhǎng)。但機(jī)器學(xué)習(xí)也面臨著各種挑戰(zhàn)和風(fēng)險(xiǎn)。美國(guó)《哈佛商業(yè)評(píng)論》雜志2021年1/2月刊發(fā)表歐洲工商管理學(xué)院（INSEAD）研究人員鮑里斯·巴比克（Boris Babic）、I. 格倫·科恩（I. Glenn Cohen）和西奧多·埃凡杰努（Theodoros Evgeniou）合著的文章《當(dāng)機(jī)器學(xué)習(xí)誤入歧途》（When Machine Learning Goes Off the Rail），對(duì)其可能帶來(lái)的風(fēng)險(xiǎn)和應(yīng)對(duì)方法進(jìn)行了討論。

　　機(jī)器學(xué)習(xí)失誤的三大原因

　　機(jī)器學(xué)習(xí)與之前的數(shù)字技術(shù)的最大區(qū)別在于，它們能夠獨(dú)立做出越來(lái)越復(fù)雜的決定——比如交易哪些金融產(chǎn)品、車(chē)輛如何應(yīng)對(duì)障礙、診斷患者是否患病——并不斷適應(yīng)新數(shù)據(jù)。但這些算法并不總是順利運(yùn)行。它們并不總是做出合乎道德或準(zhǔn)確的選擇。這里有三個(gè)基本原因。

　　其中一個(gè)原因很簡(jiǎn)單。算法做出了如此多的預(yù)測(cè)，很可能有些預(yù)測(cè)是錯(cuò)誤的。出錯(cuò)的可能性源于很多因素，包括用于訓(xùn)練算法的數(shù)據(jù)的數(shù)量和質(zhì)量，所選機(jī)器學(xué)習(xí)方法的具體類(lèi)型，系統(tǒng)是否只使用可解釋的算法（意味著人類(lèi)可以描述它們?nèi)绾巫龀鰶Q定），這可能不允許系統(tǒng)實(shí)現(xiàn)最大的準(zhǔn)確性。

　　其次，機(jī)器學(xué)習(xí)操作的環(huán)境本身可能會(huì)進(jìn)化或不同于算法開(kāi)發(fā)時(shí)所面對(duì)的環(huán)境。雖然這可能以多種方式發(fā)生，但最常見(jiàn)的兩種是概念漂移和協(xié)變量漂移。

　　對(duì)于前者，系統(tǒng)使用的輸入和輸出之間的關(guān)系隨著時(shí)間的推移并不穩(wěn)定，或者可能被錯(cuò)誤地指定。以股票交易的機(jī)器學(xué)習(xí)算法為例，如果只使用低市場(chǎng)波動(dòng)和高經(jīng)濟(jì)增長(zhǎng)時(shí)期的數(shù)據(jù)進(jìn)行訓(xùn)練，那么當(dāng)經(jīng)濟(jì)進(jìn)入衰退或經(jīng)歷動(dòng)蕩時(shí)——比如在新冠疫情大流行這樣的危機(jī)期間——它可能表現(xiàn)不佳。隨著市場(chǎng)的變化，投入和產(chǎn)出之間的關(guān)系——例如，公司的杠桿程度與其股票回報(bào)之間的關(guān)系——也可能發(fā)生變化。在商業(yè)周期的不同階段，信用評(píng)分模型也可能出現(xiàn)類(lèi)似的偏差。在醫(yī)學(xué)領(lǐng)域，概念漂移的一個(gè)例子是，基于機(jī)器學(xué)習(xí)的診斷系統(tǒng)使用皮膚圖像作為檢測(cè)皮膚癌的輸入，但由于沒(méi)有充分捕捉到人的膚色（可能因種族或日曬而不同）與診斷決策之間的關(guān)系，無(wú)法做出正確的診斷。這些信息甚至在用于訓(xùn)練機(jī)器學(xué)習(xí)模型的電子健康記錄中都找不到。

　　當(dāng)使用過(guò)程中輸入到算法中的數(shù)據(jù)與訓(xùn)練算法的數(shù)據(jù)不同時(shí)，就會(huì)發(fā)生協(xié)變量移位。即使算法學(xué)習(xí)到的模式是穩(wěn)定的，并且沒(méi)有概念漂移，這種情況也會(huì)發(fā)生。例如，醫(yī)療設(shè)備公司可以利用大城市醫(yī)院的數(shù)據(jù)開(kāi)發(fā)基于機(jī)器學(xué)習(xí)的系統(tǒng)。但是，一旦該設(shè)備上市，農(nóng)村地區(qū)醫(yī)護(hù)人員輸入該系統(tǒng)的醫(yī)療數(shù)據(jù)可能與開(kāi)發(fā)數(shù)據(jù)不太一樣。城市醫(yī)院的病人可能更集中于某些社會(huì)人口群體，他們擁有在農(nóng)村醫(yī)院不常見(jiàn)的基本醫(yī)療條件。只有當(dāng)設(shè)備在市場(chǎng)上比在測(cè)試時(shí)出錯(cuò)更多時(shí)，這種差異才會(huì)被發(fā)現(xiàn)?？紤]到市場(chǎng)的多樣性和它們變化的速度，預(yù)測(cè)系統(tǒng)運(yùn)行環(huán)境中會(huì)發(fā)生什么變得越來(lái)越具有挑戰(zhàn)性，而且沒(méi)有多少數(shù)據(jù)能夠捕捉到現(xiàn)實(shí)世界中發(fā)生的所有細(xì)微差別。

　　機(jī)器學(xué)習(xí)可能做出錯(cuò)誤決定的第三個(gè)原因與它所嵌入的整個(gè)系統(tǒng)的復(fù)雜性有關(guān)。以一種根據(jù)醫(yī)生輸入的圖像診斷疾病的設(shè)備IDx-DR為例，它可以識(shí)別糖尿病視網(wǎng)膜病變和黃斑水腫等眼部疾病，是美國(guó)食品和藥物管理局批準(zhǔn)使用的第一種基于機(jī)器學(xué)習(xí)的自主醫(yī)療設(shè)備。診斷的質(zhì)量取決于提供的圖像有多清晰、設(shè)備使用的具體算法、算法使用的數(shù)據(jù)、輸入圖像的醫(yī)生是否接受了適當(dāng)?shù)闹笇?dǎo)，等等。有著如此多的參數(shù)，很難評(píng)估這樣的設(shè)備是否和為什么會(huì)出錯(cuò)，更不用說(shuō)確定它的行為了。企業(yè)應(yīng)對(duì)風(fēng)險(xiǎn)的具體方法

　　那么，應(yīng)該如何管理機(jī)器學(xué)習(xí)現(xiàn)有和正在出現(xiàn)的風(fēng)險(xiǎn)呢？制定適當(dāng)?shù)牧鞒?，提出正確的問(wèn)題，采用正確的思維框架，這些都是重要的步驟。

　　需要把機(jī)器學(xué)習(xí)看作一個(gè)有生命的實(shí)體，而不是一種無(wú)生命的技術(shù)。以企業(yè)為例，由于對(duì)員工的認(rèn)知測(cè)試無(wú)法揭示他們?cè)诩尤氍F(xiàn)有團(tuán)隊(duì)時(shí)的表現(xiàn)，實(shí)驗(yàn)室測(cè)試也無(wú)法預(yù)測(cè)機(jī)器學(xué)習(xí)系統(tǒng)在現(xiàn)實(shí)世界中的表現(xiàn)。高管們應(yīng)該要求全面分析員工、客戶或其他用戶將如何應(yīng)用這些系統(tǒng)并對(duì)他們的決定作出反應(yīng)。即使監(jiān)管機(jī)構(gòu)沒(méi)有要求，企業(yè)也可能希望對(duì)其基于機(jī)器學(xué)習(xí)的新產(chǎn)品進(jìn)行隨機(jī)對(duì)照試驗(yàn)，以確保其在推出前的安全性、有效性和公平性。但他們也可能想要分析產(chǎn)品在實(shí)際市場(chǎng)中的表現(xiàn)，因?yàn)槟抢镉懈鞣N類(lèi)型的用戶，看看產(chǎn)品的表現(xiàn)是否在他們之間有所不同。

　　此外，應(yīng)用該技術(shù)的公司應(yīng)該將這些算法做出的決策與在相同情況下不使用它們做出的決策的質(zhì)量進(jìn)行比較。在大規(guī)模部署產(chǎn)品之前，特別是那些沒(méi)有進(jìn)行隨機(jī)對(duì)照試驗(yàn)的產(chǎn)品，公司應(yīng)該考慮在有限的市場(chǎng)上測(cè)試它們，以便更好地了解它們?cè)诟鞣N因素影響下的準(zhǔn)確性和行為——例如，當(dāng)面對(duì)不同來(lái)源的數(shù)據(jù)或環(huán)境變化時(shí)。

　　應(yīng)該制訂計(jì)劃，在機(jī)器學(xué)習(xí)產(chǎn)品上市前對(duì)其進(jìn)行認(rèn)證。監(jiān)管機(jī)構(gòu)的做法提供了一個(gè)很好的路線圖。例如，2020年，美國(guó)食品藥品監(jiān)督管理局發(fā)表了一篇論文，提出了一種新的監(jiān)管框架，用于修改基于機(jī)器學(xué)習(xí)的醫(yī)療設(shè)備軟件。它提出了一種方法，可以讓這類(lèi)軟件在保證患者安全的同時(shí)不斷改進(jìn)，包括對(duì)開(kāi)發(fā)軟件的公司或團(tuán)隊(duì)進(jìn)行完整的評(píng)估，以確保該公司擁有卓越的組織文化，從而能夠定期測(cè)試其機(jī)器學(xué)習(xí)設(shè)備。

　　基于機(jī)器學(xué)習(xí)的產(chǎn)品和服務(wù)以及它們所處的環(huán)境在不斷發(fā)展，很多公司可能會(huì)發(fā)現(xiàn)它們的技術(shù)并沒(méi)有像最初設(shè)想的那樣發(fā)揮作用。因此，重要的是，他們要尋找方法來(lái)檢查這些技術(shù)是否在適當(dāng)?shù)姆秶鷥?nèi)運(yùn)行。其他行業(yè)的成功經(jīng)驗(yàn)可以作為榜樣。美國(guó)食品藥品監(jiān)督管理局倡議利用不同的數(shù)據(jù)來(lái)源，如電子健康記錄，來(lái)監(jiān)控醫(yī)療產(chǎn)品的安全性，如果不合格，可以強(qiáng)制撤回這些產(chǎn)品。在許多方面，企業(yè)的監(jiān)控程序可能類(lèi)似于目前制造業(yè)、能源公司或網(wǎng)絡(luò)安全領(lǐng)域使用的預(yù)防性維護(hù)工具和流程。例如，這些公司可能會(huì)對(duì)人工智能進(jìn)行所謂的對(duì)抗性攻擊，就像那些常規(guī)測(cè)試IT系統(tǒng)防御強(qiáng)度的攻擊一樣。

　　研發(fā)和制定智能安全原則

　　依賴(lài)機(jī)器學(xué)習(xí)的產(chǎn)品和服務(wù)——不斷吸收新數(shù)據(jù)，并根據(jù)數(shù)據(jù)做出相應(yīng)調(diào)整的計(jì)算機(jī)程序——并不總是能做出合乎道德或準(zhǔn)確的選擇。因此，自主決策的產(chǎn)品和服務(wù)需要解決道德困境——這一要求會(huì)帶來(lái)額外的風(fēng)險(xiǎn)、監(jiān)管和產(chǎn)品開(kāi)發(fā)挑戰(zhàn)。學(xué)者們現(xiàn)在已經(jīng)開(kāi)始將這些挑戰(zhàn)定義為算法設(shè)計(jì)負(fù)責(zé)解決的問(wèn)題。例如，特斯拉是應(yīng)該按照功利主義的成本—收益原則來(lái)設(shè)計(jì)汽車(chē)，還是按照康德主義的原則來(lái)設(shè)計(jì)汽車(chē)？即使答案是功利主義的，量化也是極其困難的：我們應(yīng)該如何對(duì)一輛車(chē)進(jìn)行編程，讓它來(lái)衡量三個(gè)老年人的生命更重要，還是一個(gè)中年人的生命更重要？企業(yè)應(yīng)該如何在諸如隱私、公平、準(zhǔn)確性和安全性之間取得平衡？所有這些風(fēng)險(xiǎn)都可以避免嗎？的確，有時(shí)它們會(huì)造成投資損失、有偏見(jiàn)的雇傭，甚至車(chē)禍。隨著這類(lèi)產(chǎn)品在各個(gè)市場(chǎng)的激增，很多應(yīng)用該技術(shù)的公司將面臨新的重大風(fēng)險(xiǎn)。

　　對(duì)此，企業(yè)需要建立自己的準(zhǔn)則，包括道德準(zhǔn)則，來(lái)管理這些新的風(fēng)險(xiǎn)，就像谷歌和微軟等公司已經(jīng)做的那樣。這些指導(dǎo)方針往往需要非常具體（例如，關(guān)于采用何種關(guān)于“公平”的定義）才能有用，并且必須針對(duì)所涉風(fēng)險(xiǎn)進(jìn)行調(diào)整。如果你使用機(jī)器學(xué)習(xí)來(lái)做招聘決定，最好有一個(gè)簡(jiǎn)單、公平和透明的模型。如果你使用機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)商品期貨合約的價(jià)格，你可能就不太關(guān)心這些價(jià)值，而更關(guān)心機(jī)器學(xué)習(xí)做出決定所允許的最大潛在經(jīng)濟(jì)損失。

　　幸運(yùn)的是，現(xiàn)在有很多機(jī)構(gòu)已經(jīng)參與到了開(kāi)發(fā)和實(shí)現(xiàn)的原則中。人們可以從經(jīng)合組織等機(jī)構(gòu)多年來(lái)的努力中學(xué)到很多東西。經(jīng)合組織制定了首個(gè)政府間人工智能原則，并在2019年被許多國(guó)家采用。經(jīng)合組織原則促進(jìn)了創(chuàng)新、可信和負(fù)責(zé)任、透明的人工智能，尊重人權(quán)、法治和多樣性，推動(dòng)包容性增長(zhǎng)、可持續(xù)發(fā)展和人類(lèi)福祉。他們還強(qiáng)調(diào)了人工系統(tǒng)在整個(gè)生命周期中的健康性、安全性和持續(xù)風(fēng)險(xiǎn)管理。最近，經(jīng)合組織推出的人工智能政策觀察（The OECD AI Policy Observatory）平臺(tái)對(duì)此提供了更多有用的資源，如對(duì)全球人工智能政策的綜合匯編。
責(zé)任編輯：YYX