歐盟人工智能安全報(bào)告

2020年2月19日，歐盟委員會(huì)發(fā)布《關(guān)于人工智能、物聯(lián)網(wǎng)、機(jī)器人對(duì)安全和責(zé)任的影響的報(bào)告》（Report on the safety and liability implications of Artificial Intelligence， the Internet of Things and robotics），該報(bào)告介紹了當(dāng)前的歐盟產(chǎn)品安全制度，并探討了如何對(duì)其進(jìn)行改進(jìn)，以應(yīng)對(duì)人工智能（AI）、物聯(lián)網(wǎng)（IoT）和機(jī)器人技術(shù)領(lǐng)域的不斷創(chuàng)新發(fā)展。全文包括三大部分，首先概述了現(xiàn)有的安全和責(zé)任框架，人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)的特征以及創(chuàng)造的機(jī)遇；其次闡述了人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)對(duì)安全框架的挑戰(zhàn)及應(yīng)對(duì)；最后闡述了其對(duì)責(zé)任框架的挑戰(zhàn)及應(yīng)對(duì)。

人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)將為社會(huì)創(chuàng)造新的機(jī)遇和價(jià)值。歐盟委員會(huì)理解這些新興數(shù)字技術(shù)的重要性和潛力，以及在上述領(lǐng)域大量投資的必要性，進(jìn)而致力于使歐洲獲得人工智能，物聯(lián)網(wǎng)和機(jī)器人技術(shù)的世界先進(jìn)地位。為了實(shí)現(xiàn)這一目標(biāo)，需要一個(gè)清晰，可預(yù)測(cè)的法律框架來(lái)應(yīng)對(duì)技術(shù)挑戰(zhàn)。本文將簡(jiǎn)要介紹人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)對(duì)安全和責(zé)任框架的挑戰(zhàn)及應(yīng)對(duì)方式。

一、概述

（一）現(xiàn)有的安全和責(zé)任框架

安全和責(zé)任框架旨在保障所有產(chǎn)品和服務(wù)的安全、可靠、同步運(yùn)行，并救濟(jì)可能出現(xiàn)的損失。歐盟擁有健全的安全和產(chǎn)品責(zé)任監(jiān)管框架，以及完善的安全標(biāo)準(zhǔn)體系，在保障公民在單一市場(chǎng)上的福祉的同時(shí)，鼓勵(lì)創(chuàng)新和技術(shù)應(yīng)用。隨著人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)正在改變?cè)S多產(chǎn)品和服務(wù)的特性，此時(shí)，建立更加明確清晰的安全和責(zé)任框架勢(shì)在必行，以期保護(hù)消費(fèi)者和企業(yè)的合法權(quán)益。

（二）人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)的特征

人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)具有 連接性、自主性、復(fù)雜性和數(shù)據(jù)依賴性。它們幾乎不需要人工管控就能執(zhí)行任務(wù)。配備人工智能的系統(tǒng)還可以通過(guò)從經(jīng)驗(yàn)中學(xué)習(xí)來(lái)改善自己的性能。此外，隨著投放市場(chǎng)的變化，它們還更加具有 開放性。同時(shí)，由于涉及大量數(shù)據(jù)，導(dǎo)致算法依賴（即隨著算法技術(shù)的強(qiáng)大，導(dǎo)致人類越來(lái)越依賴算法，以算法的結(jié)果為指導(dǎo)標(biāo)準(zhǔn)）以及AI決策的 不透明性，使得對(duì)AI產(chǎn)品行為更難預(yù)測(cè)，對(duì)造成損壞的潛在原因更難排查。

（三）人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)創(chuàng)造的機(jī)遇

人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)為人類社會(huì)創(chuàng)造了許多機(jī)遇。例如可以增加用戶對(duì)新興技術(shù)的信任和社會(huì)認(rèn)可，改善產(chǎn)品、流程和商業(yè)模式以及幫助歐洲制造商提高生產(chǎn)效率?？梢蕴岣弋a(chǎn)品的可追溯性，并通過(guò)提高產(chǎn)品的安全性從而使產(chǎn)品降低某些風(fēng)險(xiǎn)。除此之外，人工智能還有望幫助人類發(fā)明創(chuàng)造，并幫助解決一些世界重大挑戰(zhàn)：包括治療慢性疾病、預(yù)測(cè)疾病爆發(fā)、減少交通事故死亡率、應(yīng)對(duì)氣候變化或預(yù)測(cè)網(wǎng)絡(luò)安全威脅等。此外，新技術(shù)可以提高產(chǎn)品的可追溯性，并通過(guò)提高產(chǎn)品的安全性從而使產(chǎn)品降低某些風(fēng)險(xiǎn)。

二、人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)對(duì)現(xiàn)有安全框架的影響及應(yīng)對(duì)

歐盟委員會(huì)關(guān)于《建立以人為本的人工智能的信任》（Building Trust in Human-Centric Artificial Intelligence）的文件指出，AI系統(tǒng)應(yīng)綜合設(shè)計(jì)安全機(jī)制，以確保每一步的安全性都經(jīng)受得住檢驗(yàn)，確保所有相關(guān)人員的身心安全。

當(dāng)前的產(chǎn)品安全立法已經(jīng)支持針對(duì)產(chǎn)品使用過(guò)程中產(chǎn)生的各種風(fēng)險(xiǎn)進(jìn)行安全保護(hù)。可以通過(guò)適當(dāng)?shù)某h，對(duì)《產(chǎn)品責(zé)任指令》（Product Liability Directive）和國(guó)家責(zé)任制度進(jìn)行調(diào)整，采用更明確的、涵蓋新興數(shù)字技術(shù)帶來(lái)的新風(fēng)險(xiǎn)的條款，以提供更多的法律確定性。

一是新興數(shù)字技術(shù)的連接性挑戰(zhàn)了傳統(tǒng)安全概念。連接互通或失去連接都可能導(dǎo)致產(chǎn)品受到安全威脅進(jìn)而影響用戶安全。當(dāng)前的歐盟產(chǎn)品安全法規(guī)（Union product safety legislation）中的產(chǎn)品安全性概念涵蓋了針對(duì)產(chǎn)品面臨各種風(fēng)險(xiǎn)的防護(hù)，不僅包括機(jī)械、化學(xué)、電氣風(fēng)險(xiǎn)，還包括網(wǎng)絡(luò)風(fēng)險(xiǎn)和與設(shè)備斷開連接相關(guān)的風(fēng)險(xiǎn)，此外還針對(duì)影響用戶安全的網(wǎng)絡(luò)威脅制定了強(qiáng)制性規(guī)定，這方面的明確法律規(guī)定可以考慮納入歐盟相關(guān)立法，以便為用戶提供明確的法律參考。

二是AI自主行為有可能違背生產(chǎn)者意圖。AI產(chǎn)品和系統(tǒng)的自主性可能會(huì)使機(jī)器做出的決策與生產(chǎn)者的最初意圖，以及用戶的期望有所偏差。部分人工智能系統(tǒng)在其生命周期內(nèi)的自主行為一旦對(duì)安全產(chǎn)生影響，便需要進(jìn)行新的風(fēng)險(xiǎn)評(píng)估。此外，歐盟的相關(guān)立法應(yīng)該對(duì)制造商規(guī)定強(qiáng)制性義務(wù)，要求其對(duì)用戶提供明確的安全指示和警告。另外，從產(chǎn)品設(shè)計(jì)到整個(gè)人工智能產(chǎn)品生命周期都可能需要人工監(jiān)督來(lái)保障安全。

三是AI系統(tǒng)的類人行為（humanoid）可能會(huì)給用戶帶來(lái)心理健康風(fēng)險(xiǎn)。因此，規(guī)定生產(chǎn)者義務(wù)時(shí)可以適當(dāng)考慮到用戶心理的安全風(fēng)險(xiǎn)（例如與類人機(jī)器人合作）；立法框架中的產(chǎn)品安全概念應(yīng)明確涵蓋精神健康風(fēng)險(xiǎn)。對(duì)于AI類人機(jī)器人的生產(chǎn)商，明確其產(chǎn)品可能對(duì)用戶（特別是弱勢(shì)用戶，例如被護(hù)理的老年人）造成心理?yè)p害的承擔(dān)義務(wù)，可以考慮將其納入歐盟相關(guān)立法。

四是數(shù)據(jù)依賴性可能擴(kuò)大錯(cuò)誤數(shù)據(jù)的安全風(fēng)險(xiǎn)。數(shù)據(jù)的準(zhǔn)確性和相關(guān)性可以確保人工智能系統(tǒng)按照生產(chǎn)者意圖做出決定。因此，歐盟產(chǎn)品安全法規(guī)可以作出規(guī)定，要求在設(shè)計(jì)階段解決錯(cuò)誤數(shù)據(jù)帶來(lái)的安全風(fēng)險(xiǎn)。根據(jù)產(chǎn)品的用途，生產(chǎn)商應(yīng)在設(shè)計(jì)和測(cè)試階段預(yù)測(cè)數(shù)據(jù)的準(zhǔn)確性及其與安全功能的相關(guān)性，以確保在整個(gè)人工智能產(chǎn)品和系統(tǒng)的使用過(guò)程中有良好的機(jī)制來(lái)保障數(shù)據(jù)質(zhì)量。

五是AI產(chǎn)品的不透明性導(dǎo)致難以跟蹤系統(tǒng)的決策過(guò)程（即所謂的“算法黑箱”‘black box-effect’ ）。歐盟產(chǎn)品安全法規(guī)目前尚未解決基于算法不透明所帶來(lái)的日益增長(zhǎng)的風(fēng)險(xiǎn)。因此，有必要考慮增加對(duì)算法透明性、穩(wěn)健性和問(wèn)責(zé)制的相關(guān)法律規(guī)定，在發(fā)生事故的情況下，規(guī)定算法開發(fā)人員必須公開數(shù)據(jù)集的設(shè)計(jì)參數(shù)（design parameters）和元數(shù)據(jù)（metadata of datasets）。這對(duì)于事后執(zhí)行機(jī)制的完善，建立對(duì)新興數(shù)字技術(shù)的信任尤其重要。

六是獨(dú)立軟件（stand-alone software）的更新會(huì)對(duì)產(chǎn)品進(jìn)行實(shí)質(zhì)性修改。復(fù)雜的AI系統(tǒng)通常包含獨(dú)立軟件，如果獨(dú)立軟件的更新對(duì)產(chǎn)品進(jìn)行了實(shí)質(zhì)性修改，則整個(gè)產(chǎn)品可能會(huì)被視為新產(chǎn)品，必須重新評(píng)估是否符合相關(guān)安全產(chǎn)品法規(guī)規(guī)定?，F(xiàn)有的歐盟產(chǎn)品安全法應(yīng)需要對(duì)獨(dú)立軟件有特定或明確的要求，確保AI產(chǎn)品和系統(tǒng)中的獨(dú)立軟件具備安全功能。此外應(yīng)規(guī)定制造商的相關(guān)強(qiáng)制性義務(wù)，以確保上傳的軟件不會(huì)在人工智能產(chǎn)品的生命周期內(nèi)對(duì)安全產(chǎn)生影響。

七是新興數(shù)字技術(shù)也受復(fù)雜的價(jià)值鏈（value chains）影響。歐盟產(chǎn)品安全法規(guī)考慮了價(jià)值鏈的復(fù)雜性，并遵循“共同責(zé)任”的原則對(duì)多家企業(yè)施加了義務(wù)，明確規(guī)定價(jià)值鏈中的企業(yè)與用戶之間進(jìn)行合作的條款，尤其是價(jià)值鏈中影響產(chǎn)品安全的每個(gè)企業(yè)（例如軟件生產(chǎn)者）和用戶（通過(guò)修改產(chǎn)品）都會(huì)承擔(dān)相關(guān)責(zé)任，并為鏈中的下一個(gè)行為者提供必要的信息和保護(hù)措施，以期為復(fù)雜的價(jià)值鏈問(wèn)題提供法律明確性。

三、人工智能、物聯(lián)網(wǎng)和機(jī)器人技術(shù)對(duì)現(xiàn)有責(zé)任框架的影響及應(yīng)對(duì)

新興數(shù)字技術(shù)（如人工智能、物聯(lián)網(wǎng)和機(jī)器人）的特質(zhì)可能會(huì)在某些方面影響責(zé)任框架，并可能降低它們的有效性。例如很難將造成的損害追溯到人類的行為導(dǎo)致無(wú)法對(duì)受害者進(jìn)行及時(shí)合理的補(bǔ)償。此外還需要進(jìn)一步評(píng)估新技術(shù)對(duì)現(xiàn)有責(zé)任框架的挑戰(zhàn)是否會(huì)導(dǎo)致法律適用的不確定性，這些可能會(huì)阻礙投資，并增加生產(chǎn)者和供應(yīng)鏈中其他企業(yè)（尤其是歐洲中小型企業(yè)）的信息和保險(xiǎn)成本。

其一，產(chǎn)品、服務(wù)和價(jià)值鏈的復(fù)雜性挑戰(zhàn)傳統(tǒng)生產(chǎn)者概念。在過(guò)去的幾十年中，科技發(fā)展迅速，隨著產(chǎn)品和服務(wù)的日益融合，產(chǎn)品責(zé)任值得我們重點(diǎn)關(guān)注。以軟件為例，一旦軟件發(fā)生變更可能會(huì)使產(chǎn)品損害，這最終可能導(dǎo)致產(chǎn)品生產(chǎn)商承擔(dān)責(zé)任。因此《產(chǎn)品責(zé)任指令》可以進(jìn)一步明確生產(chǎn)者概念，擴(kuò)大責(zé)任范圍，對(duì)于軟件或其他數(shù)字功能導(dǎo)致產(chǎn)品缺陷從而造成的損失，明確賠償義務(wù)和責(zé)任范圍。這樣可以更好地根據(jù)相關(guān)法律規(guī)定判斷是否可以將經(jīng)濟(jì)參與者（例如軟件開發(fā)人員）視為生產(chǎn)者，從而確定相關(guān)責(zé)任人。

其二，復(fù)雜的物聯(lián)網(wǎng)環(huán)境使受害者難以追責(zé)。人工智能應(yīng)用程序通常集成在復(fù)雜的物聯(lián)網(wǎng)環(huán)境中，其中許多不同的連接設(shè)備和服務(wù)相互作用。由于技術(shù)的復(fù)雜性，受害者很難查找損害來(lái)源進(jìn)而確定責(zé)任人并成功索賠。因此可以通過(guò)修訂《產(chǎn)品責(zé)任指令》，減少受害者的舉證責(zé)任，進(jìn)一步有針對(duì)性地統(tǒng)一國(guó)家責(zé)任規(guī)則。例如，歐盟委員會(huì)正在征求意見，針對(duì)AI應(yīng)用程序所造成的損害，是否需要通過(guò)調(diào)整舉證責(zé)任，以減少責(zé)任認(rèn)定的復(fù)雜性。

其三，連接性和開放性對(duì)現(xiàn)有網(wǎng)絡(luò)安全義務(wù)提出挑戰(zhàn)。網(wǎng)絡(luò)安全漏洞可能在產(chǎn)品投入流通的開始就存在，但也可能在產(chǎn)品投入流通的后期出現(xiàn)。目前，因產(chǎn)品網(wǎng)絡(luò)安全漏洞而造成的損害是否能得到充分的賠償問(wèn)題尚沒有明確的法律規(guī)定。因此現(xiàn)有的責(zé)任框架應(yīng)該建立明確的網(wǎng)絡(luò)安全義務(wù)，使運(yùn)營(yíng)商明確自身義務(wù)從而避免承擔(dān)不必要的責(zé)任。

其四，自主性和不透明性可能造成索賠困難。自主性會(huì)影響產(chǎn)品的安全性，因?yàn)樽灾餍钥赡軙?huì)大大改變產(chǎn)品的特性，包括其安全性。由于某些AI系統(tǒng)的“算法黑箱”，理解AI所使用的算法和數(shù)據(jù)需要具有專業(yè)分析能力和技術(shù)專長(zhǎng)。此外，如果沒有潛在責(zé)任方的合作，就不可能訪問(wèn)算法和數(shù)據(jù)。導(dǎo)致實(shí)踐中受害者可能無(wú)法提出責(zé)任索賠。因此可以重新調(diào)整《產(chǎn)品責(zé)任指令》目前使用的“投入流通”（putting into circulation）的概念，以考慮到后期產(chǎn)品可能會(huì)發(fā)生變化，有助于澄清對(duì)產(chǎn)品的更改將最終由誰(shuí)負(fù)責(zé)。此外針對(duì)潛在責(zé)任方?jīng)]有記錄與評(píng)估責(zé)任有關(guān)的數(shù)據(jù)，或者不愿意與受害人分享這些數(shù)據(jù)的行為，歐盟委員會(huì)正在探討是否需要調(diào)整因果關(guān)系和過(guò)錯(cuò)責(zé)任，以明確相關(guān)責(zé)任。

四、結(jié)論

人工智能、物聯(lián)網(wǎng)和機(jī)器人等新興數(shù)字技術(shù)的出現(xiàn)對(duì)產(chǎn)品安全和責(zé)任方面提出了新的挑戰(zhàn)。當(dāng)前的產(chǎn)品安全法規(guī)仍有待完善，特別是需要分別對(duì)《通用產(chǎn)品安全指令》（General Product Safety Directive）、《機(jī)械指令》（Machinery Directive），《無(wú)線電設(shè)備指令》（the Radio- Equipment Directive）和《新立法框架》（ New Legislative Framework）進(jìn)行修訂補(bǔ)充。今后將統(tǒng)一開展在該框架內(nèi)對(duì)不同法規(guī)進(jìn)行調(diào)整的工作。

當(dāng)前，在保持技術(shù)創(chuàng)新發(fā)展的同時(shí)，也應(yīng)保障因AI系統(tǒng)介入受到傷害的人和因傳統(tǒng)技術(shù)遭受傷害的人享有同等的保護(hù)，這將有助于增強(qiáng)人們對(duì)新興數(shù)字技術(shù)的信任并確保投資穩(wěn)定性。此外，歐盟還應(yīng)該通過(guò)適當(dāng)?shù)呐e措對(duì)《產(chǎn)品責(zé)任指令》和國(guó)家責(zé)任制度進(jìn)行調(diào)整，即考慮人工智能系統(tǒng)應(yīng)用所帶來(lái)的多重風(fēng)險(xiǎn)，以解決現(xiàn)有安全和責(zé)任框架的不確定性。

責(zé)任編輯：Ct