機(jī)器學(xué)習(xí)兩種類型的偏見

TL; DR-許多ML應(yīng)用程序在理論上很有用，但在實(shí)踐中卻變得毫無(wú)用處。 讓我們看一個(gè)真實(shí)的案例研究，重點(diǎn)介紹兩種類型的偏見，以及如何理解"信任時(shí)刻"可以如何通過一個(gè)具體例子提供幫助。 最后，我要考慮三個(gè)小動(dòng)作。

故事

我內(nèi)心的聲音："她有外遇嗎？ 她一定是。 **我！" 當(dāng)你美麗的妻子突然在離家那么多夜晚的時(shí)候，你不能怪我這么想。她從此不必工作太多。

因此，我問："怎么回事？ 你最近怎么這么忙 一切都好嗎？"

杰西："我不知道你們?yōu)槭裁丛倮^續(xù)制作這些無(wú)用的AI東西！ 他們不斷使我們做更多的工作。" 好吧，我完全沒有看到那件事。 還有哦 作為一個(gè)充滿愛心的丈夫，正確的做法是給她一個(gè)擁抱并承擔(dān)更多的家務(wù)勞動(dòng)（是的，我做到了。）

更重要的是，為了滿足我的自私好奇心，追求更好地完成自己的工作以及促進(jìn)機(jī)器學(xué)習(xí)社區(qū)的進(jìn)步，我需要傾聽。

因此，我進(jìn)行了調(diào)查："告訴我更多。 發(fā)生了什么？ 你為什么這么說(shuō)？"

兩種類型的偏見和不同的問題

杰西繼續(xù)說(shuō)："我們有了這個(gè)新的Next Best Action應(yīng)用程序[ML應(yīng)用程序]。 每個(gè)星期，它會(huì)向我們提供要致電的客戶列表和要提供的產(chǎn)品。 真是無(wú)用 我看清單。 我與大多數(shù)客戶一起工作； 我知道他們不會(huì)購(gòu)買該產(chǎn)品……這是浪費(fèi)時(shí)間，但是我們?nèi)匀槐仨氝@樣做才能使KPI看起來(lái)更好。"

Jess剛剛描述了每個(gè)ML應(yīng)用程序都面臨的兩個(gè)獨(dú)特問題。 讓我們打開包裝：

1.機(jī)器偏差。 機(jī)器錯(cuò)誤； 我們?nèi)祟愂钦_的。 機(jī)器學(xué)習(xí)模型不是也不是完美的，即使我們希望并認(rèn)為它們是完美的。 人們?cè)谶M(jìn)行日常工作時(shí)會(huì)看到大量數(shù)據(jù)，隨后將其內(nèi)部化為直覺和知識(shí)。 但是此類數(shù)據(jù)可能無(wú)法在數(shù)據(jù)庫(kù)中正確收集或表示。 結(jié)果，機(jī)器無(wú)法充分分析并做出更好的預(yù)測(cè)。

2.人的偏見。 機(jī)器是對(duì)的； 我們錯(cuò)了。 人類有過分自信的偏見。 換句話說(shuō)，我們通常會(huì)高估預(yù)測(cè)的準(zhǔn)確性，尤其是在我們的專業(yè)領(lǐng)域。 也許，機(jī)器實(shí)際上比我們了解更多和最新的信息。 因此可以產(chǎn)生更好的預(yù)測(cè)。 但是我們比機(jī)器更信任自己。

ML社區(qū)中的我們?cè)S多人可能會(huì)立即問：我們?nèi)绾涡迯?fù)機(jī)器（例如模型）？ 公司正在招聘更好的數(shù)據(jù)科學(xué)人才，實(shí)施更嚴(yán)格的ML Ops實(shí)踐，并升級(jí)到更好的工具。 但是，這樣做只能解決機(jī)器偏差問題。 一條鏈與最薄弱的鏈接一樣牢固：ML應(yīng)用程序的用戶。

我們無(wú)法消除人為的內(nèi)在偏見，但我們可以為信任而設(shè)計(jì)。 有了信任，用戶就更愿意與機(jī)器進(jìn)行協(xié)作。 那么，我們?nèi)绾卧谟脩艉蚆L應(yīng)用程序之間建立信任？ -這是我們應(yīng)該問的問題。

讓我們來(lái)看一個(gè)具體的示例，并討論如何使用"信任時(shí)刻"分析和簡(jiǎn)單的UX技術(shù)進(jìn)行信任設(shè)計(jì)。

一步一步來(lái)

實(shí)際上，"無(wú)用的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)"是一個(gè)反復(fù)出現(xiàn)的主題。 我和杰西在不同的場(chǎng)合遇到了類似的問題。 正如我在《人工智能的最后一英里問題》中所述，歸結(jié)為人與人工智能協(xié)作的脫節(jié)。 解決問題需要采用綜合方法來(lái)解決三個(gè)方面的問題。

> Author's Analysis, The Last Mile Problems of AI

如果我們不解決這個(gè)問題怎么辦？ 如果我們不解決信任問題，每個(gè)人都會(huì)感到沮喪。 像Jess這樣的用戶將不斷抱怨" AI事物"是無(wú)用的，并且由于自偏而無(wú)法從驚人的技術(shù)中受益。 數(shù)據(jù)科學(xué)家可能會(huì)失去工作，因?yàn)槟Ｐ偷膶?shí)際結(jié)果將永遠(yuǎn)與理想的估計(jì)不符； 企業(yè)將永遠(yuǎn)無(wú)法實(shí)現(xiàn)AI的承諾價(jià)值； 最重要的是，我將不得不繼續(xù)聽Jess，我在數(shù)據(jù)科學(xué)領(lǐng)域的朋友以及我的客戶互相抱怨。

要構(gòu)建有用的ML應(yīng)用程序，我們需要采取許多步驟。 為信任而設(shè)計(jì)是偉大而簡(jiǎn)單的第一步。 現(xiàn)在就采取行動(dòng)。

建議的動(dòng)作：

· 在公司中識(shí)別面向用戶的ML用例

· 將用戶旅程和信任時(shí)刻分析整合到您的ML設(shè)計(jì)工作流程中

· 主持基于信任時(shí)刻的協(xié)作設(shè)計(jì)會(huì)議，與來(lái)自數(shù)據(jù)科學(xué)，工程和用戶組（例如前線）的代表進(jìn)行交流。

更深層次的問題與解決方案

信任的時(shí)刻＃1：讓我們看一下步驟4。這是用戶看到預(yù)測(cè)，了解預(yù)測(cè)的含義并決定是否應(yīng)該以及如何采取行動(dòng)的那一刻。

問題：用戶沒有根據(jù)預(yù)測(cè)采取行動(dòng)。 通常，用戶會(huì)看到提供或要做的事情的簡(jiǎn)單描述（請(qǐng)參見左側(cè)的插圖）。 當(dāng)用戶需要決定是否要遵循時(shí)，他們會(huì)盲目相信或傾向于當(dāng)前的判斷。 考慮到我們的過度自信偏見，我們傾向于選擇后者。

換句話說(shuō)，許多預(yù)測(cè)（數(shù)據(jù)科學(xué)家們?nèi)娜獾刈龀龅念A(yù)測(cè)）從來(lái)沒有真正"進(jìn)入市場(chǎng)"。 它們只是在用戶的屏幕上閃爍，然后消失。

這導(dǎo)致了另外兩個(gè)問題。 首先，由于錯(cuò)誤的原因，用戶與機(jī)器的交互將在數(shù)據(jù)庫(kù)中被捕獲為"失敗"。 機(jī)器認(rèn)為由于數(shù)學(xué)錯(cuò)誤，交互失敗。 但實(shí)際上，它失敗是因?yàn)橛脩魶]有采取行動(dòng)或未正確執(zhí)行。 其次，當(dāng)機(jī)器學(xué)習(xí)時(shí)，他們會(huì)學(xué)習(xí)錯(cuò)誤的現(xiàn)實(shí)。 這就是所謂的反饋回路問題（我們將在下面討論）。 結(jié)果，它造成了產(chǎn)生不合情理的預(yù)測(cè)的惡性循環(huán)，并最終破壞了用戶的信任。

這些不是預(yù)測(cè)問題。 他們是UX問題。

目標(biāo)：此步驟的主要目標(biāo)應(yīng)該有兩個(gè)：1）增加采取的行動(dòng)的百分比，2）提高行動(dòng)的質(zhì)量。

解決方案：考慮到這一點(diǎn)，我建議用上下文提示代替上下文脫離的建議。 上下文提示應(yīng)突出顯示使用人類可讀語(yǔ)言執(zhí)行ML預(yù)測(cè)的"為什么"，"什么"和"如何"（左圖）。 根據(jù)算法的類型，有多種方法可以將機(jī)器決策轉(zhuǎn)換為人類可讀的語(yǔ)言。

> Step 4 — Presenting Suggestions: The Problem (Left) and The Fix (Right); Author's analysis & expe

信任時(shí)刻＃2：讓我們看一下用戶共享筆記的第7步。

問題：用戶無(wú)法提供良好的反饋。 通常，此界面允許用戶跟蹤進(jìn)度并與其他成員進(jìn)行協(xié)調(diào)。 但是，它通常不是為了捕獲ML應(yīng)用程序的反饋而設(shè)計(jì)的（也沒有激勵(lì)用戶這樣做）。 如前所述，損壞的反饋回路或不良的反饋回路都會(huì)為ML模型從錯(cuò)誤中學(xué)習(xí)造成問題。 就像人類一樣，良好的反饋使我們能夠更快更好地學(xué)習(xí)。

目標(biāo)：在此步驟中，主要目標(biāo)是鼓勵(lì)用戶為自己和機(jī)器分享更好的反饋。

解決方案：最簡(jiǎn)單的解決方案是使用大多數(shù)人熟悉的UI元素。 這些UI元素可以幫助標(biāo)準(zhǔn)化輸入并縮短輸入信息的時(shí)間。

> Step 7 — Collecting Feedback: The Problem (Left) and The Fix (Right); Author's analysis & experie

ML應(yīng)用程序除了提供用于捕獲反饋的UX外，還可以共享其如何使用反饋來(lái)改進(jìn)未來(lái)的預(yù)測(cè)。 這可以給用戶帶來(lái)參與感和獎(jiǎng)勵(lì)。

注意：所有截圖均已保密。 它們代表具有類似應(yīng)用程序的組織中的常見元素。

信任時(shí)刻

注意：以下示例受Jess作為前線工作的啟發(fā)，該工作需要親自為客戶提供服務(wù)。 盡管它只關(guān)注一個(gè)用例，但是這些原理適用于人類需要從ML應(yīng)用程序中獲取信息并決定如何采取行動(dòng)的許多過程。

為了更清楚，更具體地了解問題，首先，我們應(yīng)該看一下"信任時(shí)刻"，即人們需要基于對(duì)機(jī)器的信任進(jìn)行判斷時(shí)的瞬間。 我們可以通過使用用戶旅程分析來(lái)突出顯示這些時(shí)刻。

想象一下，當(dāng)您去一家銀行的分行與一名顧問會(huì)面時(shí)，這是從顧問的角度來(lái)看的典型旅程-ML應(yīng)用程序的用戶：

> Moments of Trust Analysis, Author's Experience

了解信任的時(shí)刻有助于我們找到用戶可能無(wú)法接受機(jī)器學(xué)習(xí)系統(tǒng)的預(yù)測(cè)時(shí)的特定壓力點(diǎn)。 讓我們解開每個(gè)信任時(shí)刻揭示的問題。

結(jié)論

許多ML應(yīng)用程序被用戶認(rèn)為是無(wú)用的，不是因?yàn)轭A(yù)測(cè)的準(zhǔn)確性，而是因?yàn)槿藶槠姟?作為ML應(yīng)用程序的設(shè)計(jì)者和開發(fā)者，我們有責(zé)任進(jìn)行信任設(shè)計(jì)。

解決方案通常很簡(jiǎn)單。 通過確定信任時(shí)刻，我們可以設(shè)計(jì)有效的用戶體驗(yàn)，以提供更多的上下文預(yù)測(cè)，并閉合反饋循環(huán)，從而實(shí)現(xiàn)持續(xù)改進(jìn)。

實(shí)際上，我們，人類和機(jī)器都不完美。 為信任而設(shè)計(jì)不僅提供快速解決方案，還為人類和機(jī)器架起了一座橋梁，以校準(zhǔn)我們的信任并共同提高。