AI助力初創(chuàng)企業(yè)：運(yùn)用機(jī)器學(xué)習(xí)解決問題

簡介

初創(chuàng)企業(yè)將一些最具創(chuàng)新性的產(chǎn)品和服務(wù)推向市場，但通常要少量工具、手動操作以及不斷拓展專業(yè)知識的人員。人工智能 (AI)，尤其是機(jī)器學(xué)習(xí) (ML) 和深度學(xué)習(xí) (DL)，正在通過自動化流程和減少工作量，助力初創(chuàng)企業(yè)解決這些難題及其他問題。在這類初創(chuàng)企業(yè)當(dāng)中，AI不是產(chǎn)品的一部分，它的實(shí)施最終是為了幫助初創(chuàng)企業(yè)解決業(yè)務(wù)問題、改進(jìn)流程和提升企業(yè)的潛在價(jià)值。

有時(shí)，自動化可以建立在以人為主導(dǎo)的流程的專業(yè)知識之上手動執(zhí)行。但是，當(dāng)可用數(shù)據(jù)的數(shù)量、復(fù)雜性或可變性使得這種方法捉襟見肘時(shí)，機(jī)器學(xué)習(xí)可以帶來真正的實(shí)惠。本文旨在深度剖析如何確定AI輸入和輸出、使用數(shù)據(jù)集、探索數(shù)據(jù)可能性以及最終確定AI模型（圖1）。

圖1：這些步驟強(qiáng)調(diào)運(yùn)用機(jī)器學(xué)習(xí)解決初創(chuàng)企業(yè)常見問題的過程。（圖源：作者）

第1步：識別輸入、輸出和指標(biāo)

該過程的第一步是確定算法的輸入和輸出，以及選擇正確的指標(biāo)衡量其性能。這些決策應(yīng)該受到業(yè)務(wù)目標(biāo)和技術(shù)限制的影響。例如，數(shù)據(jù)的可用性和數(shù)量以及隱私要求會影響數(shù)據(jù)輸入，文件格式的一致性和存儲數(shù)據(jù)的需求也會帶來影響。

在大多數(shù)情況下，數(shù)據(jù)輸入淺顯易懂，例如文本、圖像或數(shù)字值，在使用前只需進(jìn)行少量的預(yù)處理。然而，可能需要對結(jié)果數(shù)據(jù)進(jìn)行預(yù)處理，以產(chǎn)生單個值來標(biāo)記每個輸入數(shù)據(jù)點(diǎn)。例如，一家企業(yè)可能希望對通過電子郵件收到的客戶服務(wù)投訴進(jìn)行分類，或者可能希望根據(jù)買家購物車中的商品推薦其他商品。無論哪種情況，結(jié)果數(shù)據(jù)都需要進(jìn)行調(diào)整，以標(biāo)記這些電子郵件投訴的緊急程度，或者識別與產(chǎn)品圖像匹配的產(chǎn)品代碼。

可以基于數(shù)據(jù)特定結(jié)果達(dá)到一定準(zhǔn)確性的重要性，來選擇衡量模型成功與否的正確指標(biāo)（圖2）。盡管追求高精度似乎合乎邏輯，卻并非金標(biāo)準(zhǔn)。例如，在欺詐檢測中，識別潛在的欺詐比正確預(yù)測出每個事件更為重要。根據(jù)經(jīng)驗(yàn)，如果選擇的指標(biāo)有利于提升一類鮮少發(fā)生事件的準(zhǔn)確性，許多非事件也可能會標(biāo)記出來。在這種情況下，為避免損害檢測欺詐性交易的能力，人機(jī)協(xié)同 (HitL) 最終敲定結(jié)果可能會有所幫助。

在選擇指標(biāo)時(shí)，值得調(diào)查其他人做了什么和推薦什么，以及開始數(shù)據(jù)聚合和清洗過程。在某些情況下，數(shù)據(jù)尚未處于您需要的狀態(tài)，或者可以調(diào)整數(shù)據(jù)收集，使之更加“適合AI”。

第二步：數(shù)據(jù)準(zhǔn)備工作

通常，AI模型期望數(shù)據(jù)始終處于特定格式。這一步需要清洗和轉(zhuǎn)換數(shù)據(jù)，以滿足AI模型和目標(biāo)所需的標(biāo)準(zhǔn)，整個過程無比費(fèi)時(shí)，且異常復(fù)雜。通常會請一名數(shù)據(jù)工程師，處理基礎(chǔ)架構(gòu)、存儲空間和用于數(shù)據(jù)提取的管道。

首先，每個輸入都需要一個您想要預(yù)測的對應(yīng)標(biāo)簽或目標(biāo)。例如，如果有100張狗的圖像，則需要將每張圖像標(biāo)識為一條狗。這可以通過簡單的方法來實(shí)現(xiàn)，例如，使用CSV文件或?qū)⑺鼈兇鎯υ诜Q為“狗”的單獨(dú)文件夾中。幾乎所有的分類算法都認(rèn)為預(yù)測目標(biāo)也是數(shù)值，二進(jìn)制或離散類別?！笆腔蚍瘛笔嵌M(jìn)制類別的示例，而對象預(yù)測中的許多類（例如，狗、貓或鳥）則是離散類別的示例。預(yù)測值而不是類別（稱為回歸），必須將目標(biāo)標(biāo)準(zhǔn)化為0或1。復(fù)雜的AI方法也需要同樣復(fù)雜的類別，但是無論如何，所有內(nèi)容都必須保持一致，且研究相應(yīng)的數(shù)據(jù)結(jié)構(gòu)非常重要。

此外，數(shù)據(jù)點(diǎn)也需要進(jìn)行標(biāo)準(zhǔn)化。對于圖像，這意味著它們至少大小相同，且不會大到無法用AI模型處理。對于文本，這可能意味著縮短或填充短語，使它們具有相同的長度，也可能意味著短語標(biāo)記化，即，用數(shù)字替換每個單詞。在此階段，考慮分類和數(shù)據(jù)的各種選項(xiàng)以確保在最初選擇的輸入和輸出未能產(chǎn)生有意義的結(jié)果或證明噪聲太大的情況下，可以其他方式使用數(shù)據(jù)。

最后，應(yīng)該清洗數(shù)據(jù)集，以確保數(shù)據(jù)正確、一致和可用。這可能包括識別和糾正數(shù)據(jù)集的損壞、不完整、重復(fù)或不相關(guān)的部分。數(shù)據(jù)清洗通常比開發(fā)新算法要花費(fèi)更多的時(shí)間，因此，請記住80-20規(guī)則：80％的數(shù)據(jù)需要20％的工作量。在項(xiàng)目的初始階段，應(yīng)當(dāng)使數(shù)據(jù)易于處理，而不必?fù)?dān)心需要強(qiáng)大的系統(tǒng)清洗每一條數(shù)據(jù)。

第3步：瀏覽數(shù)據(jù)并確認(rèn)選擇

探索性數(shù)據(jù)分析 (EDA) 旨在識別底層模式，發(fā)現(xiàn)異常并檢查數(shù)據(jù)集中的假設(shè)。EDA可以作為數(shù)據(jù)準(zhǔn)備工作的一部分完成；但是，其通常伴隨著數(shù)據(jù)清洗。EDA中最重要的任務(wù)包括分析

數(shù)據(jù)缺失，這可能影響模型的性能。根據(jù)必填字段中缺失的百分比，可能丟棄這些數(shù)據(jù)點(diǎn)，執(zhí)行值的插值，或者在沒有足夠有用的信息時(shí)放棄使用該信息。

異常數(shù)據(jù)：區(qū)分異常數(shù)據(jù)是噪聲還是您想要捕捉的實(shí)際事件至關(guān)重要。例如，將過高或過低的錯誤值與數(shù)據(jù)看起來也頗為相似的罕見值（如欺詐或機(jī)器故障）進(jìn)行比較。

數(shù)據(jù)標(biāo)簽噪聲：標(biāo)簽噪聲來自錯誤標(biāo)記的數(shù)據(jù)點(diǎn)，會妨礙AI學(xué)習(xí)數(shù)據(jù)和目標(biāo)之間適當(dāng)相關(guān)性的能力。

根據(jù)數(shù)據(jù)量的不同，或能糾正這些錯誤，但有時(shí)可能需要選擇不同的選項(xiàng)作為預(yù)測目標(biāo)。

第4步：研究算法并準(zhǔn)備資源

接下來，需要研究AI本身。始終對可能適合該任務(wù)的可用算法進(jìn)行初步調(diào)查（圖3）。借助大量資源，包括預(yù)先訓(xùn)練好的模型和詳細(xì)說明特定任務(wù)算法的研究文章，可以充分利用現(xiàn)有的資源，而不必重復(fù)別人的勞動、做無用功。

圖3： 不同機(jī)器學(xué)習(xí)目標(biāo)的算法/方法類型的可視化指南。（圖源：Toward Data Science）

此外，根據(jù)每一類可用的數(shù)據(jù)量，決定需要機(jī)器學(xué)習(xí) (ML) 算法還是深度學(xué)習(xí) (DL) 算法。通常，深度學(xué)習(xí)效果最好是每個類標(biāo)簽有5,000多個示例。如果每個類的例子較少，該模型可能只會學(xué)習(xí)您的訓(xùn)練數(shù)據(jù)，而無法根據(jù)新的真實(shí)世界信息正確預(yù)測結(jié)果。在DL出現(xiàn)之前，ML已使用了很長時(shí)間，且在較小的數(shù)據(jù)集上產(chǎn)生了非常好的結(jié)果；但是，數(shù)據(jù)點(diǎn)需要更多的人工工作，這個過程通常稱為特征工程。

根據(jù)數(shù)據(jù)集和每個數(shù)據(jù)點(diǎn)的大小（請記住，即使是300 × 300像素的圖像也需要花費(fèi)很長時(shí)間進(jìn)行訓(xùn)練！），您應(yīng)該投資提升一些算力：通過現(xiàn)有平臺或添置內(nèi)部圖形處理器 (GPU)。通常，對于初次接觸的項(xiàng)目，建議使用前者，因?yàn)槿绻?xiàng)目行不通，您還可以終止訪問。鑒于Amazon Web Services (AWS)、Google Cloud Platform (GCP) 和Microsoft Azure等平臺上可用的AI服務(wù)的成熟性和完整性，在沒有專門的“AI人員”甚至沒有任何編碼的情況下，也可以渡過這一階段。它們對特定任務(wù)所產(chǎn)生的效果，將影響您決定是否為項(xiàng)目聘請外援。

第5步：基準(zhǔn)測試、迭代和最終確定模型

無論采用何種機(jī)器學(xué)習(xí)類型（輸入型還是學(xué)習(xí)型），Model Zoo、Tensorflow Hub，Google Cloud Platform或AWS等網(wǎng)站都可能有經(jīng)過預(yù)先訓(xùn)練的解決方案，并已經(jīng)學(xué)會了根據(jù)數(shù)據(jù)進(jìn)行一些預(yù)測。重要的是，還可以通過微調(diào)執(zhí)行類似的任務(wù)（稱為轉(zhuǎn)移學(xué)習(xí)）重用這些模型，例如，使用經(jīng)過訓(xùn)練的模型預(yù)測圖像中的對象，以便在給定較少數(shù)據(jù)的情況下只預(yù)測家具的類型，即使它在第一輪訓(xùn)練中沒有看到這些物品。轉(zhuǎn)移學(xué)習(xí)是一種非常常見的方法，可以在利用他人工作的同時(shí)獲得巨大的效益，而不需要如此豐富的數(shù)據(jù)。通常，使用這些解決方案需要掌握Python的基本編程技能，但也需要其他技能。

您還可以在數(shù)據(jù)特征的子集上使用更簡單的機(jī)器學(xué)習(xí)算法，作為確定數(shù)據(jù)中信號的粗略方法。一旦確定了開箱即用方法的工作效果，就可以開始迭代過程。具體是要改進(jìn)嘗試的模型還是嘗試定制模型，取決于初創(chuàng)企業(yè)要求的閾值，以確保此任務(wù)的準(zhǔn)確性。

第六步：準(zhǔn)備交工！

典型的AI項(xiàng)目流程到此結(jié)束。簡而言之，就是您需要選擇輸入、輸出和性能指標(biāo)，然后按順序獲取數(shù)據(jù)并完成探索性數(shù)據(jù)分析，繼而確認(rèn)您在第一步中的選擇。 之后，開始模型開發(fā)和迭代階段。 一旦對模型性能感到滿意，且其得到了所需的結(jié)果，初創(chuàng)企業(yè)就可以開始付諸生產(chǎn)，享受這種新發(fā)現(xiàn)的自動化功能所帶來的利好。

生產(chǎn)本身就是一個過程，也需要多個步驟和流程。您需要確定如何彌合模型性能和所需精度之間的差異，如數(shù)據(jù)部分所述。其他考慮因素包括加強(qiáng)數(shù)據(jù)清洗軟件，決定數(shù)據(jù)集和模型的版本控制過程或工具。敬請關(guān)注第2部分，深度探秘在生產(chǎn)中交付AI所需的一切！

審核編輯：郭婷