GitHub基于大語(yǔ)言模型構(gòu)建Copilot的經(jīng)驗(yàn)和教訓(xùn)

GitHub 在一篇文章中分享了他們?cè)跇?gòu)建和擴(kuò)展 GitHub Copilot——一個(gè)使用大語(yǔ)言模型的企業(yè)應(yīng)用——過(guò)程中所學(xué)到的經(jīng)驗(yàn)教訓(xùn)。

在 GitHub 的一篇博文中，GitHub 的 AI 產(chǎn)品負(fù)責(zé)人 Shuyin Zhao 描述了他們?nèi)绾卧谌甓嗟臅r(shí)間里歷經(jīng)三個(gè)階段——“Find it”、“Nail it”和“Scale it”——成功推出了 GitHub Copilot。

在“Find it”階段，他們專注于找到 AI 可以有效解決的問(wèn)題，通過(guò)一種足夠?qū)Ｗ⒌姆绞娇焖偻葡蚴袌?chǎng)，并且足以產(chǎn)生影響。

這包括確定到底是為了誰(shuí)而解決問(wèn)題——幫助開發(fā)人員更快地編寫代碼，減少上下文切換。此外，他們只關(guān)注 SDLC 的一部分：IDE 中的編碼功能，并結(jié)合當(dāng)下的 LLM 的能力。這樣他們就可以專注于讓工具提供代碼建議，而不是生成全部代碼。他們還致力于確保他們所做的是對(duì)現(xiàn)有工具進(jìn)行增強(qiáng)，不要求開發(fā)人員改變已有的工作流程。

“在設(shè)計(jì)產(chǎn)品時(shí)，我們不僅要考慮輸出需要人類進(jìn)行評(píng)估的模型，也要考慮正在學(xué)習(xí)如何與 AI 互動(dòng)的人類?！?/p>

——Idan Gazit，GitHub Next 高級(jí)研發(fā)總監(jiān)

在“Nail it”階段，他們基于從 A/B 測(cè)試中獲得的真實(shí)用戶反饋進(jìn)行迭代式產(chǎn)品開發(fā)。他們進(jìn)行快速迭代、試錯(cuò)和學(xué)習(xí)。在使用 Copilot 的 Web 接口進(jìn)行了簡(jiǎn)短的實(shí)驗(yàn)后，他們將重點(diǎn)轉(zhuǎn)向了 IDE，以減少在編輯器和 Web 瀏覽器之間切換，并讓 AI 在后臺(tái)運(yùn)行。在進(jìn)一步的迭代中，通過(guò)觀察開發(fā)人員在編碼時(shí)打開的多個(gè) IDE 選項(xiàng)卡，GitHub Copilot 可以同時(shí)處理多個(gè)文件。

隨著生成式 AI 的迅速發(fā)展，他們開始重新審視過(guò)去所做出的決策，技術(shù)的進(jìn)步和用戶對(duì)它的熟悉程度有時(shí)會(huì)讓過(guò)去的決策變得過(guò)時(shí)。于是，提供交互式聊天的想法開始活躍起來(lái)，他們需要基于沉沒(méi)成本謬論改變決策，例如，當(dāng)大語(yǔ)言模型的進(jìn)步允許一個(gè)模型處理多種語(yǔ)言時(shí)，就需要改變?yōu)槊糠N語(yǔ)言構(gòu)建 AI 模型的想法。

最后，在“Scale it”階段，他們致力于確保 AI 模型結(jié)果的一致性、管理用戶反饋，并定義了關(guān)鍵性能指標(biāo)，以實(shí)現(xiàn)應(yīng)用程序的普遍可用性 (GA)。他們還考慮了安全性和 AI 責(zé)任問(wèn)題，使用過(guò)濾器來(lái)避免為用戶建議不安全或具有冒犯性的代碼。

改進(jìn)質(zhì)量和可靠性方面的工作包括緩解大語(yǔ)言模型的幻覺(jué)，即答案可能是不可預(yù)測(cè)的，并且每次查詢都有所不同。解決這個(gè)問(wèn)題的策略包括修改發(fā)送給大語(yǔ)言模型的參數(shù)，以減少響應(yīng)的隨機(jī)性，并緩存頻繁的響應(yīng)以減少變化和提高性能。

GitHub 使用等待列表來(lái)管理技術(shù)預(yù)覽版的早期用戶。這意味著他們可以獲得來(lái)自一小群早期采用者的評(píng)論和反饋。對(duì)真實(shí)用戶反饋的深入分析使得 GitHub 團(tuán)隊(duì)能夠識(shí)別出有問(wèn)題的更新，并改進(jìn)產(chǎn)品的關(guān)鍵性能指標(biāo)，例如開發(fā)人員保留了多少由 Copilot 生成的代碼。

最后，他們確保開發(fā)人員生成的代碼是安全的，并通過(guò)過(guò)濾器來(lái)拒絕可能引入安全問(wèn)題 (如 SQL 注入) 的代碼建議。社區(qū)也提出了一些問(wèn)題，例如 Copilot 的代碼建議與公開的代碼相重疊可能會(huì)產(chǎn)生許可問(wèn)題或其他影響。他們?yōu)榇颂峁┝艘粋€(gè)代碼參考工具，幫助開發(fā)人員做出明智的選擇。

在市場(chǎng)策略方面，他們向一些有影響力的社區(qū)成員展示了技術(shù)預(yù)覽版，并且面向的是個(gè)人用戶而不是企業(yè)。這有助于在正式發(fā)布時(shí)獲得廣泛的支持，從而促使企業(yè)采用它。

關(guān)鍵在于展示專注于特定問(wèn)題的重要性、整合實(shí)驗(yàn)結(jié)果和用戶反饋，以及在應(yīng)用擴(kuò)展時(shí)優(yōu)先考慮用戶需求。

由于生成式 AI 的采用仍處于早起階段，GitHub 也在密切關(guān)注市場(chǎng)對(duì)生成式 AI 工具的需求。感興趣的讀者可在 GitHub 的博客上閱讀全文。