星環(huán)科技推企業(yè)級AI能力運營平臺Sophon MLOps 助推AI模型落地

在國內政策引導、企業(yè)產業(yè)智能升級的原生需求和疫情等多重因素作用下，中國的人工智能產業(yè)化應用在過去的5年間呈現(xiàn)出無可比擬的增長速度。然而隨著人工智能和機器學習在企業(yè)各個業(yè)務層面的應用日漸深化，模型類型和數(shù)量也都呈快速增長態(tài)勢。由于不同模型之間的訓練框架、部署模式、輸入輸出都不相同，導致異構模型難以被統(tǒng)一管理。同時，各部門間缺少統(tǒng)一的模型從開發(fā)到上線的標準化流程規(guī)范，導致模型資產散落在各個業(yè)務部門，難以被統(tǒng)一納管為企業(yè)數(shù)據資產。不斷增加的模型管理成本和運維復雜度，以及生產環(huán)境的不可控風險，給企業(yè)模型管理帶來了一系列挑戰(zhàn)。

為解決AI落地難的問題，星環(huán)科技的AI團隊從用戶需求端出發(fā)，傾力研發(fā)了一款基于云原生架構的企業(yè)級AI能力運營平臺Sophon MLOps，助推AI模型落地。Sophon MLOps 是基于云原生架構構建的企業(yè)級AI能力運營平臺，聚焦于機器學習模型全生命周期中的模型管理、模型部署、模型監(jiān)控預警、模型評估和模型迭代等關鍵環(huán)節(jié)。通過統(tǒng)一納管、統(tǒng)一運維、統(tǒng)一應用、統(tǒng)一監(jiān)控、統(tǒng)一評估、統(tǒng)一解釋，賦予企業(yè)客戶易用、高效且安全可靠的AI能力運營服務，協(xié)助客戶規(guī)?；芾砣找嬖鲩L的機器學習模型，提升模型使用效率，降低模型集成管理成本，控制模型生產環(huán)境風險。

Sophon MLOps針對企業(yè)AI運營的痛點，圍繞企業(yè)AI模型接入、運營管理、持續(xù)訓練的全生命周期，分別提供規(guī)?；晒芾?、高效模型推理、模型監(jiān)控預警、模型性能評估、隱私安全保障等功能，為企業(yè)的AI日常運營插上翅膀。

星環(huán)科技9

此次更新，MLOps升級至v1.1版本，在已有功能上新增功能如下：

新增模型服務批量預測功能：完善了應用場景，功能覆蓋范圍從原有的僅支持在線實時預測，升級為同時支持在線與離線兩種模式。離線批量預測功能支持通過直接連接數(shù)據庫，獲取批量數(shù)據進行模型預測，并將結果寫回相應庫表內，實現(xiàn)閉環(huán)；

新增模型服務數(shù)據偏移指標監(jiān)控功能：強化了模型服務在監(jiān)控預警方面的能力，致力于幫助用戶更全面掌握機器學習模型服務的運行狀態(tài)，并通過自定義監(jiān)控指標及時發(fā)現(xiàn)處理異常情況，規(guī)避因數(shù)據偏移等原因引起的風險；

新增模型服務監(jiān)控指標配置及告警功能；

新增服務發(fā)布審批流程管理；

新增可解釋機器學習XAI模塊（MVP版）：可處理數(shù)據分析過程中的相關性解釋、過程性解釋、推理性解釋和因果性解釋問題。用戶可以精細地分析特征與結果之間的影響關系，幫助用戶精準地提升DataCentric-AI數(shù)據治理能力，針對性優(yōu)化模型精度，幫助用戶快速定位、優(yōu)化影響業(yè)務結果的重要因子，從而促使業(yè)務成功。

在金融科技行業(yè)，隨著監(jiān)管政策的不斷收緊，銀保監(jiān)會于2020年7月正式出臺了《商業(yè)銀行互聯(lián)網貸款管理行辦法》，要求商業(yè)銀行落實模型從開發(fā)測試、評審、監(jiān)測到退出的全生命周期的風險管理。一方面為滿足監(jiān)管合規(guī)要求，另一方面提升行內風險模型的管理效率，銀行要求對模型全生命周期進行統(tǒng)一管理。此外，隨著行內業(yè)務的持續(xù)發(fā)展，大量異構AI模型資產散落在各部門，一旦需要使用，調參和部門間協(xié)調均使得模型部署周期拉長。

Sophon Base 3.1使用MLOps搭建了全行統(tǒng)一的AI模型管理平臺，快速接入行內積累的不同框架或平臺訓練生成的大量模型文件，按版本集成管理模型資產；并建立標準化流程，統(tǒng)一構建模型推理邏輯的方式，支持零代碼一鍵部署模型應用?；谠圃A架構，打通模型全生命周期流程，實現(xiàn)了銀行對模型應用的統(tǒng)一運維和監(jiān)控。

平臺上線后，Sophon Base集成了全行多種算法框架生成的數(shù)百個機器學習模型。部署模型應用的平均時間由1.5天降至0.5小時，配置成本降低近80%，使模型的平均迭代周期由1月降至1周。模型效率方面，支持上百個模型預測服務同時在線，單條數(shù)據實現(xiàn)毫秒級響應。

Sophon MLOps打通了AI的全生命周期，為企業(yè)的各類用戶角色搭建了統(tǒng)一的AI協(xié)作平臺。對于企業(yè)而言，MLOps規(guī)模化集成管理了多源異構的機器學習模型，并提供高效且保障隱私安全的模型推理、監(jiān)控預警及性能評估服務；對用戶而言，能感受到操作上的快捷，AI應用與部署更是如虎添翼。未來，MLOps將繼續(xù)迭代更加豐富的功能，賦能企業(yè)AI更快、更好地落地。