全局總覽
從研發層面進行統計瀏覽,以全局視角,查看當前特征、模型研發情況。
以機器學習模型研發項目的總類,進行模型各維度的統計信息展示。
以特征研發項目的進度狀態,展示研發出的項目總數、研發階段統計、對外輸出數據集總數等重要信息。
基于平臺中統一納管的模型,進行總覽展示、及相關管理操作。
平臺中除了管理本平臺產出模型以外,還支持對第三方模型、自研模型的管理,通過總覽頁對模型來源、模型分類、模型等級等信息進行統計展示。
平臺內納管的模型,可通過統一管理頁面,進行進一步管理操作,如模型的查看、發布上線等。
針對已上線的模型,分應用場景進行應用層面的合并展示。
按日統計在線應用狀態,調用次數、正異常狀態等信息。
按日統計批量推理服務的狀態,展開相關應用信息展示。
已上線的模型,支持以模型為維度進行,統一監控管理、包括模型多級預警。
統一所有已上監控的預警信息,分高中低危進行分別展示,直接向運維人員反饋當前模型運行性能狀況及預警情況。
展示各模型穩定性等相關指標,針對模型間可橫向比較的指標進行同一面板展示。
模型評估驗證
對于平臺內統一納管的模型,使用驗證評估通過后,即可直接在平臺內進行發布,并直接對外提供服務。
測試模型可用性,包括模型整體發布為服務是否可用、模型性能驗證,輸出相關模型報告。
支持模型使用多個時期數據集,進行模型驗證,及相關報告展示。
支持模型以版本迭代方式進行管理,以及多版本間模型,可進行版本比對,選出最優模型。
當原有模型已發生比較大的偏移時,在對此模型重新迭代建模優化后,支持對優化后的模型與線上模型做比對。
對于另外選擇新的模型算法進行新的模型研發后,可進行新老模型的比對,選擇最優模型。
支持模型以不同客群、渠道、閾值等方式對模型的穩定性,及表現情況進行比較。
支持針對不同客群,同一模型的表現情況,進行深入比較,包括PSI,AUC等模型指標比較。
支持對同一批數據,進行閾值縮放測試模型性能;如將年齡控制在30歲以下,查看模型指標波動情況等。
模型監控預警
支持以模型為維度進行模型指標監控,包括模型PSI,AUC,GINI等指標。
除了穩定性指標如PSI值以外,還支持在目標值有回流的情況下,對模型性能指標的進一步監控,包括AUC,GINI等。
支持以自定義方式定義模型監控指標,并支持相關預警處置設置。
支持模型內特征做監控,包括特征分布波動,IV值、T檢驗、卡方檢驗等指標監控。
支持特征分布統計,以及在目標值回流后的相關指標監控,包括WOE值、卡方、T檢驗等指標的監控。
支持以自定義形式定義監控指標,及相關監控預警設置。
在定義監控后,可使用監控指標進行進一步的監控預警及處置,包括預警通知、自迭代建模等。
支持對模型監控指標、特征監控指標的預警條件組合,以及預警等級、預警內容的設置。
支持不同等級預警情況,設置不同的處置方式,包括觸達不同的人、觸發處置流程。
通過文件方式回流Y值,或通過定時調度方式持續從數倉或其它區域將Y值進行回流。
支持通過頁面方式,連接指定數據源或直接上傳文件的方式,對目標值進行一次性的回流操作。
支持持續從指定的數據源,拉取最新的目標值進行回流的操作。
賦能模型統一化、流程化管理
深入模型應用需求,從模型需求階段就進行介入管理,輔助模型更好落地
支持特征處理操作,底層切入貼源區數據、數倉數據,對上直接對建模供數
可視化建模、NOTEBOOK式建模統一整合,兩種方式隨時切換
校驗模型有效性、可用性,為上線部署、運行監控提供參考點
在納管范圍的模型,支持一鍵式部署上線,全封閉式容器化管理,彈性擴容、環境打包一應俱全
支持使用真實數據,進行AB流量測試,適配模型完全切換前的過渡階段
支持單次的批量調度,也支持持續的批量運行,供數給下游系統
一鍵發布實時服務,直接對外提供實時服務
支持模型、特征的穩定性、表現性監控,及監控后的預警處置
嵌入流程審批環節,模型當前狀態盡在掌控
