您的位置: 首頁 >科技 >

想衡量您的企業(yè)AI計劃嗎 那你應(yīng)該從模型債務(wù)開始

2022-06-22 19:24:52 編輯:邢晴堂 來源:
導(dǎo)讀 在討論的第一部分中,我介紹了模型債務(wù)的基本概念,以此作為衡量單個模型和AI程序總體有效性的一種方法。在第二部分中,我將通過一個簡

在討論的第一部分中,我介紹了模型債務(wù)的基本概念,以此作為衡量單個模型和AI程序總體有效性的一種方法。在第二部分中,我將通過一個簡短的示例來說明如何在實踐中計算模型債務(wù)。

計算模型生產(chǎn)債務(wù)和模型價值損失需要以下輸入:

目標(biāo)生產(chǎn)天數(shù)(TPD),是從數(shù)據(jù)科學(xué)團隊將其發(fā)布到生產(chǎn)開始到模型在其整個生命周期中要生產(chǎn)的天數(shù)的計數(shù)。評估TPD的關(guān)鍵因素包括:

•“加載鎖定”(LTL)時間,這是數(shù)據(jù)科學(xué)團隊將模型視為“準(zhǔn)備部署”與首次在生產(chǎn)中部署模型之間的預(yù)期時間。鎖定加載時間越短,模型對業(yè)務(wù)的貢獻就越快。

實際的鎖定加載時間將取決于ModelOps流程在企業(yè)AI架構(gòu)師定義的生命周期步驟中移動模型的效率,包括技術(shù)檢查(例如,安全掃描,性能驗證等),治理要求(例如,法規(guī)遵從性,可解釋性報告等)和業(yè)務(wù)考慮因素(例如,關(guān)于KPI的協(xié)議,部門簽字等)。

模型的目標(biāo)刷新率(TRR),它確定兩次模型刷新之間的理想時間。每個模型都有刷新節(jié)奏,與模型目標(biāo)刷新率的任何偏差都會降低模型的性能。

對于許多模型,關(guān)注點正在迅速刷新,以跟上用于訓(xùn)練模型的數(shù)據(jù)與當(dāng)前現(xiàn)實或“運行狀況”之間的差異。例如,信用卡客戶獲取模型僅在四分之一后就可能損失其價值的20%至30%或更多,而保險定價模型在短短30天內(nèi)可能損失其價值的30%。但是,過于頻繁地刷新模型也會降低模型性能。關(guān)鍵是要確保刷新按照數(shù)據(jù)科學(xué)團隊和企業(yè)AI架構(gòu)師同意的生命周期進行。

•實際生產(chǎn)天數(shù),表示模型部署和運行期間任何TPD的一部分。

•降級因子,是由于缺少目標(biāo)刷新率而導(dǎo)致的模型性能下降。對于根據(jù)目標(biāo)時間表更新的模型,這表示為每日功效相對于目標(biāo)功效的百分比下降。

•模型每日價值,這是模型每天或每周的預(yù)期價值。例如,度量可以是每天收入,基于模型輸出所依賴的業(yè)務(wù)決策,無需人工干預(yù)即可處理的欺詐案件或客戶服務(wù)案件。價值的短期度量標(biāo)準(zhǔn)(例如,收入或儲蓄/天)對于花費大量時間才能到期的模型(例如金融服務(wù)中的某些類型的模型)可能沒有意義。對于這些類型的模型,需要對價值進行更復(fù)雜的評估,這將在下一篇文章中介紹。

定義好這些參數(shù)后,我們就可以開始評估模型債務(wù)了。首先,為模型的整個生命周期定義目標(biāo)生產(chǎn)方案,以建立與實際性能進行比較的基準(zhǔn)。然后,在生產(chǎn)中連續(xù)監(jiān)視模型,并使用結(jié)果計算瞬時和趨勢模型生產(chǎn)債務(wù)和模型價值損失。

假設(shè)數(shù)據(jù)科學(xué)團隊開發(fā)了一種用于檢測欺詐性保險索賠的模型。經(jīng)過測試數(shù)據(jù)的訓(xùn)練后,該模型證明了能夠以與人類調(diào)查員相同的準(zhǔn)確性檢測欺詐行為,從而實現(xiàn)了全自動索賠處理并每天為企業(yè)節(jié)省100,000美元。假設(shè)目標(biāo)模型鎖定加載時間為五天,目標(biāo)刷新率為每五天,并且在目標(biāo)刷新周期之后的每一天,模型的價值下降2.5%。在“理想”情況下,模型在發(fā)布后的第五天進行部署,然后每隔五天刷新一次,該模型將在60天的時間內(nèi)提供每天100,000美元的價值,為期55天,共計550萬美元。值。

現(xiàn)在,讓我們考慮一種情況,其中ModelOps處理失敗,并且實際結(jié)果偏離理想狀態(tài)。組織效率低下會導(dǎo)致模型的初始部署延遲15天,并且其他因素會使刷新率從5天增加到15天。影響如下:

•根據(jù)目標(biāo)生產(chǎn)情況,該模型應(yīng)該在第五天進入生產(chǎn),但要到第20天才部署,因此該模型的生產(chǎn)債務(wù)在第五天到第20天之間每天累積累積為100%。


免責(zé)聲明:本文由用戶上傳,如有侵權(quán)請聯(lián)系刪除!

精彩推薦

圖文推薦

點擊排行

2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082   備案號:閩ICP備19027007號-6

本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。