知乎用戶,接待訂閱同名微信公家號【景象形象學渣】
空報率與漏報率是景象形象行業中常用來評估預告模子機能的指標。評估指標的分歧本色上反映了使命需求的分歧,是以分歧的指標在對統一預告模子進行評估時將會獲得分歧的成果。這就意味著預告模子的‘黑白’往往是相對的,好的模子不僅取決于數據和算法自己,還取決于是否契合現實問題需要。那么何時利用空報率,又何時利用漏報率呢?本篇將經由過程混合矩陣慢慢帶大師領會精準度、查準率等多種評估指標,以此深切熟悉空報率與漏報率的寄義,并供給場景實例讓讀者體味評估指標若何反映現實使命需求。(文末順帶供給混合矩陣的 python 可視化代碼便利大師利用。)
一、混合矩陣
混合矩陣也稱誤差矩陣,經常被用來對分類問題進行誤差闡發。為便于理解,我們以二分類預告——晴雨預告為例,將其所有可能呈現的預告景象與實況成果兩兩進行交叉組合,獲得如下四個根本項。
混合矩陣的四個根本項
真正例(True Positive):預告有雨 實況有雨
真反例(True Negative):預告無雨 實況無雨
假正例(False Positive):預告有雨 實況無雨(納偽,第二類錯誤)
假反例(False Negative):預告無雨 實況有雨(棄真,第一類錯誤)
將上述各項的計數以矩陣的體例呈現(其實就是一張表格啦),就獲得了該預告模子的混合矩陣。矩陣中的每一列代表展望類別,每列的數值和代表預告該類此外總次數;而每一行代表實況不雅測的類別,每行的數值和代表了該類別實況中呈現的總次數。
晴雨預告的混合矩陣
直不雅可見,當混合矩陣對角線數值越大時,模子總體機能越好。將其心猿意馬量化,將矩陣中 TP 與 TN 的代數和除以矩陣所有元素的代數和稱之為精準率(Accuracy)。
將 FN 與 FP 的代數和除以矩陣所有元素的代數和稱之為錯誤率(Error Rate)。
二、細分評價指標
從界說式可知,精準率和錯誤率的巨細受到多個變量的約束,難以精準契合現實問題需要,需要引入細分指標。
1.查準率與空報率
查準率又可稱為擊中率、精確率(Precision,為了便利記憶可記英文,以免與精準率混合),其界說為真正例在預告正例中地點的占比。查準率是相對預告而言的,數值越大暗示正例呈現的可能性越大,預告可托度越高。(文末降水查準率為 259/(259+235)=0.524)
空報率與查準率有聯系關系,被界說為假正例在所有預告正例中地點的占比,數值越大暗示狼來了的可能性越大,由界說可知,空報率=1- 擊中率。
2.查全率與漏報率
查全率又可稱為召回率(recall),其界說為真正例在所有實況為正例中的地點占比。查全率是相對實況而言的,數值越大暗示越疏而不漏,呈現喪家之犬的可能性越小。(文末降水查全率為 259/(259+242)=0.517)
漏報率與查全率有聯系關系,被界說為假反例在所有實況為正例中的地點占比,可推知,漏報率=1- 查全率。
三、場景實例
查準率和查全率針對統一個模子時往往是一對矛盾的評價指標。查準率高時,查全率往往偏低;而查全率高時,查準率往往偏低。可以想象,在晴雨預告中為了使得查全率偏高,可以經由過程增添預告有雨的次數來實現,極端的,預告將來天天都有雨,查全率為 100%,但空報率極高,查準率極低;而為了使查準率偏高,可以經由過程只預告有把握的降水,諸如旌旗燈號較著的系統性大雨過程,這么做勢必會削減預告次數,極端的,當只預告了一次降水且準確時,查準率為 100%,但查全率則極低,很多細雨和中雨過程都漏報了。
那么若何運用查準率和查全率綜合評價預告模子的機能,從而在多個模子中選擇相對較優的呢?請存眷本渣渣的同名微信公家號(搜刮 景象形象學渣 或者 qixiangxuezha),期待下回分化哦。
0 篇文章
如果覺得我的文章對您有用,請隨意打賞。你的支持將鼓勵我繼續創作!