模型驗(yàn)證概述

根據(jù)《銀行資本管理辦法》規(guī)定,金融機(jī)構(gòu)明確對模型驗(yàn)證提出了嚴(yán)格要求。
例如《商業(yè)銀行風(fēng)險(xiǎn)評估標(biāo)準(zhǔn)》的第四條規(guī)定:
4.商業(yè)銀行的管理信息系統(tǒng)應(yīng)當(dāng)為準(zhǔn)確、及時(shí)、持續(xù)、充分地識別、計(jì)量、監(jiān)測、控制和報(bào)告銀行賬戶利率風(fēng)險(xiǎn)提供有效支持,其功能至少包括:
(1)按設(shè)定的期限計(jì)算重新定價(jià)缺口,反映期限錯(cuò)配情況。
(2)分幣種計(jì)算和分析主要幣種業(yè)務(wù)的銀行賬戶利率風(fēng)險(xiǎn)。
(3)定量評估銀行賬戶利率風(fēng)險(xiǎn)對銀行凈利息收入和經(jīng)濟(jì)價(jià)值的影響情況。
(4)支持對限額政策執(zhí)行情況的核查。
(5)為壓力測試提供有效支持。
(6)為模型驗(yàn)證提供有效支持。
《商業(yè)銀行風(fēng)險(xiǎn)評估標(biāo)準(zhǔn)》的第十一條規(guī)定:
11.商業(yè)銀行應(yīng)建立充分有效的內(nèi)部計(jì)量模型驗(yàn)證程序,定期跟蹤模型表現(xiàn),對模型和假設(shè)進(jìn)行持續(xù)驗(yàn)證,同時(shí)根據(jù)驗(yàn)證結(jié)果,對模型進(jìn)行調(diào)整,確保計(jì)量的合理性。
如下圖,模型開發(fā)是一個(gè)循環(huán)周期。模型驗(yàn)證是一個(gè)覆蓋面廣,專業(yè)化,持續(xù)化工作。未經(jīng)過驗(yàn)證的模型是存在系統(tǒng)性風(fēng)險(xiǎn)。市面上模型長期存在質(zhì)量參差不齊,建模人員考慮不周全情況。

我方團(tuán)隊(duì)經(jīng)過數(shù)百個(gè)模型驗(yàn)證實(shí)戰(zhàn)經(jīng)驗(yàn),對模型維度過高,噪音變量未清洗,缺失值未處理,異常值未處理,多算法比較缺失,調(diào)參缺失,模型區(qū)分能力不足,排序能力混亂,穩(wěn)定性差等情況有專業(yè)處理方案。

經(jīng)過驗(yàn)證和改良的模型,對償還能力差客戶,欺詐客戶,多頭借貸客戶有更好識別能力,進(jìn)一步提高風(fēng)控能力,減少金融公司信貸損失。

我方專業(yè)團(tuán)隊(duì)不僅能夠識別模型中核心變量,而且還能對變量之間交互作用做深度分析。
下圖是變量重要性排序。

下圖是變量交互影響圖。

我方團(tuán)隊(duì)建模質(zhì)量遠(yuǎn)高于互聯(lián)網(wǎng)上公開發(fā)布數(shù)據(jù)。以give me some credit數(shù)據(jù)集為例,我方團(tuán)隊(duì)模型的AUC為0.929,遠(yuǎn)超互聯(lián)網(wǎng)其它相關(guān)論文模型性能AUC 0.85。

如有模型驗(yàn)證,模型開發(fā)商務(wù)合作,可與UP聯(lián)系!
