數(shù)字風(fēng)控概述
從2007年開始到2014年左右,高速移動網(wǎng)絡(luò)和智能手機迅速在大眾中普及,開啟了移動互聯(lián)網(wǎng)時代。在這個背景下,企業(yè)的產(chǎn)品與服務(wù)也出現(xiàn)了兩個重要的趨勢。
第一個趨勢是企業(yè)業(yè)務(wù)的數(shù)字化與在線化。在PC互聯(lián)網(wǎng)時代,互聯(lián)網(wǎng)的主要作用是以文字和圖片為主的新聞與信息的傳播,比如典型的如門戶網(wǎng)站、論壇、電子郵件、搜索引擎等。到了移動互聯(lián)網(wǎng)時代,大量企業(yè)將自己的產(chǎn)品與服務(wù)在線化,通過手機上的一個App提供給用戶,使得用戶能夠隨時隨地、更便利地使用這些服務(wù)。短短幾年間,人們?nèi)粘I钪械囊?、食、住、行、金融等,很大部分都可以通過手機完成,而不再是通過線下完成。不同行業(yè)業(yè)務(wù)數(shù)字化與在線化的深度和廣度仍然在高速地拓展中??梢灶A(yù)見的是,未來幾乎所有的面向最終用戶的企業(yè),都會將自己的核心產(chǎn)品與服務(wù)數(shù)字化,并利用移動互聯(lián)網(wǎng)提供出來。
第二個趨勢是企業(yè)經(jīng)營理念從交易成單型轉(zhuǎn)向用戶運營型。傳統(tǒng)上,一個企業(yè)僅僅關(guān)注“交易成單”而不關(guān)注“用戶運營”。例如,一個咖啡店,顧客進門購買咖啡,支付,拿咖啡,出門,這一單就結(jié)束了,咖啡店和顧客之間再沒有關(guān)系。在移動互聯(lián)網(wǎng)時代,企業(yè)通過App和用戶建立聯(lián)系,不僅僅關(guān)注成單,同時也關(guān)注用戶。通過用戶的評論反饋與流失分析,改進自己的產(chǎn)品與服務(wù);通過“種草”文章給用戶介紹不同的產(chǎn)品;通過給用戶發(fā)放優(yōu)惠券或者“小樣”,鼓勵用戶嘗試自己可能喜歡的產(chǎn)品等等。企業(yè)通過對用戶進行精細化的運營,更好地服務(wù)了用戶,提升用戶的滿意度,同時,也給自己帶來了更多的成單量。
企業(yè)將自己的產(chǎn)品與服務(wù)放到了移動互聯(lián)網(wǎng)上,為用戶提供了更便利、滿意度更高的服務(wù)。與此同時,企業(yè)在營銷、交易、生態(tài)、內(nèi)容的生產(chǎn)與傳播等互聯(lián)網(wǎng)核心業(yè)務(wù)環(huán)節(jié)面臨著越來越嚴(yán)峻的安全挑戰(zhàn),業(yè)務(wù)風(fēng)控逐漸成為一個企業(yè)的基礎(chǔ)設(shè)施。
風(fēng)控,即風(fēng)險控制,是一個應(yīng)用非常廣泛的詞,在不同的領(lǐng)域,有著不同的含義。本文所說的風(fēng)控是指針對企業(yè)在線業(yè)務(wù)中出現(xiàn)的各類業(yè)務(wù)層面風(fēng)險的識別與防控。下面以幾個典型的場景來進一步明確本文所指的風(fēng)控。 營銷是企業(yè)做用戶運營的有效手段。營銷的形式非常多樣化,不過,從營銷的目的來看,大體上可以分為兩類:
無論具體的形式是什么,拉新營銷活動的本質(zhì)邏輯都是“獎勵新用戶”,或者說是“花錢買用戶”。只要拉新營銷的本質(zhì)邏輯不變,黑產(chǎn)總可以用各種手段造一批假用戶“賣”給企業(yè);各種促活類營銷活動的本質(zhì)邏輯都是“獎勵活躍”,或者說是“花錢買活躍”。只要促活營銷的本質(zhì)邏輯不變,黑產(chǎn)也總能夠用各種手段制造假活躍“賣”給企業(yè)。對于企業(yè)而言,要理解營銷中是存在風(fēng)險的,因為營銷費用的損失很少出現(xiàn)在賬面上,將預(yù)算投入營銷活動,活動后留存不好,很多企業(yè)會認為是由于“投放人群不對”或者“產(chǎn)品體驗不好”等因素,而忽略了營銷活動中大量參與者可能都是“假”的用戶——事實上,如果沒有良好的營銷風(fēng)控,這個是大概率會發(fā)生的事情。
交易是很多業(yè)務(wù)完成的必要場景。比如,購買商品、服務(wù)等,都不可避免地有支付交易這個環(huán)節(jié)。交易也是風(fēng)險最敏感的場景之一,因為,這里的風(fēng)險通常直接和錢相關(guān)。交易環(huán)節(jié)的風(fēng)險通常包括偽冒交易、電信詐騙、惡意退款、無意退款等。用偽冒交易舉例,即黑產(chǎn)通過買賣等多種方法,盜取用戶的銀行卡信息,在線完成支付盜刷交易。盜刷交易通常會選擇容易變現(xiàn)的商品,或者與小商家串通變現(xiàn),或者通過服務(wù)打賞等途徑變現(xiàn)。最近幾年,盜刷還采用過一種極其隱蔽的方式:每張卡每天僅偽冒支付幾元到十幾元,連續(xù)很多天持續(xù)不斷地進行。因為每個人每天都會有很多小額支付,而且很多小額支付是沒有銀行短信提醒的,所以,人們很難發(fā)現(xiàn)自己的卡被多支付了十幾塊錢。
應(yīng)用內(nèi)的生態(tài)包含的內(nèi)容比較多,最常見的生態(tài)之一是“榜單”或者“熱榜”。App希望優(yōu)質(zhì)的商品、內(nèi)容排到前面,被更多的用戶購買、看到。同時也鼓勵了商家或內(nèi)容生產(chǎn)者不斷提供優(yōu)質(zhì)的商品與內(nèi)容,形成良性循環(huán)。無論是商品還是文章、視頻,同樣的內(nèi)容,在某個品類榜單的前幾名和在榜單的3頁以后,吸引的流量通常有著數(shù)量級的差別。由于榜單潛藏著巨大的利益,就存在購買“刷榜”服務(wù)的風(fēng)險。通過購買刷榜服務(wù),利用虛假的觀看、點贊、收藏、好評等動作,將一個商品或者內(nèi)容刷到榜單前面。如果這種風(fēng)險不加制止,就會形成劣幣驅(qū)逐良幣的情況,平臺中的商品內(nèi)容質(zhì)量不斷降低,損害用戶體驗,嚴(yán)重影響平臺的長期發(fā)展。
上面是業(yè)務(wù)風(fēng)險的一些典型場景,業(yè)務(wù)風(fēng)險在不同的行業(yè)可能會有更具體的表現(xiàn)形式,比如,航旅行業(yè)的搶占低價座倒賣、搶占低價房倒賣;電商行業(yè)的占庫存、秒殺特價商品、虛假交易套利;游戲行業(yè)的資源號、iOS惡意退款等等。
通過上面的描述,相信大家對“業(yè)務(wù)風(fēng)控”在解決什么問題有了一個直觀的了解。
數(shù)字風(fēng)控體系架構(gòu)
體系構(gòu)成
數(shù)字風(fēng)控體系主要由布控體系、識別體系、處置體系、運營體系4部構(gòu)成,其結(jié)構(gòu)圖如下圖所示。
圖1.風(fēng)控體系結(jié)構(gòu)圖
布控體系:是在業(yè)務(wù)的交互流程中,設(shè)計布控的埋點事件和每個事件上采集的參數(shù),提供數(shù)據(jù)給識別體系進行黑灰產(chǎn)識別,同時供處置體系進行交互干預(yù),實現(xiàn)對黑產(chǎn)的有效防御作用。如在設(shè)備的啟動環(huán)節(jié),埋點采集設(shè)備的參數(shù),進而識別使用的設(shè)備是否存在風(fēng)險。
識別體系:根據(jù)布控體系采集的事件參數(shù),通過各種策略算法識別多種類型黑產(chǎn),是整個風(fēng)控體系的眼睛,讓隱藏在龐大數(shù)據(jù)中黑產(chǎn)無所遁形。想要眼睛看得清、看得準(zhǔn),關(guān)鍵要有成體系的防御網(wǎng),從多個維度的數(shù)據(jù)、多個維度的策略算法識別黑產(chǎn),提升黑產(chǎn)繞過成本。
處置體系:在業(yè)務(wù)流程中進行處置干擾,識別體系不可能保證識別的100%的精準(zhǔn),通過合理的處置手段,可以讓黑產(chǎn)無功而返,同時可以保證誤召回的用戶不受影響。處置體系是直接關(guān)系到業(yè)務(wù)的結(jié)果的一環(huán),如何將決策引擎返回的結(jié)果用好、用哪種方式以及什么時間點用都決定了用戶的體驗以及最終的風(fēng)控效果。處置體系需要考量的方面比較多,并且家公司根據(jù)業(yè)務(wù)邏輯會對決策結(jié)果分為不同場景不同階段的處置方式。
運營體系:是持續(xù)地攻防對抗、不停迭代,保證整體防御效果的穩(wěn)定。通過多種手段發(fā)現(xiàn)潛在的效果問題,再深入分析問題總結(jié)規(guī)律,快速迭代識別體系和處置體系,確保潛在問題提前修復(fù)、已知問題快速修復(fù),盡最大可能保證業(yè)務(wù)安全。
通過圖1所示的四部分體系結(jié)構(gòu),構(gòu)建了整個數(shù)字風(fēng)控體系,每一部分都承擔(dān)著獨立重要的角色,后文將深入介紹每個體系包含的內(nèi)容。
體系運行
體系運行主要介紹整體數(shù)據(jù)流向,便于理解上述提到的體系,包括兩部分:在線數(shù)據(jù)流和離線數(shù)據(jù)流。在線數(shù)據(jù)流是指從一條請求進入系統(tǒng)開始,在各系統(tǒng)模塊之間流轉(zhuǎn),計算特征,得出最終結(jié)果的過程,在線數(shù)據(jù)流的流轉(zhuǎn)保證了識別處置的實時性。離線數(shù)據(jù)流是指從離線日志出發(fā),在各個計算模塊之間流轉(zhuǎn),計算特征,給出最新結(jié)果,并最終將結(jié)果更新到畫像系統(tǒng)中過程。
1.在線數(shù)據(jù)流
當(dāng)一條請求發(fā)生時,是如何得到最終的處置結(jié)果并且發(fā)揮作用的?答案是通過請求數(shù)據(jù)在各個體系模塊內(nèi)的流轉(zhuǎn)最終得到?jīng)Q策建議。通過長期的實踐,數(shù)美形成了一套獨特的在線數(shù)據(jù)流轉(zhuǎn)系統(tǒng),其在線數(shù)據(jù)流處理流程如圖2所示。
圖2.在線數(shù)據(jù)流處理流程
下面依據(jù)數(shù)據(jù)流在各模塊之間的流轉(zhuǎn)順序進行介紹,如下所示。
1)如圖2左下位置,在設(shè)備啟動或頁面打開時,首先通過SDK采集設(shè)備或瀏覽器相關(guān)信息,主要包括硬件層、系統(tǒng)層、應(yīng)用層、進程層、環(huán)境層等相關(guān)數(shù)據(jù)。采集到設(shè)備數(shù)據(jù)首先上報到設(shè)備指紋服務(wù)端,該服務(wù)器會根據(jù)這些數(shù)據(jù)生成設(shè)備唯一標(biāo)識。設(shè)備標(biāo)識可以看作是設(shè)備的唯一身份證號,從此這個設(shè)備在數(shù)據(jù)中就是唯一存在,然后生成的設(shè)備標(biāo)識會加密處理下發(fā)到客戶端。
2)設(shè)備指紋服務(wù)端會根據(jù)采集信息計算設(shè)備風(fēng)險特征,為設(shè)備生成各種標(biāo)簽,如篡改設(shè)備、偽造設(shè)備、農(nóng)場設(shè)備、多開設(shè)備等,這些畫像會實時更到設(shè)備畫像系統(tǒng)中。畫像系統(tǒng)是一個包含設(shè)備畫像、手機號畫像、IP畫像、賬號畫像等的數(shù)據(jù)庫,無論是設(shè)備、手機號、還是IP,在發(fā)生請求的時候都會在畫像系統(tǒng)更新自己的特征,因為黑產(chǎn)的資源也是有限的,這些畫像會隨著時間的增長、接入數(shù)據(jù)的增多逐漸沉淀,這迫使黑產(chǎn)無法使用舊資源從而尋找使用新資源,這也會使其付出更昂貴的代價。
3)如圖2左上角位置,在客戶端發(fā)生各種業(yè)務(wù)行為時,會進行布控,將行為發(fā)生時的信息連同設(shè)備標(biāo)識上傳到業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)會將信息傳入風(fēng)控系統(tǒng)。主要參數(shù)包括事件類型、賬號標(biāo)識、IP地址、設(shè)備標(biāo)識、發(fā)生時間等信息,請求會進入在線數(shù)據(jù)流的實時決策引擎。
4)實時決策引擎,首先會請求不同類型的基礎(chǔ)引擎進行特征計算和組裝、這些特征過決策引擎輸出決策結(jié)果,實時將決策結(jié)果反饋給業(yè)務(wù)系統(tǒng)。
基礎(chǔ)引擎主要是進行特征計算和組裝,包括名單引擎、關(guān)系引擎、畫像引擎、統(tǒng)計引擎、模型引擎等。這些引擎主要是計算不同類別的特征,引擎是有掛載順序的,下游的引擎可以使用上游引擎輸出的特征。名單引擎主要是判定輸入特征是否命中名單,為靈活配置,名單的匹配方式比較靈活,包括相等、包含、相似等匹配方式。如設(shè)備黑名單、文本包含黑名單等。關(guān)系引擎是根據(jù)輸入的ID類信息讀取關(guān)聯(lián)關(guān)系,如讀取賬號關(guān)聯(lián)的設(shè)備等。畫像引擎是ID類信息,讀取ID相關(guān)的畫像特征,如讀取設(shè)備基礎(chǔ)特征、設(shè)備風(fēng)險特征等。統(tǒng)計引擎是計算統(tǒng)計類特征,如同IP下一天關(guān)聯(lián)的去重賬號數(shù)等。模型引擎主要是計算監(jiān)督模型特征,如設(shè)備評分模型,賬號評分模型等。
實時決策引擎主要運行專家規(guī)則。專家規(guī)則都是通過可視化UI管理配置的,如圖2右上角所示。專家規(guī)則使用的特征都是由基礎(chǔ)引擎計算得到的,專家規(guī)則支持與或條件迭代,支持大于、等于、小于、包含等邏輯計算。如果命中規(guī)則,實時決策引擎會返回策略編號、處置建議、風(fēng)險等級等給業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)會根據(jù)自己的業(yè)務(wù)處置邏輯對結(jié)果進行處置,從而完成整體在線數(shù)據(jù)流。
離線數(shù)據(jù)流
在線數(shù)據(jù)流存儲和計算能力有限,需要使用長周期、全局計算的模型策略,對存儲和計算能力要求較高,因此會在離線數(shù)據(jù)流中進行處理計算,然后將結(jié)果回寫到在線畫像引擎中。離線數(shù)據(jù)流處理流程如圖3所示。
圖3.離線數(shù)據(jù)流處理流程
離線數(shù)據(jù)流在各個模塊之間的流轉(zhuǎn)順序上圖所示:
包含原始行為數(shù)據(jù)與設(shè)備數(shù)據(jù)的在線日志會傳入數(shù)據(jù)倉庫,形成離線日志。離線特征引擎會根據(jù)特征依靠關(guān)系進行逐級計算存儲,主要計算各種實體的關(guān)聯(lián)特征、聚集特征、相似特征、地域特征等。完成計算的特征進入離線決策引擎,經(jīng)過專家規(guī)則給出結(jié)論,即實體的各種高級特征,如是否團伙賬號、是否高頻賬號等,然后將這些實體的特征回寫入畫像系統(tǒng)中以供后續(xù)使用。
如上所示,在線數(shù)據(jù)流、離線數(shù)據(jù)流構(gòu)成了整個風(fēng)控體系運行的載體,保證整體風(fēng)控系統(tǒng)的正常運行。
以上內(nèi)容節(jié)選自由機械工業(yè)出版社與數(shù)字風(fēng)控領(lǐng)域領(lǐng)軍者數(shù)美科技聯(lián)合傾力打造的數(shù)字風(fēng)控領(lǐng)域?qū)I(yè)書籍《數(shù)字風(fēng)控體系:設(shè)計與實踐》《數(shù)字風(fēng)控體系:設(shè)計與實踐》由數(shù)美科技CEO、CTO領(lǐng)銜執(zhí)筆,是數(shù)美科技技術(shù)團隊近十年一線風(fēng)控經(jīng)驗的沉淀與總結(jié)。
撰? 稿? 人:計旭
責(zé)任編輯:張淑謙
審? 核? 人:曹新宇