建站
咨詢
售后
建站咨詢
新聞中心
1、背景
得物社區(qū)是一大批年輕人獲取潮流信息、分享日常生活的潮流生活社區(qū)。其中用戶瀏覽的信息，進(jìn)行個(gè)性化的分發(fā)，是由推薦系統(tǒng)來決策完成的。目前得物社區(qū)多個(gè)場(chǎng)景接入了推薦算法，包括首頁推薦雙列流、沉浸式視頻推薦、分類tab推薦流、直播推薦流等多個(gè)場(chǎng)景，為了給用戶提供更好的服務(wù)和體驗(yàn)，我們從整個(gè)推薦系統(tǒng)維度為相關(guān)服務(wù)做了大量?jī)?yōu)化?，F(xiàn)在主流的推薦系統(tǒng)都會(huì)有召回、粗排、精排和機(jī)制等多個(gè)模塊組成，本文主要介紹我們?cè)诰艑用嫜葸M(jìn)過程中做的一些工作和思考。
創(chuàng)新互聯(lián)建站長(zhǎng)期為成百上千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為邊壩企業(yè)提供專業(yè)的成都網(wǎng)站制作、成都做網(wǎng)站，邊壩網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
2、挑戰(zhàn)和解法
用戶在與信息流交互過程中，會(huì)產(chǎn)生點(diǎn)擊、閱讀、點(diǎn)贊、關(guān)注、收藏、評(píng)論和負(fù)反饋等行為，一般是業(yè)務(wù)關(guān)心的核心指標(biāo)，也可作為算法同學(xué)建模的信號(hào)。其中，點(diǎn)擊是用戶一系列行為軌跡的入口，相對(duì)不稀疏，往往是一個(gè)信息流推薦系統(tǒng)初期最關(guān)注的目標(biāo)之一。如何對(duì)用戶興趣進(jìn)行精準(zhǔn)建模，是這些年來推薦系統(tǒng)在工業(yè)界從初出茅廬到大展身手的過程中始終熱門的主題。在工業(yè)界中一個(gè)好的業(yè)務(wù)建模范式是在一定資源約束下，做好服務(wù)于業(yè)務(wù)目標(biāo)的可迭代的系統(tǒng)優(yōu)化，對(duì)于推薦系統(tǒng)來說，需要考慮系統(tǒng)引擎、計(jì)算資源、模型迭代和維護(hù)的人力、系統(tǒng)和模型的可迭代性以及多團(tuán)隊(duì)合作等多方面因素下，推動(dòng)整個(gè)系統(tǒng)向著業(yè)務(wù)目標(biāo)持續(xù)前進(jìn)。拆解到精排層面，我們需要解決多場(chǎng)景、多人群和多目標(biāo)等為準(zhǔn)確預(yù)估用戶興趣帶來的挑戰(zhàn)。下面從特征、樣本、多目標(biāo)建模和新用戶冷啟動(dòng)等多個(gè)方向來闡述我們對(duì)這些挑戰(zhàn)在得物社區(qū)的具體解法。
2.1 特征
單目標(biāo)的CTR模型的技術(shù)演進(jìn)可從兩個(gè)不同的視角進(jìn)行觀察，一個(gè)維度是特征工程，另外一個(gè)維度就是模型結(jié)構(gòu)復(fù)雜度。在CTR模型早期的時(shí)候，受限于計(jì)算資源，模型結(jié)構(gòu)往往比較簡(jiǎn)單，初期應(yīng)用最廣泛的便是LR模型。這個(gè)階段算法工程師更多的時(shí)間是人工設(shè)計(jì)特征，從而針對(duì)不同的業(yè)務(wù)背景進(jìn)行迭代拿到指標(biāo)收益。
推薦系統(tǒng)精排模型其實(shí)是一個(gè)預(yù)估用戶行為概率的模型，我們希望模型一方面能夠記住用戶的歷史行為(即擬合能力)，另一方面可以基于歷史數(shù)據(jù)進(jìn)行合理擴(kuò)展(即泛化能力)。在傳統(tǒng)機(jī)器學(xué)習(xí)時(shí)期，LR、SVM和GDBT等模型就已經(jīng)具備很好的擬合能力，可以在訓(xùn)練數(shù)據(jù)集上有極好的表現(xiàn)。但在實(shí)際業(yè)務(wù)上，真實(shí)的困難在于，如何基于過去數(shù)據(jù)準(zhǔn)確地預(yù)估未來行為。萬物基于數(shù)，在數(shù)學(xué)的視角上，模型建模本質(zhì)上是對(duì)現(xiàn)實(shí)世界一部分運(yùn)行規(guī)律在數(shù)字空間的抽象和模擬?，F(xiàn)實(shí)行為在數(shù)字空間的表征的準(zhǔn)確性很大程度上決定了建模的效果，幸運(yùn)的是隨著深度學(xué)習(xí)的發(fā)展，基于Embedding的表征技術(shù)越來越成熟，基本解決了建模的表征瓶頸，而這個(gè)映射空間往往稱為特征向量空間。
對(duì)于推薦系統(tǒng)精排模型而言，在向量空間中具備現(xiàn)實(shí)概念的基本單元就是特征，這也揭示了針對(duì)特征的工作，對(duì)于整個(gè)建模的重要性。各個(gè)業(yè)務(wù)場(chǎng)景特征的設(shè)計(jì)，要求算法工程師對(duì)業(yè)務(wù)具備足夠的理解，以及擁有豐富相關(guān)經(jīng)驗(yàn)，特征工程也是算法工作中資源投入權(quán)重很大的工作，需要持續(xù)打磨優(yōu)化，所謂磨刀不誤砍柴工。
2.1.1 特征設(shè)計(jì)
模型使用的特征根據(jù)不同的角度可進(jìn)行不一樣的劃分。根據(jù)特征來源，可以分為用戶特征、Item特征、上下文特征、交叉特征以及級(jí)聯(lián)模型特征；根據(jù)特征結(jié)構(gòu)，一般可按照Dense和Sparse進(jìn)行區(qū)分；根據(jù)特征時(shí)效性，往往又分為離線特征和實(shí)時(shí)特征。對(duì)于具體的業(yè)務(wù)場(chǎng)景，可根據(jù)特征來源，按照下表從整體上設(shè)計(jì)各個(gè)域的特征，在迭代的過程中持續(xù)優(yōu)化升級(jí)特征。
|
用戶特征 |
行為序列特征、統(tǒng)計(jì)反饋特征、靜態(tài)屬性特征、拓?fù)潢P(guān)系特征等 |
|
Item特征 |
靜態(tài)屬性特征、靜態(tài)統(tǒng)計(jì)特征、動(dòng)態(tài)統(tǒng)計(jì)特征、內(nèi)容理解特征、拓?fù)潢P(guān)系特征等 |
|
交叉特征 |
顯式交叉特征、隱式交叉特征 |
|
級(jí)聯(lián)模型特征 |
質(zhì)量分、預(yù)訓(xùn)練向量、上游模型分等 |
|
擴(kuò)展類特征 |
泛化特征、mis-match特征 |
每個(gè)特征都應(yīng)該結(jié)合業(yè)務(wù)進(jìn)行設(shè)計(jì)，比如其中統(tǒng)計(jì)類特征需要考慮聚合的時(shí)間窗口，序列特征需要考慮序列的長(zhǎng)度，這些都可以根據(jù)實(shí)際情況進(jìn)行取舍和選擇。
在設(shè)計(jì)特征的基礎(chǔ)上，算法工程師還需要推動(dòng)上下游打通數(shù)據(jù)鏈路，校驗(yàn)特征質(zhì)量，引入到現(xiàn)有模型中進(jìn)行離線調(diào)研，要是小流量AB實(shí)驗(yàn)有置信收益，新版特征就可以全量生效。一個(gè)常見的挖掘特征的手段，便是基于內(nèi)容理解算法，利用自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別等等，對(duì)內(nèi)容進(jìn)行深度挖掘，生產(chǎn)優(yōu)質(zhì)特征，從而讓模型更容易捕獲用戶興趣點(diǎn)。根據(jù)業(yè)務(wù)需要在持續(xù)迭代的過程中，會(huì)不斷新增有效特征，舊的失效特征也會(huì)慢慢下線，在我們的業(yè)務(wù)場(chǎng)景中，模型使用的特征數(shù)也在迭代的過程相對(duì)增加了30%，系統(tǒng)的分發(fā)效率也有很大的提升。特征對(duì)模型預(yù)估的重要性可以通過auc-diff進(jìn)行評(píng)估，為了系統(tǒng)的穩(wěn)定性，還需要實(shí)時(shí)監(jiān)控線上每個(gè)特征的覆蓋率和取值分布情況，避免異常數(shù)據(jù)影響大盤。
2.1.2 特征處理
在推薦系統(tǒng)中使用的所有特征，按照特征結(jié)構(gòu)和處理方式的不同，可以分為四類。
- 數(shù)值型特征，特征的原始值是一定區(qū)間內(nèi)的連續(xù)值，比如動(dòng)態(tài)后驗(yàn)CTR、視頻時(shí)長(zhǎng)、點(diǎn)贊數(shù)等等，通常處理方式如下
- 可以增加對(duì)特征異常值的魯棒性、提升非線性能力、加快算法處理性能、方便特征交叉
- 會(huì)丟失部分信息、邊界離散值的跳變會(huì)影響模型預(yù)估穩(wěn)定性
- 可以采用等寬分箱、聚類分箱、等頻分箱、決策樹分箱和卡方分箱等方式
- 特征最大最小歸一化、標(biāo)準(zhǔn)化等等
- 連續(xù)特征離散化
- 非線性變換，比如常用的log(x+1)等等
- 單值離散特征，一個(gè)樣本只有一個(gè)離散取值，比如手機(jī)型號(hào)、用戶性別等等
- One-Hot編碼
- 查L(zhǎng)ookUp表，得到向量表征
- 多值離線特征，一個(gè)樣本可以有多個(gè)離散取值，比如用戶點(diǎn)擊序列、Item標(biāo)簽等等
- 人工生成交叉特征
- 查L(zhǎng)ookUp表，得到多維向量，可采用拼接、Pooling、Attention等方式生成融合后唯一的向量表征
- KV特征，一個(gè)樣本Key可以有多個(gè)離線取值，并有與之對(duì)應(yīng)的Value值
- Key和Value離散化后，加權(quán)使用
- 可以將Key和Value進(jìn)行拼接后，離散化使用
在推薦系統(tǒng)領(lǐng)域，在上表各式各樣的特征中，有兩種類型的特征很具備推薦特色，并在不同的業(yè)務(wù)上往往都是算法工程師大力投入，基本會(huì)取得不錯(cuò)收益的技術(shù)點(diǎn)。
2.1.3 高維稀疏類別特征
第一個(gè)就是高維稀疏的類別特征，這類特征由于其高維稀疏性，在向量空間上具備更好的線性可分性，從而模型更容易記住樣本。對(duì)于一個(gè)相對(duì)成熟的推薦系統(tǒng)來說，此類特征的維度可達(dá)到上億維，甚至幾十億維。
為了讓模型順利使用這么大的高維特征，需要算法聯(lián)合工程做很多深度優(yōu)化工作。一般采用的解決方案是動(dòng)態(tài)彈性特征(EmbeddingVariable)，可以解決靜態(tài)特征詞表大小難預(yù)估、特征沖突、內(nèi)存和IO冗余等問題，并能夠通過特征準(zhǔn)入、特征退場(chǎng)、底層哈希表無鎖化和精細(xì)化內(nèi)存布局等措施，來提高存儲(chǔ)和訪問效率。隨著動(dòng)態(tài)彈性EV特征的引入，在得物社區(qū)的各個(gè)場(chǎng)景上均有著不錯(cuò)的收益。
2.1.4 交叉特征
另外一個(gè)就是大名鼎鼎的交叉特征。交叉特征是通過多個(gè)特征進(jìn)行交叉組合而來，能夠有效地增強(qiáng)模型的表達(dá)能力。這些年來算法工程師在特征交叉上嘗試了大量的工作，總體來說分為顯示交叉和隱式交叉。
顯式交叉是基于先驗(yàn)知識(shí)，算法工程師人工構(gòu)造交叉特征，一般可以采用的交叉形式有如下三種。其中笛卡爾積由于效果好更常使用，但笛卡爾積可能會(huì)發(fā)生維度爆炸，所以需要根據(jù)實(shí)際業(yè)務(wù)的數(shù)據(jù)分析情況來構(gòu)造笛卡爾積。舉個(gè)例子，在我們的場(chǎng)景中，每個(gè)用戶在不同類目上興趣偏好會(huì)有所區(qū)別，為了讓系統(tǒng)在給用戶提供服務(wù)時(shí)更關(guān)注這一點(diǎn)，可以在模型中嘗試引入用戶偏好和動(dòng)態(tài)類目的交叉特征，提升用戶體驗(yàn)。
|
交叉形式 |
結(jié)果 |
|
特征內(nèi)積 |
標(biāo)量 |
|
特征點(diǎn)乘 |
同維度向量 |
|
特征笛卡爾積 |
更高維張量? |
隱式交叉是通過網(wǎng)絡(luò)結(jié)構(gòu)讓模型自動(dòng)學(xué)習(xí)交叉，隨著交叉技術(shù)的發(fā)展，算法工程師更多時(shí)候使用的方式是隱式交叉，不僅可以解除對(duì)人工經(jīng)驗(yàn)的依賴，同時(shí)可在模型訓(xùn)練過程中不斷自我優(yōu)化。近些年在這方面經(jīng)典的工作主要是FM、FFM、Wide&Deep、DeepFM、DCN和CAN等結(jié)構(gòu)，其中DeepFM更是由于其結(jié)構(gòu)簡(jiǎn)單、效果突出，在不同的推薦場(chǎng)景下均可作為比較好的基準(zhǔn)。
作為特征交叉結(jié)構(gòu)的經(jīng)典集大成者，DeepFM可以實(shí)現(xiàn)端對(duì)端的低階和高階特征交叉融合。其中FM結(jié)構(gòu)可以進(jìn)行低階特征的交叉，提升模型的記憶能力；Deep結(jié)構(gòu)進(jìn)行高階特征的交叉融合，提高模型的泛化能力。得物社區(qū)最早期的時(shí)候，在排序?qū)用?，精排模型只是?duì)CTR進(jìn)行建模，模型架構(gòu)就采用了比較成熟的DeepFM。
2.2 樣本
對(duì)于一個(gè)推薦系統(tǒng)，模型訓(xùn)練樣本和特征決定了模型效果的上限，一個(gè)高質(zhì)量的訓(xùn)練樣本集能夠有效提高精排模型的預(yù)估能力。樣本的產(chǎn)生需要依賴線上日志，一個(gè)優(yōu)秀的生產(chǎn)樣本流的框架會(huì)涉及多方，包括前端埋點(diǎn)、推薦引擎、預(yù)估服務(wù)和數(shù)倉(cāng)等等。為了對(duì)業(yè)務(wù)效果負(fù)責(zé)，算法工程師除了關(guān)注模型本身外，還需要對(duì)樣本質(zhì)量進(jìn)行監(jiān)控，與上下游一起確保高質(zhì)量樣本生產(chǎn)的穩(wěn)定性。
2.2.1 實(shí)時(shí)樣本流架構(gòu)
得物社區(qū)早期時(shí)，模型訓(xùn)練樣本是基于離線特征表和離線用戶行為表拼接而成，除了會(huì)有明顯的時(shí)效性問題外，還可能會(huì)發(fā)生樣本特征線上線下不一致性問題，影響系統(tǒng)整體的分發(fā)效率和分發(fā)效果。
為了解決高質(zhì)量樣本生產(chǎn)的問題，我們通過協(xié)調(diào)資源，設(shè)計(jì)和推動(dòng)多方搭建了實(shí)時(shí)樣本流框架。通過實(shí)時(shí)樣本流生產(chǎn)樣本，樣本的時(shí)效性大幅提升，從天級(jí)到分鐘級(jí)，從而可以支持實(shí)時(shí)模型的上線，也為后續(xù)算法模型的快速迭代打下了堅(jiān)實(shí)的基礎(chǔ)。
實(shí)時(shí)數(shù)據(jù)流架構(gòu)可以概述為三條日志流的生產(chǎn)、歸因和拼接。
- 第一條數(shù)據(jù)流是客戶端日志流，它是基于客戶端埋點(diǎn)通過觸發(fā)事件上報(bào)埋點(diǎn)信息而來，埋點(diǎn)數(shù)據(jù)包含了服務(wù)端下發(fā)給客戶端的(reqid, userid, itemid)三元組等信息。用戶在瀏覽信息流時(shí)，會(huì)持續(xù)觸發(fā)曝光、點(diǎn)擊、點(diǎn)贊等行為數(shù)據(jù)，從而客戶端日志流源源不斷生產(chǎn)數(shù)據(jù)。
- 第二條數(shù)據(jù)流是服務(wù)端引擎日志流，它是根據(jù)客戶端發(fā)起的用戶請(qǐng)求，經(jīng)過服務(wù)端和整個(gè)推薦引擎，拿到推薦結(jié)果并返回給客戶端這個(gè)過程中，在引擎落下的重要信息，同樣包括(reqid, userid, itemid)三元組、推薦結(jié)果以及正排信息等。
- 最后一條數(shù)據(jù)流是在預(yù)估服務(wù)落下的預(yù)估日志流，它是引擎將用戶畫像和召回或者粗排的結(jié)果下發(fā)到預(yù)估機(jī)器，由預(yù)估機(jī)器中的精排模型進(jìn)行打分，在這個(gè)過程中會(huì)將模型使用的item特征和user特征等特征信息dump下來。特征流的數(shù)據(jù)量也是三個(gè)流中最大的，往往需要通過ACK的形式降低dump的物品數(shù)，從而有效節(jié)約資源。
三條日志流可以通過(reqid, userid, itemid)三元組進(jìn)行有效關(guān)聯(lián)，從而形成實(shí)時(shí)歸因大寬表。其中，客戶端日志流提供了用戶真實(shí)反饋標(biāo)簽，服務(wù)端引擎日志流提供了推薦引擎各環(huán)節(jié)的信息，預(yù)估服務(wù)日志流提供了模型使用的特征信息，保證了線上線下特征一致性。
在使用實(shí)時(shí)樣本流生產(chǎn)實(shí)時(shí)樣本的過程中，會(huì)遇到一個(gè)經(jīng)典的問題，那就是“用戶延遲反饋”。這是由于從曝光埋點(diǎn)上報(bào)數(shù)據(jù)，到用戶對(duì)動(dòng)態(tài)進(jìn)行點(diǎn)擊和更深度的交互行為，這兩個(gè)事件往往存在一定的時(shí)間差。比如用戶在觀看一個(gè)視頻時(shí)，過了幾分鐘看完后才會(huì)對(duì)視頻進(jìn)行點(diǎn)贊和評(píng)論，此時(shí)如果我們對(duì)歸因設(shè)計(jì)不合理就會(huì)造成這條實(shí)時(shí)樣本是負(fù)樣本。一般對(duì)用戶反饋標(biāo)簽進(jìn)行歸因時(shí)，會(huì)考慮歸因的時(shí)間窗口。離線表的歸因窗口可以理解為1d，不過實(shí)時(shí)計(jì)算是在內(nèi)存中實(shí)現(xiàn)的，出于對(duì)成本的考慮，很難設(shè)到很大的窗口，可以結(jié)合分析真實(shí)的業(yè)務(wù)數(shù)據(jù)情況，在成本、時(shí)效性和標(biāo)簽準(zhǔn)確性之間找到合適的平衡點(diǎn)。在我們的場(chǎng)景上，通過選取合適的閾值，最后實(shí)時(shí)樣本表的正標(biāo)簽達(dá)到了離線表的95%。對(duì)于延遲樣本，一個(gè)有效的解決方案是設(shè)計(jì)不同的樣本回補(bǔ)機(jī)制，基于重要性采樣對(duì)樣本分布進(jìn)行糾偏。
2.2.2 采樣
CTR模型為了預(yù)估用戶瀏覽到的曝光中會(huì)進(jìn)行點(diǎn)擊的概率，是一個(gè)二分類模型。直觀上建模時(shí)，會(huì)將用戶點(diǎn)擊作為正樣本，曝光未點(diǎn)擊作為負(fù)樣本。但由于用戶點(diǎn)擊行為相對(duì)稀疏，這種直接構(gòu)建訓(xùn)練樣本集的方式，會(huì)造成正負(fù)樣本嚴(yán)重失衡，有些場(chǎng)景可能低于1:100，訓(xùn)練效果往往不夠好。
為了解決類別不均衡問題，一個(gè)常用的做法就是對(duì)負(fù)樣本進(jìn)行采樣，只有通過一定策略采樣后的負(fù)樣本可以用來訓(xùn)練模型。負(fù)采樣有很多實(shí)現(xiàn)方式，一般會(huì)根據(jù)采樣質(zhì)量、采樣偏差和采樣效率進(jìn)行取舍，大體分為人工規(guī)則采樣和基于模型采樣。其中，常用的人工規(guī)則采樣是隨機(jī)負(fù)采樣和基于流行度負(fù)采樣，基于模型采樣本質(zhì)上是通過模型迭代優(yōu)化負(fù)樣本的質(zhì)量，一般借鑒Boosting和GAN對(duì)抗學(xué)習(xí)的思想，不斷挖掘強(qiáng)負(fù)樣本，這塊近期比較好的工作便是SRNS。
在我們場(chǎng)景上，目前是通過隨機(jī)丟棄負(fù)樣本的方式來實(shí)現(xiàn)采樣的。采樣后訓(xùn)練的模型預(yù)估出來的pctr與真實(shí)后驗(yàn)點(diǎn)擊率CTR是有偏差的，所以線上使用預(yù)估分pctr時(shí)需要先用如下轉(zhuǎn)換公式進(jìn)行修正，然后在排序時(shí)使用。除了采樣外，另外一個(gè)可以嘗試的解法是在訓(xùn)練時(shí)通過對(duì)不同樣本的Loss進(jìn)行調(diào)權(quán)，也可以緩解類別不均衡帶來的影響，不過調(diào)權(quán)任務(wù)比較繁重，可能一時(shí)很難調(diào)到理想的效果，預(yù)估分也難以還原。
對(duì)于一個(gè)業(yè)務(wù)場(chǎng)景，往往會(huì)關(guān)注多個(gè)業(yè)務(wù)指標(biāo)，除了點(diǎn)擊之外，另一些重要的關(guān)注點(diǎn)是用戶點(diǎn)擊后的后續(xù)行為。對(duì)于電商場(chǎng)景一般是收藏商品、下單商品等用戶深層次行為，對(duì)于信息流場(chǎng)景更多的是觀看時(shí)長(zhǎng)、點(diǎn)贊、評(píng)論等用戶交互行為。這些轉(zhuǎn)化行為是用戶點(diǎn)擊之后發(fā)生的，如果在點(diǎn)擊樣本空間上對(duì)互動(dòng)進(jìn)行建模，線上直接使用會(huì)產(chǎn)生bias，稱為樣本選擇偏差，多目標(biāo)聯(lián)合建模時(shí)可以通過設(shè)計(jì)特定的模型結(jié)構(gòu)來解決。
在得物社區(qū)場(chǎng)景，我們根據(jù)線上遇到和發(fā)現(xiàn)的一些問題，在樣本層面也做過其他的探索和實(shí)踐。
- 像評(píng)論、關(guān)注、分享等這些用戶轉(zhuǎn)化信號(hào)一般比較稀疏，單獨(dú)建模的話模型訓(xùn)練不夠充分很難取得好的效果，與點(diǎn)擊聯(lián)合訓(xùn)練又會(huì)被更密集的點(diǎn)擊信號(hào)帶偏。一種有效的解法是對(duì)同類型信號(hào)進(jìn)行聚合使用，同時(shí)對(duì)這些信號(hào)重采樣緩解點(diǎn)擊信號(hào)的影響。
- 樣本隨機(jī)負(fù)樣本對(duì)低活用戶是不友好的，甚至?xí)屍毓馕袋c(diǎn)擊用戶逐漸流失。在負(fù)采樣時(shí)需要考慮低活用戶曝光未點(diǎn)擊的樣本，同時(shí)可以嘗試在特征層面加上曝光未點(diǎn)擊序列。
- 理想樣本是在剔除噪音干擾的情況下，盡可能多的保留和基于先驗(yàn)知識(shí)提取真實(shí)場(chǎng)景的有效信息。其中一個(gè)可能有收益的信息就是用戶樣本的Session，所以建議試試基于用戶Session構(gòu)建樣本。
2.3 多目標(biāo)
相比單個(gè)目標(biāo)建模，對(duì)多個(gè)業(yè)務(wù)目標(biāo)進(jìn)行建模會(huì)遇到更多的挑戰(zhàn)，其中比較常見的問題就是多個(gè)指標(biāo)之間會(huì)有蹺蹺板現(xiàn)象。為了緩解這些問題，在業(yè)界經(jīng)過多年的實(shí)踐和技術(shù)發(fā)展，積累不少的優(yōu)秀模型ESSM、MMOE、PLE和ESCM等等，其中比較重要和應(yīng)用廣泛的模型是ESSM、MMOE，它們?cè)诤芏鄻I(yè)務(wù)場(chǎng)景都有著不錯(cuò)的效果，在得物社區(qū)場(chǎng)景，對(duì)多目標(biāo)的建模也借鑒了相關(guān)模型的思路。
2.3.1 模型結(jié)構(gòu)
2.3.1.1 首頁雙列流
隨著業(yè)務(wù)的發(fā)展，得物社區(qū)首頁推薦流精排模型也一直在迭代升級(jí)中，模型個(gè)性化能力不斷提升，總的來說可以劃分為四個(gè)階段。
- 第一階段是早期時(shí)候，只對(duì)用戶點(diǎn)擊率建模，精排層只有CTR模型。期間經(jīng)過幾次迭代，從開始的DeepFM結(jié)構(gòu)，到結(jié)合業(yè)務(wù)特點(diǎn)的DLRM結(jié)構(gòu)，特征交叉能力明顯提升，以及增加了提取用戶深度興趣的DIN模塊，都取得了不錯(cuò)的收益。
CTR模型
- 第二階段是增加了對(duì)用戶時(shí)長(zhǎng)的單獨(dú)建模，希望提升系統(tǒng)對(duì)用戶時(shí)長(zhǎng)的預(yù)估能力，精排層會(huì)有CTR模型和時(shí)長(zhǎng)模型。時(shí)長(zhǎng)模型第一版采用了比較成熟DeepFM結(jié)構(gòu)，在CTR損失兌換可接受的情況下，帶來大盤人均時(shí)長(zhǎng)相對(duì)提升+3%。
時(shí)長(zhǎng)模型
- 第三階段是對(duì)用戶點(diǎn)贊、關(guān)注、收藏、評(píng)論和分享等互動(dòng)行為與用戶時(shí)長(zhǎng)聯(lián)合建模，借助互動(dòng)信號(hào)更好地捕獲用戶興趣點(diǎn)，精排層會(huì)有兩個(gè)模型，包括CTR模型和時(shí)長(zhǎng)互動(dòng)雙塔模型。通過對(duì)多目標(biāo)分融合公式進(jìn)行有效調(diào)參后，在其他指標(biāo)基本持平情況下，大盤互動(dòng)用戶，相對(duì)提升+6%。
時(shí)長(zhǎng)互動(dòng)雙塔模型
- 第四階段是用戶點(diǎn)擊、用戶時(shí)長(zhǎng)和用戶互動(dòng)等多目標(biāo)統(tǒng)一建模，并對(duì)用戶負(fù)反饋單獨(dú)建模，更好地整合精排層對(duì)用戶興趣的建模能力，精排層會(huì)有兩個(gè)模型，即點(diǎn)擊、時(shí)長(zhǎng)和互動(dòng)等多目標(biāo)模型，以及負(fù)反饋模型。相對(duì)雙塔模型，多目標(biāo)模型更需要在結(jié)構(gòu)上能夠適配更多目標(biāo)，尤其需要解決CTR任務(wù)和稀疏任務(wù)的相互影響。通過在訓(xùn)練時(shí)基于pct_time和pct_inte節(jié)點(diǎn)構(gòu)建損失函數(shù)，并對(duì)pctr節(jié)點(diǎn)進(jìn)行梯度阻斷，使得能夠?qū)Χ鄠€(gè)目標(biāo)在曝光空間上統(tǒng)一進(jìn)行建模。線上使用ptime和pinte作為時(shí)長(zhǎng)和互動(dòng)的預(yù)估分，融合公式可以做到線上線下一致，有助于在線上拿到離線調(diào)研的收益。上線后大盤ctr相對(duì)提升+2.3%，人均時(shí)長(zhǎng)相對(duì)提升+0.33%，互動(dòng)用戶相對(duì)+4.5%。負(fù)反饋模型分在機(jī)制層通過平滑降權(quán)的形式生效，大盤負(fù)反饋率相對(duì)降低16%。
多目標(biāo)模型
- 負(fù)反饋平滑降權(quán)
- 負(fù)反饋模型
2.3.1.2 沉浸式視頻單列流
與首頁雙列流產(chǎn)品形態(tài)不同的是，沉浸式視頻推薦流是單列流場(chǎng)景，用戶通過不斷下滑觀看不同的視頻。針對(duì)場(chǎng)景特點(diǎn)，最開始的建模思路是從視頻完成度進(jìn)行切入的，模型會(huì)預(yù)估用戶會(huì)觀看視頻時(shí)長(zhǎng)占視頻本身時(shí)長(zhǎng)的比例pfinish_rate，線上使用時(shí)會(huì)結(jié)合視頻本身時(shí)長(zhǎng)videoTime，并對(duì)videoTime雙端進(jìn)行限制緩解視頻本身時(shí)長(zhǎng)帶來的bias，最后使用pfinish_rate*truncated(videoTime) 作為排序分。與首頁主場(chǎng)景一樣，在后面的迭代過程中，也增加了對(duì)用戶互動(dòng)行為的建模，在對(duì)互動(dòng)預(yù)估分pinte和完成度預(yù)估分pfinish_rate進(jìn)行融合時(shí)，不出意外也遇到蹺蹺板現(xiàn)象，通過不斷實(shí)驗(yàn)嘗試，最后采用級(jí)聯(lián)排序的形式取得了收益。
通過幾個(gè)版本持續(xù)迭代優(yōu)化，場(chǎng)景核心指標(biāo)提升明顯，場(chǎng)景訪問uv人均時(shí)長(zhǎng)相對(duì)提升+46%，曝光互動(dòng)率相對(duì)提升+15%。結(jié)合視頻場(chǎng)景特殊性，通過對(duì)業(yè)務(wù)指標(biāo)的分析，最近我們?cè)诳紤]對(duì)用戶短播行為和長(zhǎng)播行為進(jìn)行建模，更好的捕獲用戶興趣點(diǎn)，為用戶提供更貼心的視頻推薦流服務(wù)。
- 多目標(biāo)模型
2.3.2 多目標(biāo)融合
多目標(biāo)建模除了模型本身，另一個(gè)主要的挑戰(zhàn)就是線上如何有效地使用多個(gè)目標(biāo)分？我們希望通過合適的排序目標(biāo)和機(jī)制設(shè)計(jì)，讓業(yè)務(wù)關(guān)注的目標(biāo)都能夠有收益，做到多個(gè)目標(biāo)共同提升，針對(duì)這個(gè)問題在我們場(chǎng)景上也進(jìn)行了各種不同的嘗試。
第一類比較直接的解決方案就是設(shè)計(jì)公式，對(duì)多個(gè)目標(biāo)分使用公式進(jìn)行融合，從而作為最終排序分。此方案的好處就是簡(jiǎn)單、明確，可以根據(jù)權(quán)重知道每個(gè)目標(biāo)分是怎么對(duì)最終排序生效的。其中一個(gè)常用的技巧就是由于不同目標(biāo)的預(yù)估分分布差異大，預(yù)估分絕對(duì)值的變動(dòng)會(huì)影響調(diào)參結(jié)果，所以可以考慮使用單個(gè)目標(biāo)分排序后的序號(hào)，將其通過合理的歸一化后，再對(duì)多個(gè)目標(biāo)進(jìn)行融合。缺點(diǎn)就是不同的模型上線都需要手動(dòng)調(diào)參，帶來很大的工作量，并且融合公式也沒有根據(jù)不同用戶做到個(gè)性化融合，影響整體排序效果。在得物社區(qū)場(chǎng)景，我們先后設(shè)計(jì)了兩版融合公式，第二版加法形式取得了更好的收益，同時(shí)參數(shù)量也有效降低。
- 人工公式融合
第二類解決方案是希望借助深度模型來端對(duì)端的生成最終排序分，避免人工調(diào)參，同時(shí)在融合時(shí)會(huì)考慮個(gè)性化。具體思路是構(gòu)造一些用戶側(cè)、物品側(cè)重要的基礎(chǔ)特征，以及多個(gè)模型的預(yù)估分，將它們作為一個(gè)簡(jiǎn)單網(wǎng)絡(luò)的輸入，利用離線訓(xùn)練的模型產(chǎn)生最終融合分。一個(gè)關(guān)鍵點(diǎn)就是離線模型Label的構(gòu)造，一般是通過對(duì)多個(gè)目標(biāo)加權(quán)的方式進(jìn)行聚合，權(quán)重的選擇需要結(jié)合業(yè)務(wù)和線上實(shí)驗(yàn)的效果進(jìn)行調(diào)試。缺點(diǎn)是精排層需要多調(diào)用一個(gè)模型，需要更多的資源，另外就是有時(shí)業(yè)務(wù)上需要做一些生態(tài)上的調(diào)整，模型融合沒有公式來的快捷。
- 獨(dú)立融合模型
第三類也是目前正在嘗試的解決方案，即個(gè)性化融合多目標(biāo)模型架構(gòu)。我們希望在多目標(biāo)模型的基礎(chǔ)上，通過構(gòu)造融合模塊，將多目標(biāo)預(yù)估和多目標(biāo)預(yù)估分融合放到一個(gè)完整的網(wǎng)絡(luò)框架下。模型訓(xùn)練時(shí)損失函數(shù)可以分為兩塊，主網(wǎng)絡(luò)損失和融合網(wǎng)絡(luò)損失，主網(wǎng)絡(luò)損失是為了優(yōu)化模型對(duì)各個(gè)目標(biāo)分的預(yù)估，融合網(wǎng)絡(luò)損失是從整體上優(yōu)化融合排序的結(jié)果，可以通過異步訓(xùn)練和梯度阻斷的方式避免對(duì)網(wǎng)絡(luò)相互造成干擾。理論上這種方案結(jié)合了前面兩種方案的優(yōu)化，同時(shí)避免了其缺點(diǎn)，希望經(jīng)過調(diào)試后能夠在我們的場(chǎng)景上推全這種方案，進(jìn)一步整合精排模型的能力。
- 個(gè)性化融合多目標(biāo)模型
2.4 新用戶冷啟動(dòng)
新用戶冷啟一直是業(yè)界的難點(diǎn)，主要體現(xiàn)在以下三點(diǎn)。為了解決這些問題，業(yè)界也有很多經(jīng)典的工作，比如基于元學(xué)習(xí)的新用戶MeLU、FORM模型等等，這些方案都是希望為新用戶賦予比較靠譜的初始值，通過動(dòng)態(tài)學(xué)習(xí)率快速調(diào)整從而收斂，但在實(shí)際應(yīng)用時(shí)往往效果不佳。
- 新用戶行為稀疏，對(duì)推薦結(jié)果更敏感
- 訓(xùn)練集新老用戶樣本分布不均勻，新用戶樣本占比往往低于1%
- 新用戶人群和老用戶人群特點(diǎn)差異大，由于老用戶的主導(dǎo)，會(huì)導(dǎo)致模型難以捕捉到新用戶人群行為模式
我們?cè)诘梦锷鐓^(qū)首頁雙列流場(chǎng)景上也對(duì)新用戶冷啟動(dòng)做了嘗試，提升新用戶冷啟效率?；趯?duì)業(yè)務(wù)數(shù)據(jù)的分析和判斷，從可推池、召回到精排、打散整個(gè)鏈路與主場(chǎng)景獨(dú)立出來進(jìn)行迭代，針對(duì)新用戶特殊性，在精排層面從特征到模型結(jié)構(gòu)均進(jìn)行了單獨(dú)的設(shè)計(jì)。
對(duì)于新用戶冷啟任務(wù)，個(gè)人認(rèn)為如下技巧都是可以嘗試的，在不同業(yè)務(wù)場(chǎng)景可能會(huì)有不一樣的收益。
- 新用戶樣本重采樣或者Loss加權(quán)，增加新用戶樣本的話語權(quán)
- 構(gòu)造能夠表征新用戶人群的特征，比如新用戶標(biāo)識(shí)、用戶首次訪問時(shí)間等等
- 用戶人群id代替新用戶id，緩解新用戶id學(xué)習(xí)不充分
- 從模型結(jié)構(gòu)上突出新用戶相關(guān)的特征，增加新用戶特征的話語權(quán)
在我們的場(chǎng)景上，第一版模型是基于新用戶有效點(diǎn)擊的時(shí)長(zhǎng)加權(quán)CTR模型，模型會(huì)更關(guān)注用戶消費(fèi)時(shí)長(zhǎng)高的內(nèi)容，從而幫助模型學(xué)習(xí)到新用戶的興趣點(diǎn)。為了進(jìn)一步提升模型對(duì)不同新用戶興趣捕獲能力，我們通過在模型結(jié)構(gòu)上的設(shè)計(jì)了多目標(biāo)poso模型，緩解新用戶行為和樣本稀疏的問題。通過在模型結(jié)構(gòu)層面做到個(gè)性化，為相關(guān)人群帶來更好的體驗(yàn)，全量后新用戶ctr相對(duì)+2.69%，人均推薦時(shí)長(zhǎng)相對(duì)+3.08%，人均互動(dòng)數(shù)相對(duì)+18%，新用戶次留相對(duì)+1.23%。
- 多目標(biāo)poso模型
3、展望
本文主要介紹了面對(duì)業(yè)務(wù)中不斷出現(xiàn)的挑戰(zhàn)，我們從特征、樣本、多目標(biāo)建模和新用戶冷啟動(dòng)等方向做的一些具體解法以及取得的一些進(jìn)展。除了這些已經(jīng)落地的技術(shù)外，我們還在其他方向了進(jìn)行了探索，包括流行度糾偏、用戶深度興趣、FeatureStore以及超大規(guī)模分布式稀疏大模型，希望在后續(xù)進(jìn)一步釋放算法紅利，保障和促進(jìn)業(yè)務(wù)的增長(zhǎng)。
4、引用
[1] Chen Y , Jin J , Zhao H , et al. Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction[J]. 2022.
[2] Lee H , Im J , Jang S , et al. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation[J]. ACM, 2019.
[3] Sun X, Shi T, Gao X, et al. FORM: Follow the Online Regularized Meta-Leader for Cold-Start Recommendation[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 1177-1186.
[4] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.
[5] Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1930-1939.
[7] Guo H, Tang R, Ye Y, et al. DeepFM: a factorization-machine based neural network for CTR prediction[J]. arXiv preprint arXiv:1703.04247, 2017.
[8] Naumov M, Mudigere D, Shi H J M, et al. Deep learning recommendation model for personalization and recommendation systems[J]. arXiv preprint arXiv:1906.00091, 2019.
[9] Zhang W, Qin J, Guo W, et al. Deep learning for click-through rate estimation[J]. arXiv preprint arXiv:2104.10584, 2021.
網(wǎng)站標(biāo)題：得物社區(qū)推薦精排模型演進(jìn)
本文URL：http://www.5511xx.com/article/ccejhjh.html
