前不久對某個商品推薦業務場景進行了優化，經歷近2個月的迭代，線上效果復盤，現將一些小感悟整理一下，出于隱私保護需要，文中不會涉及到具體資訊，
- 養成好的習慣
首先是模型迭代習慣上的改進，剛入職那會兒覺得自己能記住每次的改動就沒有做詳細的記錄，看起來也沒有啥問題，后面業務逐漸忙了起來，日常作業會在不同業務中切來切去，有時候上線一個模型后沒有很詳細的記錄改動情況，等迭代個幾次回過頭來復盤效果自己都覺得頭大，從那以后自己每次迭代后一定會做一個比較詳細的記錄，這樣復盤時就會一目了然，做了哪些改動有什么效果，
- 科學的驗證方式
感受到了工業界和學術界做實驗的一個不同就是，做學術拿資料集跑一下，只要出了結果效果好就可以開始寫論文了，作業中在業務線上面驗證一個模型是否有用，往往需要經歷一個時間段才有比較準確的結論，因為會受到產品周期，活動投放等因素的影響，需要一個時間段來平滑這些因素的影響，此外科學的A/B test以及對比方式也是得到客觀結論的保證，比如理解相對指標和絕對指標之間的差異，如何通過科學的分桶來消除其他業務，活動投放，消費層次分布不均對效果驗證的影響，然后就是需要形成一些資料分析的直覺去規避直線思維中的一些陷阱，比如我在資料分析一欄提到的【辛普森悖論】就是一個很好的例子，
- 業務指標和優化指標之間的gap
最后一個感悟也是自己覺得比較難的一個點，就是業務指標和推薦演算法優化指標之間的gap，一般來說，商品推薦演算法如果推送的是消費者喜歡的，能拉動消費者消費那么就被認為是有效的，這種情況下，優化指標設定為精確率，召回率，auc，top-n命中，消費額等指標就和業務指標關聯比較大，優化起來也是比較直接的一個導向，但是在實際業務中可能面臨著不同場景之間的相互影響，常見的有消費轉移，消費透支等問題，舉個栗子，消費者會在場景a和場景b購物，而你負責場景a這一塊的優化，消費者在a場景消費了很多，但也可能會影響到在場景b的消費意愿，但是業務指標是需要提升整體消費額，所以你a場景推薦做的再好也不意味著業務指標的直接提升，這時候要優化的目標不僅包括a場景的各項指標，同時也得考慮對其他場景的影響，對于這種問題就比較靈活了，最直接的思路就是自行設計一個和業務指標更加相關的優化指標，或者是結合業務經驗去對推薦結果進行一些后處理，也有在調研強化學習的一些方案，以后有機會可以嘗試一下，
目前想到的這么多，以后每隔段時間會來更新一下~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/249853.html
標籤：AI
上一篇：LTE/OFDM
下一篇：【ArcGIS風暴】ArcGIS平臺實作中國地表覆寫資料GlobeLand30預處理（批量投影、拼接、掩膜提取）