hi各位大佬好，我是小明哥，溫故而知新，因此有些代碼就是要常看，說不定會有意想不到的識訓，本文是在舊版本YouTube的代碼理解上進一步決議，查看sequence_mask的含義，盡管之前已經有了初步理解，但仍舊不夠，
For Recommendation in Deep learning QQ Second Group 102948747
For deep learning QQ Group 629530787
I'm here waiting for you
不接受這個網頁的私聊/私信！！
本寶寶長期征集真實情感經歷（發在我公號：美好時光與你同行），長期接受付費咨詢（啥問題都可），付費改代碼，付費咨詢，專屬服務，快人一步！！！
1-pad_sequences補零的方法
一般user點擊序列為[1,2,3,4,5,6]，按照先后順序點擊了6個，如果設定的是長度最大為10的seq，那么后面要補零操作，train_seqs=[1,2,3,4,5,0,0,0,0,0],target=[6],mask=[1,1,1,1,1,0,0,0,0,0],這是新版本所用的方法,然鵝舊版本是倒序的，train_seqs=[5,4,3,2,1,0,0,0,0,0]，其他不變
>>> seq
[5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[5, 4, 3, 2, 1, 0, 0, 0, 0, 0]], dtype=int32)
>>> seq
[12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[12, 11, 10, 9, 8, 7, 6, 5, 4, 3]], dtype=int32)
這是兩個例子，意思是越靠近現在的點擊越重要，
2-mask理解，假設max_len=10
>>> u_hist_len=user_features[feature_length_name]
>>> u_hist_len
<tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>
>>> mask = tf.sequence_mask(u_hist_len,10, dtype=tf.float32)
>>> mask
<tf.Tensor 'Cast_1:0' shape=(None, 1, 10) dtype=float32>
>>> mask = tf.transpose(mask, (0, 2, 1))
>>> mask
<tf.Tensor 'Transpose:0' shape=(None, 10, 1) dtype=float32>
mask = tf.tile(mask, [1, 1, embedding_size])
>>> mask = tf.tile(mask, [1, 1, 16])
>>> mask
<tf.Tensor 'Tile:0' shape=(None, 10, 16) dtype=float32>
u_hist_len是用戶點擊的item個數，embedding_size是item embedding維度（假設為16）
到此，可以看出與之前的理解并無二致，只不過之前是取代了sequence_mask的作用，而是手動寫出的mask
3-聚合方式
上述得到的mask與seq_input點乘得到序列embedding，然后除以點擊item的個數u_hist_len
>>> seq_input2=tf.keras.Input(shape=(10,16),dtype=tf.float32)
>>> hist_emb = tf.reduce_sum(seq_input2 * mask, 1, keepdims=False)
>>> hist_emb.shape
TensorShape([None, 16])
hist_emb = tf.divide(hist_emb , tf.cast(u_hist_len, tf.float32)+1e-9)據此得到的item序列emb與user_emb拼接得到user_emb（初步），然后經過三層左右的dense得到最終的user_emb,這就是舊版YouTube的思想，
4-sampled_softmax_loss
這個玩意之前ComiRec中也是同樣的操作，事實說明是一樣的，融會貫通只在一剎那！
tf.nn.sampled_softmax_loss(weights=item_embs,
biases=zero_bias,
labels=item_target,
inputs=user_embs,
num_sampled=100,
num_classes=item_count,
)5-獲取user_emb向量
訓練完成后，之前的新版YouTube及SRGNN，ComiRec等模型中，均是采用分批過模型的方式得到user_emb，這就比較Low了，而舊版YouTube則無需分批，直接由輸入到輸出，相當牛逼，
分析后發現，只是采用了下面的做法，輸入和輸出指定即可，這種看起來稍微高端點，哈哈
model.__setattr__("user_input", user_inputs_list)
model.__setattr__("user_emb", user_dnn_out)
>>> user_inputs_list
[<tf.Tensor 'user_id_1:0' shape=(None, 1) dtype=int32>, <tf.Tensor 'hist_item_id_1:0' shape=(None, max_len) dtype=int32>, <tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>]
user_model = tf.keras.Model(inputs=model.user_input, outputs=model.user_emb)
UserEmbeddings = user_model.predict(test_input, batch_size=**)愿我們終有重逢之時，而你還記得我們曾經討論的話題，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297407.html
標籤：AI