作者：京東零售谷偉

1.商品搜索

1.1網路購物的搜索手段

隨著移動互聯網發展，手機端購物已成為人們生活的常態，人們在搜索商品時采用的手段也越來越豐富，當前的主要搜索方式是文本搜索與拍照搜索，

1.2文本搜索

文本搜索應用比較廣泛，較為常用的是關鍵字匹配，針對商品資訊的相關描述進行分詞，并對分詞建立索引庫，從而達到查找的目的，隨著人工智能的發展，語意搜索得到了快速的發展，它通過用戶輸入的搜索內容來理解用戶真正的意圖，從而獲得更有價值的內容，其本質是將所有要搜索的內容轉化為高維數學向量，用統一的特征向量來描述不同內容，把檢索輸入的內容向量化，并與要搜索的內容進行向量匹配，把相似度最高的結果展現出來，

1.3拍照搜索

拍照搜索也就是以圖搜圖，是近幾年的視覺AI發展的一個產物，用戶登錄電商平臺，可以通過上傳圖片，經過影像分析與識別來查找相似的商品主圖，從而找出相關的商品，其基本原理是經影像分析抽取影像的顏色、形狀、紋理等特征，建立特征索引庫，對用戶上傳的影像進行特征化描述，從索引庫中查找出與之近似的特征影像，

2. 現狀分析

2.1需要專業人員參與

文本搜索需要文本描述的支持，也就是需要對短視頻進行文本描述，需要人員對短視頻進行準確的文本描述，尤其描述中要含有代表其商品的關鍵詞，否則可能難以被搜索引擎所命中，這對視頻的發布人員產生了一定的門檻，增加搜索命中的難度，

拍照搜索主要是對商品的主圖進行特征匹配，這也就需要商品發布人員要制作盡可能與之匹配的圖片，尤其需要美工設計人員的參與，從而增加了人力成本，

2.2難以支持短視頻搜索

隨著近幾年自媒體的發展，短視頻逐漸成為互聯網資訊傳播的主要手段，而短視頻可以認為是大量圖片的集合，不可能對短視頻的每張圖片建立特征索引，因為這會浪費大量的計算機算力，

3. 技術方案

3.1 技術問題

以前商品介紹主要以圖文方式來展現商品，不僅要展示商品主圖還要配細節圖，以及產品引數，從而達到全面涵蓋產品資訊的能力，而短視頻能夠全方位的展示商品，并搭配語言描述以及背景音樂，可進一步形象的給消費者介紹商品的功能，給顧客更直觀的體驗，有助于促進下單，同時商家制作的短視頻可將其推送到自媒體平臺上，便于給商品引流，提高商品銷量，從而拓寬了銷售市場，

因此短視頻營銷相對于圖文營銷更有優勢，如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻，是本發明所要解決的主要問題，本方案主要解決的是商品短視頻搜索，按照類目維度對商品短視頻進行篩選，并提高視頻搜索的命中率，為商品短視頻搜索建立橋梁，

3.2 技術方案

3.2.1 流程圖

流程圖：

3.2.2 詳細描述

1.關鍵幀提取

賣家在制作好商品介紹的短視頻后，在發布商品時對短視頻進行上傳，視頻時長不能超過2分鐘，對該視頻進行關鍵幀提取，視頻是由一組連續的影像組成，如果每張圖片都存盤下來，則會導致視頻檔案過大，因此視頻都會被壓縮，在壓縮程序中，產生了I幀、P幀、B幀，I幀是畫面的完整保存，它盡可能去除了影像空間的冗余資訊；P幀則是記錄與前一個關鍵幀的差別；B幀是記錄本幀與上一幀和下一幀的差別，

因此只需提取出I幀即可，在MPEG-4標準中，stss部分標識了哪些sample是關鍵幀，如果沒有stss則全部sample是關鍵幀，當獲取的關鍵幀太多時，以時間軸維度，隨機選取20幀的影像供商家選擇，把商家選取的5張圖片與視頻檔案一同保存到檔案資料庫中，

Mp4標準

Box型別	說明
ftyp						檔案型別
moov						記錄媒體資訊
	mvhd					視頻檔案資訊，如時長、創建時間等
	track					存放視頻的容器
		tkhd				媒體總體資訊，如寬高等
		mdia				媒體容器
			mdhd			換算真實事件
			hdlr			媒體型別，指明是video、audio、hint
			minf			媒體資訊容器
				stbl		偏移映射關系表
					stsd	sample描述
					stts	時戳-sample序號映射表
					stsc	sample與chunk的映射表
					stsz	sample的大小
					stz2	另一種存盤sample的大小，更節省空間
					stss	關鍵幀串列（從該處獲得I幀）
					stco	每個chunk的偏移
					co64	64位chunk的偏移
mdat						具體的媒體資料

2.特征向量計算

本次的特征向量計算采用的是VGG16模型，由于關鍵幀的圖片都是彩色圖片，因此采用3通道，卷積核為3×3，池化核為2×2，以224×224的視頻影像為例，程序如下：

輸入影像大小為224×224×3，經64個通道的卷積核3×3，步長為1，共卷積2次，輸出尺寸為224×224×64的特征向量，進行池化，采用池化核2×2，步長為2，輸出尺寸為112×112×64的特征向量，
經128個3×3的卷積核，步長為1，卷積2次，尺寸變為112×112×128，進行池化，步長為2，輸出尺寸為56×56×128，
經256個3×3的卷積核，步長為1，卷積3次，尺寸變為56×56×256，進行池化，步長為2，輸出尺寸為28×28×256，
經512個3×3的卷積核，步長為1，卷積3次，尺寸變為28×28×512，進行池化，步長為2，輸出尺寸為14×14×256，
經512個3×3的卷積核，步長為1，卷積3次，尺寸變為14×14×512，進行池化，步長為2，輸出尺寸為7×7×256，
將資料拉平成一維陣列，7×7×256=25088，
經兩層1×1×4096與一層1×1×1000的全連接層，最終輸出1×1000的特征向量，