我已將 Sentiment140 資料集用于 twitter 進行情感分析
代碼：
從推文中獲取單詞：
tweet_tokens = []
[tweet_tokens.append(dev.get_tweet_tokens(idx)) for idx, item in enumerate(dev)]
從令牌中獲取未知單詞
words_without_embs = []
[[words_without_embs.append(w) for w in tweet if w not in word2vec] for tweet in tweet_tokens]
len(words_without_embs)
代碼的最后一部分，計算向量作為左右詞（背景關系）的平均值
vectors = {} # alg
for word in words_without_embs:
mean_vectors = []
for tweet in tweet_tokens:
if word in tweet:
idx = tweet.index(word)
try:
mean_vector = np.mean([word2vec.get_vector(tweet[idx-1]), word2vec.get_vector(tweet[idx 1])], axis=0)
mean_vectors.append(mean_vector)
except:
pass
if tweet == tweet_tokens[-1]: # last iteration
mean_vector_all_tweets = np.mean(mean_vectors, axis=0)
vectors[word] = mean_vector_all_tweets
有 1058532 個字，這段代碼的最后一部分作業很慢，大約每分鐘 250 個字。
你如何提高這個演算法的速度？
uj5u.com熱心網友回復：
代碼緩慢的主要原因之一是檢查tweet_tokens. 因此，您的實作的時間復雜度為1e6 * |tweet_tokens|。
1）第一次改進（減少搜索和比較）
但是，您可以通過tweet先對每個進行標記，然后找到單詞的索引來做得更好。如果您在現有單詞上構建了一本詞典，則最多可以log(1e6) ~ 25從單詞詞典中找到單詞標記的索引。因此，在這種情況下，時間復雜度最多為25 * |tweet_tokens|。因此，您可以1e6/25 = 40000更快地提高代碼性能！
2) 第二次改進（減少 Word2Vec 計算）
此外，你總是在計算不同推文中同一個詞的向量。因此，每個字的矢量將被計算f-times即f是在鳴叫單詞的頻率。一個合理的解決方案是一次計算所有單詞的向量words_without_embs（它可以是一個離執行緒序）。然后，例如，根據單詞詞典中單詞的索引存盤所有這些向量（以某種方式根據單詞查詢快速找到它們）。最終，只需從準備好的資料結構中讀取它以進行平均計算。在這種情況下，除了 40000 倍的改進之外，您還可以通過推文中所有單詞頻率之和的系數來提高代碼的性能。
uj5u.com熱心網友回復：
這看起來可以很好地與一些小的編輯并行。
- 您能否將最后一個
if tweet == tweet_tokens[-1]:塊向上移動一個級別并洗掉它的“if”陳述句？這本身只會帶來輕微的速度提升，但是有了它，您可以更有效地并行化代碼。 - 考慮使內部 for 回圈成為自己的函式并通過多執行緒設定呼叫它。（有關說明和示例，請參閱本站點上的ThreadPoolExecutor 和 thread_function() 。）然后，您可以為單個機器上的每個處理器或分布式環境中的每個 VM 擁有一個單獨的執行緒。這應該允許更有效的縮放。
- 以上面@DarrylG 的評論為基礎，重構這些串列推導式以避免將 .append() 與現有串列一起使用。.append() 比等效的串列理解要慢。例如，更改
[tweet_tokens.append(dev.get_tweet_tokens(idx)) for idx, item in enumerate(dev)]為tweet_tokens = [dev.get_tweet_tokens(idx) for idx, item in enumerate(dev)]。
uj5u.com熱心網友回復：
處理未知單詞的更常見（并且可能更好）的策略包括：
- 訓練/使用模型，如 FastText，可以為詞匯外 (OOV) 詞提供猜測向量
- 獲取更多的訓練資料，因此可以從實際用法中學習更多未知詞的向量
- 完全忽略生詞
您似乎決定通過對所有直接鄰居求平均值來為 OOV 詞合成新向量。我不認為這會特別有效。在詞向量的多種下游使用中，它只是傾向于過重詞的背景關系中的鄰居——這也可以通過完全忽略未知詞來非常簡單/廉價地實作。
但考慮到您想要做什么，最好的方法是在標識words_without_embs.
例如，創建words_without_embsa dict（或者可能是 a DefaultDict），其中每個鍵是一個需要向量的單詞，每個值是list您迄今為止找到的所有相鄰單詞的a 。
然后，對 的一次回圈tweet_tokens將words_without_embs用需要向量的詞的鍵填充 ，同時用目前看到的所有相鄰詞填充這些值。
然后，對words_without_embs鍵的最后一次回圈將簡單地獲取現有的相鄰詞串列以進行平均。（沒有更多的多次通過tweet_tokens。）
但同樣：所有這些作業可能不會勝過簡單地洗掉未知單詞的基線做法。
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/344371.html
標籤：Python 算法 机器学习 无印良品 word2vec
上一篇：計算尺寸等級
下一篇：從1到n的二進制數計數