我無法理解一維全域平均池化對嵌入層的作用。我知道嵌入層就像查找表。如果我有tf.keras.layers.Embedding(vocab_size=30, embedding_dim=7, input_length=10)，前饋矩陣10 rows x 7 columns或 3D 張量后的輸出是1 row x 7 columns x 10 length？
如果是10 rows x 7 columns，它是否取每行的平均值并輸出形狀的單個向量10 row x 1 columns？
如果是1 row x 7 columns x 10 length，它是否取每個向量的平均值并輸出一個同樣形狀的向量10 row x 1 columns？
uj5u.com熱心網友回復：
對于您的第一個問題：張 量流中嵌入層的輸出是什么？
該Embedding層將表示詞匯表中唯一單詞的序列中的每個整數值映射到 7 維向量。在以下示例中，您有兩個序列，每個序列有 10 個整數值。這些整數值的范圍可以從 0 到 30，其中 30 是詞匯表的大小。每個序列的每個整數值都映射到一個 7 維向量，從而得到輸出形狀(2, 10, 7)，其中 2 是樣本數，10 是序列長度，7 是每個整數值的維度：
import tensorflow as tf
samples = 2
texts = tf.random.uniform((samples, 10), maxval=30, dtype=tf.int32)
embedding_layer = tf.keras.layers.Embedding(30, 7, input_length=10)
print(embedding_layer(texts))
tf.Tensor(
[[[ 0.0225671 0.02347589 0.00979777 0.00041901 -0.00628462
0.02810872 -0.00962182]
[-0.00848696 -0.04342243 -0.02836052 -0.00517335 -0.0061365
-0.03012114 0.01677728]
[ 0.03311044 0.00556745 -0.00702027 0.03381392 -0.04623893
0.04987461 -0.04816799]
[-0.03521906 0.0379228 0.03005264 -0.0020758 -0.0384485
0.04822161 -0.02092661]
[-0.03521906 0.0379228 0.03005264 -0.0020758 -0.0384485
0.04822161 -0.02092661]
[-0.01790254 -0.0175228 -0.01194855 -0.02171307 -0.0059397
0.02812174 0.01709754]
[ 0.03117083 0.03501941 0.01058724 0.0452967 -0.03717183
-0.04691924 0.04459465]
[-0.0225444 0.01631368 -0.04825303 0.02976335 0.03874404
0.01886607 -0.04535152]
[-0.01405543 -0.01035894 -0.01828993 0.01214089 -0.0163126
0.00249451 -0.03320551]
[-0.00536104 0.04976835 0.03676006 -0.04985759 -0.04882429
0.04079831 -0.04694915]]
[[ 0.02474061 0.04651412 0.01263839 0.02834389 0.01770737
0.027616 0.0391163 ]
[-0.00848696 -0.04342243 -0.02836052 -0.00517335 -0.0061365
-0.03012114 0.01677728]
[-0.02423838 0.00046005 0.01264722 -0.00118362 -0.04956226
-0.00222496 0.00678415]
[ 0.02132202 0.02490019 0.015528 0.01769954 0.03830704
-0.03469712 -0.00817447]
[-0.03713315 -0.01064591 0.0106518 -0.00899752 -0.04772154
0.03767705 -0.02580358]
[ 0.02132202 0.02490019 0.015528 0.01769954 0.03830704
-0.03469712 -0.00817447]
[ 0.00416059 -0.03158562 0.00862025 -0.03387908 0.02394537
-0.00088609 0.01963869]
[-0.0454465 0.03087567 -0.01201812 -0.02580545 0.02585572
-0.00974055 -0.02253721]
[-0.00438716 0.03688161 0.04575384 -0.01561296 -0.0137012
-0.00927494 -0.02183568]
[ 0.0225671 0.02347589 0.00979777 0.00041901 -0.00628462
0.02810872 -0.00962182]]], shape=(2, 10, 7), dtype=float32)
處理文本資料時，Embedding層的輸出將是 2 個句子，每個句子由 10 個單詞組成，其中每個單詞映射到一個 7 維向量。
如果您想知道每個序列中每個整數的這些亂數來自哪里，默認情況下該Embedding層使用均勻分布來生成這些值。
你的第二個問題： 一維全域平均池化對嵌入層有什么作用？
該層GlobalAveragePooling1D只是簡單地計算張量中給定維度的平均值。以下示例計算每個序列中代表一個單詞的 7 個數字的平均值，并為每個單詞回傳一個標量，從而得到輸出形狀(2, 10)，其中 2 是樣本（句子）的數量，10 表示每個單詞的平均值. 這相當于簡單地做tf.reduce_mean(embedding_layer(texts), axis=-1).
import tensorflow as tf
samples = 2
texts = tf.random.uniform((samples, 10), maxval=30, dtype=tf.int32)
embedding_layer = tf.keras.layers.Embedding(30, 7, input_length=10)
average_layer = tf.keras.layers.GlobalAveragePooling1D(data_format = "channels_first")
print(average_layer(embedding_layer(texts)))
uj5u.com熱心網友回復：
GlobalAveragePooling1D 通過沿某個維度的值取平均值來減少矩陣的維度。
從keras 檔案來看，這一層有一個data_format論點。默認情況下，這"channels_last"意味著它將保留最后一個通道，并沿另一個通道取平均值。
這是一個示例模型：
model = Sequential([
Input((10)),
Embedding(30, 7, input_length=10),
GlobalAveragePooling1D()
])
model.summary()
輸出：
Model: "sequential_1"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
embedding_1 (Embedding) (None, 10, 7) 210
global_average_pooling1d (G (None, 7) 0
lobalAveragePooling1D)
=================================================================
Total params: 210
Trainable params: 210
Non-trainable params: 0
_________________________________________________________________
如您所見，樣本的維度從 (10, 7) 減少到 (7)，這意味著它回傳給定嵌入的平均值。
如果你設定data_format = "channels_first"，就像這里
model = Sequential([
Input((10)),
Embedding(30, 7, input_length=10),
GlobalAveragePooling1D(data_format = "channels_first")
])
model.summary()
輸出：
Model: "sequential_2"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
embedding_1 (Embedding) (None, 10, 7) 210
global_average_pooling1d (G (None, 10) 0
lobalAveragePooling1D)
=================================================================
Total params: 210
Trainable params: 210
Non-trainable params: 0
_________________________________________________________________
這里樣本的維度從 (10, 7) 減少到 (10)，這意味著它回傳給定的每個嵌入中值的平均值。什么樣的沒有意義，因為您可以將 設定embedding_dim為 1 并獲得相同的結果。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/402827.html
標籤：