博主的小前言

博主前幾天讀到了一篇文獻（Deep Learning for EEG-Based Preference Classification in Neuromarketing ），甚是震撼，覺得這篇文獻簡直是教科書級別的論文，特別適合小白入門腦機介面領域，文獻對神經營銷相關的知識整理得比較到位，雖然還說不上100%全面和完整，但也給人很好的概念和框架，實在忍不住把論文列印下來做了手寫版筆記，并整理發一篇論文解讀，

總結感悟：此文獻不僅對神經營銷，腦機介面等基本概念進行解說、調研和綜述，還解釋了腦電的幾種經典瞬時活動、節律、評價偏好的性能指標以及業內主流演算法，并總結前人基于腦電作業的應用場景和所用所用演算法及其精確度，還介紹了幾種模型的評估方法和驗證方法，設計了腦電信號的特征提取方法，構建了一個DNN網路，還介紹對比幾種損失函式，對比幾種演算法模型下的幾種評估和驗證方法，以及演算法內的幾種損失函式，以得最優結果，

此文獻例外精細，極適精讀，博主認為堪稱教科書級文獻，

宣告：關于文章的解讀內容，為節省篇幅，博主僅憑借自己淺薄的知識去總結概括出文獻每一部分博主覺得很重要或者比較關鍵的點（可是花了很多時間總結很多小框架出來呢），其他內容也是很值得去細讀的，（想精讀原文的，論文原文和手寫版筆記都可以跳轉上面的鏈接免費獲取噢）
注：如有什么理解不到位的地方，歡迎指正哈，

1 介紹 Introduction

神經營銷是一個新興的領域，它利用神經科學將消費者行為的認知和情感方面聯系起來， 自2002年誕生以來，這一領域在廣告和營銷專家中迅速獲得了信譽，許多這樣的專家正在采用神經營銷策略[1]，神經營銷可以幫助營銷者理解消費者的大腦如何評價不同的品牌，并認識到影響消費者在購買產品時選擇的因素，已有研究表明，人們并不總是明確自己的偏好或意圖[2]，使用傳統的營銷工具，如訪談和問卷，來評估消費者的偏好、需求和購買意圖，可能會導致產生有偏見或不正確的結論[3，4]， 同樣，口頭表達偏好可能會產生有意識或無意識的偏見， 由于高昂的產品成本、倫理謹慎的考慮，或者產品在評估時還沒有發明，直接通過選擇來獲取消費者的偏好是困難的[3]，這些要素突出了可用性評估程序中用戶的意見與他們對產品使用的實際意見、感受和感覺之間的矛盾[4]，因此，神經營銷需要更有效的方法來評估消費者行為，

本研究采用腦電信號作為腦-機介面系統的輸入腦電信號，使用分類演算法，BCI可以被用作神經測量，從大腦信號中區分偏好模式，并將它們轉化為促銷產品的行動，此外，實作并檢驗了深度神經網路(DNN)的性能，為偏好分類的基準資料集建模，本研究的主要目的是深入研究神經營銷中基于腦電的偏好識別，通過比較深度學習與其他傳統分類演算法(如支持向量機(SVM)、隨機森林(RF)和k近鄰(KNN))的性能，以提高分類預測的準確性，

2 研究背景 Background

2.1 神經營銷 Neuromarketing

大約90%的資料是在人類頭腦中潛意識處理的，對潛意識活動的評價比傳統的營銷研究更準確地揭示了消費者的真實偏好，

除了腦機介面，還有其他幾種神經營銷方式，如眼球跟蹤、皮膚電反應、皮膚電導、面部編碼和面部肌電圖，每種模態記錄不同的神經測量[11]，

眼球跟蹤用于確定眼球位置和眼球運動，以掌握消費者對營銷刺激的注意力和自然反應，皮膚電反應衡量的是水分活動，這與情緒狀態有關，肌電圖用于評估面部肌肉的生理特征，面部編碼通過面部表情測量情緒狀態，

2.2 腦機介面 BCIs

BCI是神經營銷領域最有前途的神經成像技術之一， 該技術有助于促進用戶和計算機系統之間的有效通信，BCI不需要任何神經、肌肉或運動干擾來發出命令[5]，并利用自愿產生的用戶大腦活動通過信號控制系統與附近環境進行通信或互動，這樣的環境可以包括輪椅、假臂/手，以及涉及到熟練的可視化、數字繪畫和玩游戲的娛樂應用程式[6]，

非侵入性BCI可以記錄不同的神經成像技術，如EEG、fNIRS、fMRI、PET、MEG、SST和TMS，EEG比fNIRS具有更好的時間解析度， fNIRS在神經營銷研究中是一種相對較新的神經成像技術，然而，最近的fNIRS研究仍處于實質性的驗證階段[13，14]，腦電圖最常用于神經營銷研究，因為它的優點將在下一小節詳細介紹，

2.3 腦電波 EEG

EEG有以下主要優點：它是非侵入性的、便攜的、經濟實惠的、使用相對簡單的，并且它具有卓越的時間解析度(高達毫秒)， 然而，與其他技術相比，信噪比和空間解析度受到了限制， 然而，EEG被認為是實作重復的、實時的大腦互動分析的 唯一實用的、非侵入性的BCI輸入 [5-7]，

國際10-20系統是一種根據電極在頭皮上的位置來命名電極的方法，該方法涉及與電極間空間有關的資訊，具體地說，相鄰電極之間的距離是頭皮直徑的10%或20%，如圖1所示，10-20標準經常用于不同的腦電系統，以提高信號的可靠性并降低信噪比[5，7]，

Right hemisphere: 右半球
Left hemisphere: 左半球
Mid Line: 中線
F: Frontal lobe: 額葉
T: Temporal lobe: 顳葉
P: Parietal lobe: 頂葉
O: Occipital lobe: 枕葉
Mid line: 中線

大腦產生豐富的神經活動，這些活動可以被捕獲為腦機介面的腦電信號，這些神經活動包括兩種型別：(1)節律；(2)瞬時活動， 腦電圖活動可以根據這些型別的活動進一步分類[6，7]，

2.3.1 節律 Rhythms

節律、神經振蕩或腦波都是神經活動的重復形式，
節律是對神經元組的集體突觸、神經元和軸突活動的測量，
腦電活動的特征是將頻率分離成頻帶，表示為δ、θ、α、β、γ和μ節律，
表1詳細列出了腦電節律、頻率、幅度和形狀的范圍，以及這些活動最常見的大腦區域，以及通常與頻帶型別相關的事件[6，7]，
這些頻段與情感反應有關：

• 大腦中央前部的 θ 帶反映了消費者看產品時的情緒處理程序，

• 前額葉皮質上的 α 波段區分了積極和消極的情緒效價，

• β 波段與情感喚醒程序中的變化有關，

• γ 波段在很大程度上與喚醒效應有關[15]，
  
  上表顯示了節對應的人的基本狀態，總結如下：

• δ：深度睡眠

• θ：困倦，睡眠的第一步

• α：運動

• β：打開并集中注意力

• γ：高度清醒，警覺和專注

• μ：更高級的精神活動，包括直覺和意識

2.3.2 瞬時活動 Transient activities

瞬時活動或場電位以類似于棘波的方式復制某些神經元的動作電位，這些尖峰可以通過它們的位置、頻率、幅度、形狀、重復性和操作特性來識別，

事件相關電位(ERPs)和事件相關頻譜擾動(ERSPs)是常見的瞬態活動型別[3，16]，

ERP是最常見的尖峰，是對特定事件或刺激的反應，這些尖峰的振幅極小，因此，必須在多次迭代中對腦電樣本進行平均，以發現事件相關電位并消除噪聲波動[16]，

表2列出了神經營銷研究中常用的事件相關電位，

上表介紹了常用于神經營銷的瞬時活動，總結如下：

3 文獻綜述 Literature Review

腦電圖可以用來確定消費者的喜好，為了在消費者神經科學研究中更好地利用腦電圖，必須了解消費者偏好背后的心理程序，
這一部分詳細介紹了基于EEG的偏好識別，特別是 偏好的神經關聯、偏好的預測特征和偏好分類演算法，

3.1 偏好中的神經相關性 Neural Correlations of the Preference

盡管許多研究人員[24-26]已經證明內側-額葉皮質負責偏愛功能，但對于應該在同一大腦區域使用哪些電極還沒有達成共識，
圖2為腦電圖電極和相關的神經功能，

表3總結了偏好識別研究中使用的電極位置，

對上表及其解釋總結如下表：

EEG指數在文獻回顧的基礎上，我們確定了四個用于評價人們對營銷刺激反應的自主EEG指數：

3.1.1 接近-退縮動機指數 AW Index

AW指數也被稱為前額α不對稱， 表示動機、欲望或接近回避， 解釋如下：

計算公式如下：注意alpha(F4)表示的是F4通道 α 頻段的功率譜密度，

3.1.2 努力指數 Effort Index

努力指數努力指數被定義為前額葉皮質的額葉θ活動，額葉區域較高的θ能力 與較高的任務難度和復雜性有關，這一指標是由 精神疲勞引起 的認知程序的標志[33]，這一因素證明了正面和負面情緒處理對于在廣告程序中創造穩定記憶痕跡的重要性[30]，

3.1.3 選擇指數 Choice Index

選擇指數選擇指數是根據額葉的非對稱 γ 和 β 振蕩來定義的，這兩種振蕩大多 與實際決策階段有關 ，在評估消費者的偏好和選擇時，它也是 與支付意愿反應最相關 的因素，特別是在 γ 頻段， γ 和β波段的值越高，表明左側前額葉區域的激活越強，而值越低，右側區域的激活越強[32]，
Ramsoy 等人根據公式(2)，使用電極AF3和AF4分別計算每個波段( γ 和 β)的選擇指數：

3.1.4 效價 Valence

額葉不對稱與以 效價(即顧客情緒狀態的方向) 表示的偏好有關，左右額葉激活分別與正價和負價相關，許多研究都支持這樣的假設，即額部腦電圖的不對稱性是效價的一個指標[34]，

3.2 偏好的預測特征 Predictive Features for Preferences

本節集中在神經科學方法的預測特征上，這些方法可以幫助營銷者預測消費者的偏好，

接著作者對前人的研究做了個表格總結，
基于刺激內容、分析的信號型別、分析什么具體的節律或者瞬時活動、分析什么神經信號（腦電還是眼電之類），

3.2.1 節律作為特征 Rhythms as Features

（這里作者參考一些綜述來證明節律與偏好有關）

3.2.2 瞬時活動作為特征 Transient Activities as Features

3.2.2.1 N400

N400與產品和品牌的無意識概念分類有關，與有意識評估無關，

3.2.2.2 N200

N200指示自發程序決定的產品偏好，LPP和PSW指示由有意識程序決定的偏好，N200波幅揭示了情緒狀態和品牌延伸類別之間的關系，這種關系只有在負面情緒和適度品牌延伸的情況下才會出現，

3.2.2.3 P300

消費者對擴展的品牌標簽的偏好是用更大的P300振幅來闡明的[17]，[40]的作者使用P300來衡量消費者對某些產品特性的偏好，其他研究人員[18，39]也考慮了影響購買決策的因素，

3.3 偏好分類演算法 Preference Classification Algorithms

• 盡管在將大腦活動與用戶選擇聯系起來方面已經取得了相當大的進展，但神經評估真正有益于預測營銷活動成功的跡象仍然有限[24]，
• 預測能力：神經評估 > 傳統評估，
• 相關大腦區域的 決策前激活可以用來預測 隨后的選擇[46]，
• 使用資料挖掘方法的偏好建模：
  

表5列出了一些實驗性神經營銷文章的綜述和計算方法的比較，

LDA和SVM是最常用的，

• 最近研究設計的演算法四大類：
• 自適應分類器： 權重隨新的腦電資料出現而重新評估和修正，
• 矩陣和張量分類器： 將資料映射到特定空間，（避免了濾波器和特征選擇）
• 遷移學習： 學習另一個域或任務的同時，提高一個域的性能，
• 深度學習

用于BCI的最流行的DNN型別是多層感知器（MLP） ，它通常只由一個或兩個隱藏層組成，其他型別的DNN型別的探索頻率較低，

三維旋轉物品進行 偏好識別分類精度：DNN > SVM、RF、KNN 等，

表6列出了一些神經營銷研究，這些研究使用不同的分類演算法來獲得預測消費者偏好的最準確結果，綜述強調需要使用 更多的特征和混合分類器 來提高預測結果的準確性[22，44]，

3.4 基于腦機介面的偏好檢測 Preference Detection Using a BCI

這一部分解釋了神經營銷實驗的設計程序，以預測消費者的偏好和選擇，

• 首先，BCI設備必須放在消費者的頭上，
• 在記錄階段，當消費者觀看產品時，同時記錄EEG資料，
• 在觀看了每個產品之后，用戶被要求以 主觀排名的5分或9分為標準來回答他或她對該產品的偏好，
• 當所有產品都顯示時，主觀等級必須 手動標記為喜歡或不喜歡 的類別，
• 接下來，對腦電信號進行 信號預處理和特征提取，
• 分類模塊 是基于消費者選擇完成的基本事實(主觀排名)開發的，

圖3提出了一個用于偏好檢測的腦機介面系統，該系統由三個主要模塊組成：信號預處理、特征提取和選擇以及分類，

4 提出一種基于EEG的偏好檢測系統 Proposed System for the EEG-based Preference Detection

作者所使用分析的資料集、開發語言和工具箱如下所示：

作者又提出腦電信號識別系統的性能取決于特征提取技術和分類演算法的選擇，

4.1 資料集介紹 Dataset Description

下面是對DEAP資料集的詳細介紹：

4.2 偏好建模與基本事實 Preference Modeling and Ground Truth

為了設定真正的偏好(Groundn Truth)(有種歸一化對照的感覺)，使用DEAP自我評估報告來識別偏好狀態，使用九點Likert價度來衡量，

4.3 資料預處理 Data Pre-Processing

下圖為預處理的步驟框圖：

4.4 特征提取 Feature Extraction

圖4給出了特征提取的框圖：

4.4.1 功率譜密度 PSD

PSD是神經營銷研究中最常用的基于頻域分析的特征提取方法之一，

使用Python信號處理工具箱(MNE)計算功率譜密度，
并使用MNE工具箱中的avgpower函式計算頻帶上的平均功率以構建特征，

4.4.2 效價 Valence

在本研究中，選擇效價作為偏好的衡量標準，強效價反映在額部腦電不對稱性的激活上[34]，

在DEAP資料集[58]中，價態和EEG頻帶之間有很高的相關性，如圖5所示，

價態的增加導致阿爾法的功率增加，這與類似研究的結果一致[34]，

本文沒有在DEAP資料集中使用喜歡評分，因為資料擁有者[58]報告了左側阿爾法冪激活和喜歡之間的相互矛盾的發現，

本文應用了不同的價態方程，并研究了它們與DEAP自評價態測量的關系，

4.5 深度神經網路分類器 DNN Classification

DNN輸入： X i ∈ R e × s Xi∈ R^{e×s} Xi∈Re×s
其中，e指e個電極，s指s個樣本，

下圖顯示了作者設計的 DNN 分類器的框架圖：

梯度下降方式本文使用 Adam 梯度下降，

使用三種目標損失函式進行比較：

對于遷移學習，我們考慮了合理的默認值，并遵循了既定的最佳實踐：開始學習率為0.001，

然后，我們線性地降低了每個時期的學習率，使得最后一個時期的學習率為0.0001，

我們將輸入層和隱藏層的丟失率分別設定為0.1和0.05，

根據模型在測驗集上的性能，確定了網路訓練的停止準則：如果網路開始過大，網路培訓就會停止，

該停止準則有助于減少驗證資料過擬合的可能性，

5 結果和討論 Results and Discussion

本文對比分析了如下內容：

對比之后結果如下：


下圖是對比 DNN 分類器在三種不同的損失函式之下在每個epoch上的平均損失：

6 總結 Conclusions

本研究利用經過預處理的DEAP資料集，提出了一種DNN模型來檢測EEG信號中的偏好，從腦電信號中提取了 兩類特征：功率譜密度(PSD)和價態， 這一方面導致了一組2367個獨特的特征，說明了每個試驗中的腦電活動，我們使用 不同的評估方法(準確度、召回率和精確度) 和 各種驗證方法(holdout、LOOCV和k重交叉驗證) 來測驗分類器的性能，我們構建了 四種不同的分類器，即 DNN 、RF、SVM和KNN分類器 ，分別達到了 94% 、92%、62%和88%的準確率， 實驗結果表明，雖然與KNN和SVM相比，DNN具有更高的準確率、召回率和精確度，但在相同的資料集上，RF的結果與DNN相似， 未來的研究方向將包括在轉移學習的背景下探索用于偏好檢測的DNN，

7 參考文獻 Reference

M. Aldayel, M. Ykhlef, and A. J. A. S. Alnafjan, 10, 1525 (2020).

至此，終于碼完對文章的精讀導讀啦，感覺對您有用的話，麻煩給個點贊噢，