情感分析（sentiment analysis）是指利用計(jì)算機(jī)技術(shù)對(duì)文本、圖像、音頻、視頻甚至跨模態(tài)的數(shù)據(jù)進(jìn)行情緒挖掘與分析。廣義上講，情感分析還包括對(duì)觀點(diǎn)、態(tài)度、傾向的分析等。情感分析是自然語(yǔ)言處理的一個(gè)重要的研究領(lǐng)域。情感分析主要涉及兩個(gè)對(duì)象，即評(píng)價(jià)的對(duì)象（包括商品、服務(wù)、組織、個(gè)體、話題、問(wèn)題、事件等）和對(duì)該對(duì)象的態(tài)度、情感等。情感分析在社會(huì)的輿情管理、商業(yè)決策、精準(zhǔn)營(yíng)銷(xiāo)等領(lǐng)域有著廣泛的應(yīng)用。從情感分析的數(shù)據(jù)來(lái)源角度看，可分為人臉情感分析、語(yǔ)音情感分析、肢體語(yǔ)言情感分析、文本情感分析和生理模式情感分析等，本文聚焦于文本的情感分析，這也是目前網(wǎng)絡(luò)內(nèi)容理解中使用的重要技術(shù)（如無(wú)特別說(shuō)明，下文中提到的情感分析均為文本情感分析）。在自然語(yǔ)言處理中，情感分析屬于典型的文本分類(lèi)問(wèn)題，即把需要進(jìn)行情感分析的文本劃分為其所屬類(lèi)別。主流的情感分析方法有兩種：基于詞典的方法和基于機(jī)器學(xué)習(xí)算法的方法。基于詞典的方法主要通過(guò)制定一系列的情感詞典和規(guī)則，拆解文本、提取關(guān)鍵詞、計(jì)算情感值，最后通過(guò)情感值來(lái)作為文本的情感傾向判斷依據(jù)。這種方法往往會(huì)忽略其詞順序、語(yǔ)法和句法，將這段文本僅僅看做是一個(gè)詞集合，因此不能充分的表達(dá)文本語(yǔ)義信息。而引入深度學(xué)習(xí)技術(shù)的機(jī)器學(xué)習(xí)方法，利用詞嵌入技術(shù)可以避免文字長(zhǎng)短不均帶來(lái)的處理困難；使用深度學(xué)習(xí)抽象特征，可以避免大量人工提取特征的工作；模擬詞與詞之間的聯(lián)系，有局部特征抽象化和記憶功能，因此，深度學(xué)習(xí)技術(shù)在情感分析中發(fā)揮了越來(lái)越重要的作用。目前情感分析用到的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有多層神經(jīng)網(wǎng)絡(luò)（MLP）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)短期記憶模型（LSTM），具體不同的模型通過(guò)交叉驗(yàn)證技術(shù)選取最優(yōu)參數(shù)（比如，幾層模型、每層節(jié)點(diǎn)數(shù)、Dropout 概率等）。情感分析的模型主要分為三個(gè)層面，分別為：Document level、Sentence level和Aspect level。其中，Document level是將整個(gè)文本作為分析單元并假設(shè)該文本討論的對(duì)象為單一實(shí)體且情感、觀點(diǎn)都是鮮明、清晰的，即neural、positive or negative 。Sentence level則是以每個(gè)句子作為單獨(dú)的分析對(duì)象，由于句子與句子間可能存在某些關(guān)聯(lián)，因此我們不能將其認(rèn)為是觀點(diǎn)明確的。而對(duì)于Aspect level其分類(lèi)粒度更細(xì)，即我們需要抽取出targets不同層面相互獨(dú)立的評(píng)價(jià)，并進(jìn)行總結(jié)綜合得到最后的情感。本文回顧情感分析中必備的TOP模型。一些經(jīng)典的自然語(yǔ)言處理領(lǐng)域的模型，例如XLNet、Bert及各種變體，適用于NLU、文本生成、情感分析等多個(gè)領(lǐng)域，本文均不涉及。本文只專(zhuān)注于專(zhuān)門(mén)的sentiment analysis模型。

一、Aspectlevel

1、 MemNet

本文引入memory network，并且和LSTM不同的是注意力計(jì)算的輸入是直接的word embedding而不是經(jīng)過(guò)LSTM 之后的隱藏層。給定一句話，包括n個(gè)words 和一個(gè) aspect word w_i ，之后通過(guò)預(yù)測(cè)句子 s 的情感極性來(lái)當(dāng)作該 aspect 的情感極性。

圖1 深度記憶網(wǎng)絡(luò)有三個(gè)計(jì)算層（跳，hops），用于屬性級(jí)情感分類(lèi)的說(shuō)

如圖1所示，圖左邊部分，給定一個(gè)句子 s = w_1,w_2,…,w_i,…w_n和 aspect word w_i，并獲取每個(gè) word 的 embedding vector 分別記為 e_1,e_2,…,e_i,…e_n（因?yàn)閷?shí)際情況中 aspect 可能不止一個(gè)單詞，所以為了方便能都用 w_i表示，在 aspect 為多個(gè) word 的情況時(shí)，得到其中每個(gè) word 的 embedding vector 之后求和取平均。）之后將這些 words 分為兩部分：aspect 部分和 context 部分，其中 context 部分的 word vectors {e_1,e_2,…,e_{i-1},e_{i+1},…e_n}被合在一起作為外部記憶 m ∈ R^{d×(n-1)}。圖右邊部分由多個(gè)計(jì)算層組成，每個(gè)計(jì)算層都是兩路的，一路是 attention layer，另一路是 linear layer。在 hop 1 中利用注意力機(jī)制來(lái)實(shí)現(xiàn)對(duì)外部記憶的內(nèi)容尋址，其中 aspect vector 作為 Attention 中的查詢向量。之后將Attention layer 的結(jié)果和 aspect vector 經(jīng)過(guò)線性變換之后的結(jié)果求和作為最終結(jié)果，并作為下一個(gè) hop 的輸入。之后按 hop1 同樣的方式執(zhí)行多次，這樣可以使更多的外部記憶中的內(nèi)容（context 內(nèi)容）選擇。因?yàn)楫?dāng)?shù)谝淮?context 中有的部分被送入 Attention 中，那么第二次查詢時(shí)，查詢向量就包含了一部分原本是 context 的內(nèi)容，那么之后找到的內(nèi)容肯定更多（因?yàn)椴樵冎杏?context 內(nèi)容，所以能匹配的內(nèi)容也更多）。最后，將最后一層的 hop 的輸出作為整個(gè)句子的表示并用于情感分類(lèi)。每個(gè)計(jì)算層（hop）中的參數(shù)是共享的，所以無(wú)論構(gòu)建一個(gè)計(jì)算層還是多個(gè)計(jì)算層其參數(shù)量是相同的。本文的Attention 部分包含 Content Attention（注意內(nèi)容）和 Location Attention（注意地址）兩部分。一方面，不同context word對(duì)于句子的語(yǔ)義表示貢獻(xiàn)不一樣；另一方面，不同的context word對(duì)于特定aspect的情感傾向的重要性也是不一樣的。

content attention：在hop1的attention中，可以把關(guān)鍵詞向量W_i認(rèn)為是query，word詞嵌入認(rèn)為是key和value，尋找句子和屬性詞之間的關(guān)系：

location attention：作用是加大對(duì)屬性詞的周?chē)~的注意力，具體作者在文中提出了四種location attention。Model 1：作者用下面這個(gè)公式計(jì)算 memory vector m_i：

Model 2：這是model 1的簡(jiǎn)化版本，對(duì)不同跳數(shù)的w_i使用相同的位置向量v_i。位置向量v_i 的計(jì)算方法如下：

Model 3：將位置向量v_i看作是一個(gè)參數(shù)，用向量加法計(jì)算一塊內(nèi)存，即：

Model 4：位置向量也被看作是參數(shù)。與Model 3不同的是，位置表征被視為神經(jīng)門(mén)，以控制多少百分比的詞的語(yǔ)義寫(xiě)入存儲(chǔ)器中。將位置向量v_i送入一個(gè)sigmoid函數(shù)σ，用元素相乘法計(jì)算m_i：

多層計(jì)算層的必要性首先多層計(jì)算層在得到抽象表示方面被廣泛使用。因?yàn)閱螌佑?jì)算層只包含一個(gè) attention layer，不足以處理復(fù)雜計(jì)算，即模型能力不強(qiáng)，所以作者提出使用多層計(jì)算層來(lái)提升模型的處理能力。分類(lèi)部分直接使用softmax來(lái)進(jìn)行分類(lèi)。

當(dāng)前SOTA！平臺(tái)收錄MemNet共7個(gè)模型實(shí)現(xiàn)。

2、AT-LSTM

Aspect level sentiment是個(gè)fine-grained細(xì)粒度的任務(wù)，是針對(duì)一個(gè)句子中陳述的不同屬性(aspect)進(jìn)行分類(lèi)，過(guò)去是直接對(duì)一個(gè)整句子判斷情感極性，而不考慮句子內(nèi)部不同部分的sentiment。這種方法提出時(shí)，神經(jīng)網(wǎng)絡(luò)模型在屬性級(jí)情感分類(lèi)任務(wù)的表現(xiàn)差強(qiáng)人意。例如上文介紹的TD-LSTM、TC-LSTM 方法只考慮了 target 沒(méi)有考慮 aspect。進(jìn)一步可以理解為之前的工作只考慮一句話中選定的一個(gè) target（即 entity or aspect），然而，一句話中可能出現(xiàn)多個(gè) aspect 。作者考慮引入attention。LSTM with Aspect Embedding(AE-LSTM)。因?yàn)?aspect 信息很重要，所以作者提出要給 aspect 找 embedding vector。因?yàn)橐痪湓捴锌赡艹霈F(xiàn)多個(gè) aspect ，所以每個(gè) aspect 應(yīng)當(dāng)有各自對(duì)應(yīng)的 embedding vector 。作者用v_{a_i}來(lái)代表第 i 個(gè) aspect 的 embedding vector，其維度為 d_a，所以可以表示為 v_{a_i}∈R^{d_a}。而所有 aspect 的 embedding vector 組成的 embedding matrix 用 A 表示，A∈R^{d_a×|A|}，其中，|A|代表 A 中的向量個(gè)數(shù)。Attention-based LSTM (AT-LSTM)。為了抓住一句話中對(duì)應(yīng)于屬性重要部分的信息，作者提出了一種 attention mechanism，示意圖如下：

圖2 基于注意力的LSTM結(jié)構(gòu)。屬性嵌入用來(lái)決定注意力權(quán)重和句子表征。{w_1, w_2, ...., w_N }表示長(zhǎng)度為N的句子中的詞向量，v_a表示屬性嵌入，α是注意權(quán)重，{h_1, h_2, ...... , h_N }是隱藏向量

首先將 sequence 經(jīng)過(guò) LSTM layor 之后得到的 output h_i與當(dāng)前考慮的 aspect v_a進(jìn)行拼接。用 H 表示 [h_1,…,h_N]這個(gè)矩陣，其中 N 為該 sequence 的長(zhǎng)度，H∈R^{d×N}， d 為h_i的維度也即 LSTM layer 中神經(jīng)元個(gè)數(shù)。之后對(duì)拼接后的向量做 Attention 操作得到整句話的表示 r :

最后的句子表示法是：

得到這個(gè)句子最后的表示之后，將其放入一個(gè) linear layor 得到維度為情感類(lèi)別個(gè)數(shù)的輸出，之后用 softmax 處理來(lái)得到最后結(jié)果。Attention-based LSTM with Aspect Embedding (ATAE-LSTM)。將 AE、AT 合起來(lái)，其形式如下圖：

圖3 基于注意力的LSTM的結(jié)構(gòu)與屬性嵌入。屬性嵌入與詞的嵌入一起被作為輸入。{w_1, w_2, ...., w_N }代表一個(gè)長(zhǎng)度為N的句子中的詞向量，v_a代表屬性嵌入，{h_1, h_2, ...... , h_N }是隱藏向量

在AE-LSTM中使用屬性信息的方法是讓屬性嵌入在計(jì)算注意權(quán)重時(shí)發(fā)揮作用。為了更好地利用屬性信息，將輸入的屬性嵌入附加到每個(gè)詞的輸入向量中。這樣一來(lái)，輸出的隱藏表征（h_1, h_2, ..., h_N）可以擁有來(lái)自輸入屬性（v_a）的信息。因此，在接下來(lái)計(jì)算注意力權(quán)重的步驟中，詞語(yǔ)和輸入屬性之間的相互依賴性可以被建模。最后，訓(xùn)練的目標(biāo)是使所有句子的y和y?的交叉熵誤差最小：

3、 IAN

本文作者認(rèn)為目標(biāo)和情境都可以單獨(dú)建模，需要通過(guò)交互學(xué)習(xí)來(lái)學(xué)習(xí)它們自己的表現(xiàn)形式。在此基礎(chǔ)上，提出了交互式注意網(wǎng)絡(luò)(interactive attention networks, IAN)，實(shí)現(xiàn)了目標(biāo)和語(yǔ)境的注意力交互學(xué)習(xí)，并分別生成目標(biāo)和語(yǔ)境的注意力表征。具體的，本文提出了基于長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)和注意力機(jī)制的交互式注意力網(wǎng)絡(luò)(Interactive Attention Networks，IAN)模型。情感分類(lèi)網(wǎng)絡(luò)利用與目標(biāo)相關(guān)的注意力機(jī)制從上下文中獲取重要信息，并計(jì)算上下文表示來(lái)進(jìn)行情感分類(lèi)。此外，網(wǎng)絡(luò)利用上下文的交互信息監(jiān)督目標(biāo)的建模，這有助于判斷情感。最后，將目標(biāo)表示和上下文表示連接起來(lái)，IAN預(yù)測(cè)了目標(biāo)在其上下文中的情感極性。

圖4 IAN結(jié)構(gòu)圖

IAN模型由兩部分組成，對(duì)目標(biāo)和上下文進(jìn)行交互建模。以單詞嵌入為輸入，采用LSTM網(wǎng)絡(luò)來(lái)分別獲得目標(biāo)和其上下文在單詞層面的隱藏狀態(tài)。使用目標(biāo)的隱藏狀態(tài)和上下文的隱藏狀態(tài)的平均值來(lái)監(jiān)督注意力向量的生成，通過(guò)注意力機(jī)制來(lái)捕捉上下文和目標(biāo)中的重要信息。通過(guò)這種設(shè)計(jì)，目標(biāo)和上下文可以交互地影響其表示的生成。最后，串聯(lián)目標(biāo)表征和上下文表征作為最終表征，并被送入softmax函數(shù)用于屬性級(jí)情感分類(lèi)。單詞嵌入層：將每個(gè)單詞嵌入到一個(gè)低維實(shí)值向量中。詞的嵌入可以看作是神經(jīng)網(wǎng)絡(luò)的參數(shù)，也可以看作是通過(guò)語(yǔ)言模型從適當(dāng)?shù)恼Z(yǔ)料庫(kù)中預(yù)先訓(xùn)練出來(lái)的。LSTM隱藏層：

得到上下文語(yǔ)境的隱藏狀態(tài)、目標(biāo)隱藏狀態(tài)，以及上下文和目標(biāo)的初始表征：

注意力層：將上下文與目標(biāo)的表征分別送入注意力層，考慮目標(biāo)對(duì)上下文的影響和上下文對(duì)目標(biāo)的影響：

最終，得到目標(biāo)與上下文的表征：

最后，將目標(biāo)表征和上下文表征連接成一個(gè)向量d作為分類(lèi)器。這里，使用一個(gè)非線性層將d投射到目標(biāo)C類(lèi)的空間中：

當(dāng)前SOTA！平臺(tái)收錄IAN共3個(gè)模型實(shí)現(xiàn)。

4、 AF-LSTM

本文主要是針對(duì)ATAE-LSTM的改進(jìn)，提出了AF-LSTM。通過(guò)增加一個(gè)Word- Aspect Fusion（aspect與word融合層）分離各層的職責(zé)，使模型首先對(duì)aspect和words之間的關(guān)系進(jìn)行建模，然后使注意力層專(zhuān)注于學(xué)習(xí)已經(jīng)經(jīng)過(guò)融合的上下文words的相對(duì)重要性。

圖5AF-LSTM整體架構(gòu)

Word-Aspect Fusion Attention Layer：模型輸入是句子向量和aspect向量 s，句子長(zhǎng)度為 L， 詞向量維度為 k。LSTM layer：句子向量作為L(zhǎng)STM模型的輸入，輸出是隱藏層向量H，模型參數(shù)向量維度為 d。Word-Aspect Fusion Attention Layer：這一層是模型的重點(diǎn)。首先，對(duì)于LSTM的每個(gè)輸出向量hi? H，都會(huì)學(xué)習(xí)word與aspect的聯(lián)合表示，結(jié)果記為mi?R^d 。它對(duì)上下文單詞h_i和aspect之間的關(guān)系進(jìn)行了編碼，為了學(xué)習(xí)h和s的聯(lián)合表示，論文使用了associative memory operators 來(lái)得到m_i 。隨后，經(jīng)過(guò)編碼的聯(lián)合表示m1 ，m2，...，mL作為注意力層的輸入，得到的結(jié)果進(jìn)入Weighted Sum層進(jìn)行加權(quán)求和。相對(duì)于ATAE-LSTM模型，這里最大的不同就是增加了一個(gè)word-aspect融合層，代替了原來(lái)的直接拼接的操作。這個(gè)操作就是用來(lái)建模acpect與words的關(guān)系，論文中對(duì)于這個(gè)操作定義了兩個(gè)運(yùn)算符，circular correlation和circular convolution ，分別定義如下：

總的來(lái)說(shuō)，關(guān)聯(lián)層的輸出定義如下：

在學(xué)習(xí)h_i 和s的關(guān)聯(lián)之前，還使用了一個(gè)可選的歸一化層。接下來(lái)，將每個(gè)隱藏狀態(tài)h_t和屬性向量s通過(guò)關(guān)聯(lián)運(yùn)算符的組成用于學(xué)習(xí)注意力：

最終表示如下：

將句子的加權(quán)表示r傳遞到最后一層，該層將加權(quán)表示r轉(zhuǎn)換為概率分布。這一層也包括一個(gè)線性轉(zhuǎn)換層，然后是一個(gè)softmax函數(shù)。最后一層定義如下：

采用交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化：

當(dāng)前SOTA！平臺(tái)收錄AF-LSTM共1個(gè)模型實(shí)現(xiàn)。

關(guān)鍵詞：