筆者團(tuán)隊(duì)最近在Modelscope平臺(tái)上線了一系列情感分析模型，歡迎大家試用，多多提供意見。

模型傳送門：

• 情感分類模型：https://www.modelscope.cn/models/damo/nlp_structbert_sentiment-classification_chinese-base/summary

• 情緒分類模型：https://modelscope.cn/models/damo/nlp_structbert_emotion-classification_chinese-base/summary

• 商品評(píng)價(jià)解析模型：https://modelscope.cn/models/damo/nlp_bert_relation-extraction_chinese-base-commerce/summary

• 客戶滿意度分析模型：https://www.modelscope.cn/models/damo/nlp_user-satisfaction-estimation_chinese

情感分析概述

背景及意義

人類情感是人們相互交往中主動(dòng)選擇和創(chuàng)造的結(jié)果，它是通過特定的人類行為和符號(hào)來表現(xiàn)、傳達(dá)和顯示的。1995年情感計(jì)算的概念由 Picard 首次提出，并于1997年正式出版《Affective Computing （情感計(jì)算）》。文本情感分析或觀點(diǎn)挖掘是有關(guān)以文本形式表達(dá)的主觀信息的計(jì)算的研究。其基本任務(wù)形式包括：針對(duì)不同粒度文本（如屬性、句子、對(duì)話等級(jí)別）中的主觀信息（如情感、情緒、態(tài)度、立場等）的提取、分析和處理。

常見任務(wù)

• 屬性級(jí)情感分析：從評(píng)論文本中挖掘評(píng)價(jià)對(duì)象，并分析針對(duì)該評(píng)價(jià)對(duì)象的情感。評(píng)論中的對(duì)象通常包含評(píng)價(jià)實(shí)體及其屬性，實(shí)體常常省略，因此在商品評(píng)論領(lǐng)域常常用屬性級(jí)情感分析（ABSA）術(shù)語 [2-10]。

• 句子級(jí)情感分析：給定句子，決定句子的情感極性。句子涉及的話題往往比較單一，而且很多自然語言處理技術(shù)都以句子為處理單元。早期的句子級(jí)情感分析還包括主客觀分析。

• 對(duì)話級(jí)情感分析：給定單輪或多輪對(duì)話，決定整段對(duì)話的情感。對(duì)話通常包含多個(gè)話題，多個(gè)語句，甚至多個(gè)對(duì)話角色。代表性任務(wù)包括多輪對(duì)話的用戶滿意度估計(jì) [3, 4] 和單輪問答的情感分析 [11]。

情感分析Modelscope實(shí)戰(zhàn)

ModelScope介紹

ModelScope旨在打造下一代開源的模型即服務(wù)共享平臺(tái)，為泛AI開發(fā)者提供靈活、易用、低成本的一站式模型服務(wù)產(chǎn)品，讓模型應(yīng)用更簡單！

實(shí)驗(yàn)環(huán)境準(zhǔn)備

依據(jù)ModelScope的介紹，實(shí)驗(yàn)環(huán)境可分為兩種情況。筆者在此推薦使用第2種方式，點(diǎn)開就能用，省去本地安裝環(huán)境的麻煩，直接體驗(yàn)ModelScope。

1 本地環(huán)境安裝

可參考ModelScope環(huán)境安裝。

2 Notebook

ModelScope直接集成了線上開發(fā)環(huán)境，用戶可以直接在線訓(xùn)練、調(diào)用模型。

打開模型頁面，點(diǎn)擊右上角“在Notebook中打開”，選擇機(jī)器型號(hào)后，即可進(jìn)入線上開發(fā)環(huán)境。

句子級(jí)情感分析

背景

情感分類需要模型對(duì)帶有感情色彩的主觀性文本進(jìn)行分析、推理，即分析文本所表達(dá)的態(tài)度，是傾向于正面還是反面，對(duì)及時(shí)把握輿情走勢(shì)，了解商品評(píng)價(jià)，檢測客服服務(wù)質(zhì)量，實(shí)現(xiàn)觀點(diǎn)抽取和意圖識(shí)別都起到了重要作用。而在電商場景中，情感分類顯得尤為重要，可以通過對(duì)商品評(píng)論情感極性的分析，作為對(duì)商品質(zhì)量及相關(guān)服務(wù)質(zhì)量把控的重要參考依據(jù)。由于電商場景大多數(shù)的情感分析需求是粗粒度的或文檔級(jí)的，預(yù)訓(xùn)練模型底座的性能差異、模型的靈活、易用、低成本往往是需求開發(fā)的關(guān)注點(diǎn)。因此，我們提供了在通用場景和電商場景下，基于StructBERT[1]預(yù)訓(xùn)練的模型推理和模型訓(xùn)練的便捷接口，能夠快速有效地滿足簡單需求開發(fā)和情感分析效果快速驗(yàn)證。

任務(wù)定義

通常來說，情感分類的輸入是一段句子或一段話，模型需要返回該段話的類別，包括但不限于：

1. 正向、負(fù)向（二分類）；

2. 恐懼、憤怒、厭惡、喜好、悲傷、高興、驚訝（七分類）的情感概率。

方案描述

如上圖所示，模型輸入為帶[CLS]標(biāo)記的文本，通過Bert Encoder對(duì)包括[CLS]在內(nèi)的每一個(gè)token進(jìn)行編碼，最后將[CLS]的編碼表示作為整個(gè)文本的張量表示，將其通過一個(gè)全連接層和softmax層，輸出文本的情感極性概率。

• 通用場景情感分類模型基于Structbert-base-chinese，在bdci、dianping、jd binary、waimai-10k四個(gè)數(shù)據(jù)集（11.5w條數(shù)據(jù)）上fine-tune得到。

• 電商場景情感分類模型基于Structbert-base-chinese，基于百萬電商評(píng)價(jià)數(shù)據(jù)fine-tune得來。

Modelscope示例

ModelScope鏈接：

StructBERT情感分類-中文-通用-base：https://www.modelscope.cn/models/damo/nlp_structbert_sentiment-classification_chinese-base/summary

StructBERT情感分類-中文-通用-large：https://www.modelscope.cn/models/damo/nlp_structbert_sentiment-classification_chinese-large/summary

StructBERT情感分類-中文-通用-tiny：

https://www.modelscope.cn/models/damo/nlp_structbert_sentiment-classification_chinese-tiny/summary

StructBERT情感分類-中文-電商-base：

https://www.modelscope.cn/models/damo/nlp_structbert_sentiment-classification_chinese-ecommerce-base/summary

StructBERT情緒分類-中文-七分類-base：

https://modelscope.cn/models/damo/nlp_structbert_emotion-classification_chinese-base/summary

可以通過簡單的Pipeline調(diào)用來使用商品評(píng)價(jià)解析模型，調(diào)用示例如下：

from modelscope.pipelines import pipeline

from modelscope.utils.constant import Tasks

semantic_cls = pipeline(Tasks.text_classification, 'damo/nlp_structbert_sentiment-classification_chinese-base')

semantic_cls(input='啟動(dòng)的時(shí)候很大聲音，然后就會(huì)聽到1.2秒的卡察的聲音，類似齒輪摩擦的聲音')

屬性級(jí)情感分析

背景

電商、本地生活等平臺(tái)每天都要產(chǎn)生上千萬的用戶平均數(shù)據(jù)。評(píng)價(jià)是消費(fèi)者做出購物決策的重要參考，也是商家了解消費(fèi)者反饋的重要渠道。傳統(tǒng)的屬性級(jí)情感分析方案，一般采用pipeline方式，逐步抽取屬性詞、觀點(diǎn)詞、觀點(diǎn)極性等信息，對(duì)于一條評(píng)價(jià)文本，需要根據(jù)每個(gè)步驟抽取的結(jié)果，用編碼器反復(fù)編碼，推理延時(shí)較高，我們提出了基于Cascade級(jí)聯(lián)的架構(gòu)，在ABSA三元組抽取任務(wù)上，將推理速度提高了7倍。

任務(wù)定義

屬性觀點(diǎn)三元組抽取任務(wù)：從評(píng)價(jià)文本中抽取由（屬性詞，觀點(diǎn)詞，觀點(diǎn)極性）(AspectTerms, OpinionTerms, Polarity) 組成的三元組。

方案描述

我們將(AspectTerms, OpinionTerms, Polarity)三元組抽取任務(wù)拆分為屬性詞抽取、觀點(diǎn)詞抽取、觀點(diǎn)極性分類三個(gè)任務(wù)，技術(shù)方案參考了《Adjacency List Oriented Relational Fact Extraction via Adaptive Multi-task Learning》[2]，并在此基礎(chǔ)上進(jìn)行了級(jí)聯(lián)加速，推理速度較論文版本提高了7倍！

1. 模型結(jié)構(gòu)為多任務(wù)聯(lián)合優(yōu)化的Cascade級(jí)聯(lián)結(jié)構(gòu)：

a. 與流水線結(jié)構(gòu)的區(qū)別為：流水線結(jié)構(gòu)各個(gè)任務(wù)需要完整地經(jīng)過表達(dá)層、輸出層，而Cascade級(jí)聯(lián)結(jié)構(gòu)只需要過一次表達(dá)層；

b. 表達(dá)層為BERT預(yù)訓(xùn)練編碼器，作用是將輸入文本編碼，得到文本在歐氏空間的向量序列表達(dá) h_t。

c. 輸出層分為三塊：1. AspectTerms Extractor, 2. OpinionTerms Extractor, 3. Polarity Classifier，三個(gè)輸出層級(jí)聯(lián)在一起。其中抽取器為指針網(wǎng)絡(luò)結(jié)構(gòu)，分類器為全連接多分類結(jié)構(gòu)。1、2之間有一個(gè)多頭注意力層，用于將屬性詞信息融合到句子信息中，2、3之間有一個(gè)池化層，用于抽取屬性詞和觀點(diǎn)詞的表征信息。

2. 訓(xùn)練時(shí)，將多個(gè)Cascade級(jí)聯(lián)模型當(dāng)成普通的多任務(wù)學(xué)習(xí)，進(jìn)行聯(lián)合訓(xùn)練，因此分為了三個(gè)任務(wù)。

a. 表達(dá)層使用BERT預(yù)訓(xùn)練語言模型，訓(xùn)練前提前準(zhǔn)備好各個(gè)任務(wù)的輸入輸出張量，會(huì)根據(jù)三個(gè)任務(wù)的損失函數(shù)進(jìn)行梯度下降；

b. 屬性詞抽取和觀點(diǎn)詞抽取的輸出層為指針網(wǎng)絡(luò)，具體方法是用1標(biāo)出抽取詞的頭尾字符，其他位置標(biāo)為0，訓(xùn)練時(shí)使用二元交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練；

c. 觀點(diǎn)極性分類為多分類，訓(xùn)練時(shí)使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練；

3. 推理時(shí)，步驟分為三步：

a. 首先，用編碼器BERT將文本編碼得到向量序列表征h_t，輸入AspectTerms Extractor, 通過頭尾字符的匹配，抽取出文本中所有的屬性詞（如圖：“快遞”、“味道”）；

b. 然后，將其中一個(gè)屬性詞（如圖：“味道”）對(duì)映位置的向量序列和完整的向量序列進(jìn)行多頭注意力計(jì)算，得到融合了屬性詞信息的評(píng)價(jià)文本表征，輸入OpinionTerms Extractor，通過頭尾字符的匹配，抽取出該屬性詞對(duì)應(yīng)的所有觀點(diǎn)詞（如圖：“很正宗”、“夠辣”）；

c. 最后，將（屬性詞，觀點(diǎn)詞）兩元組對(duì)映位置的向量序列進(jìn)行池化，得到兩元組的向量表征，輸入Polarity Classifier，通過選擇最高置信度的類別，進(jìn)行觀點(diǎn)極性分類。

d. 重復(fù)b-c步，遍歷所有的屬性詞和觀點(diǎn)詞，得到所有的三元組。

Modelscope示例

在ModelScope上（https://modelscope.cn/models/damo/nlp_bert_relation-extraction_chinese-base-commerce/summary），可以通過簡單的Pipeline調(diào)用來使用商品評(píng)價(jià)解析模型，調(diào)用示例如下：

from modelscope.pipelines import pipeline

from modelscope.utils.constant import Tasks

semantic_cls = pipeline(Tasks.information_extraction, 'damo/nlp_bert_relation-extraction_chinese-base-commerce', model_revision='v1.0.0')

semantic_cls(input='#純棉白色已經(jīng)收到。質(zhì)量非常好。一般的厚實(shí)。尺寸規(guī)格。和商家描述的一樣。') # "#"表示屬性詞缺省

# InformationExtractionOutput(spo_list=[('#', '正向情感', '一般的厚實(shí)'), ('質(zhì)量', '正向情感', '非常好'), ('和商家描述的', '正向情感', '一樣')])

對(duì)話級(jí)情感分析

背景

智能客服質(zhì)量檢測系統(tǒng)通過人工智能技術(shù)取代人力資源，來進(jìn)行對(duì)客戶服務(wù)內(nèi)容質(zhì)量檢查的工作。一般的智能客服質(zhì)量檢測系統(tǒng)可以記錄在線客服人員與客戶之間的每一次對(duì)話，并通過特定的指標(biāo)，對(duì)所記錄對(duì)對(duì)話內(nèi)容進(jìn)行分析和檢測。質(zhì)檢系統(tǒng)會(huì)從服務(wù)質(zhì)量和服務(wù)態(tài)度兩個(gè)檢測維度出發(fā)，挖掘客戶服務(wù)對(duì)話數(shù)據(jù)，并采用智能自動(dòng)質(zhì)量檢測和人工審核相結(jié)合的方式自動(dòng)生成質(zhì)量檢測報(bào)告。智能客服質(zhì)檢系統(tǒng)可以改善人工質(zhì)檢效率低下，覆蓋不全，以及工作任務(wù)枯燥重復(fù)等問題，能有效提高企業(yè)對(duì)客戶的服務(wù)質(zhì)量。用戶滿意度估計(jì)作為對(duì)話級(jí)的情感分析任務(wù)，具有重要的實(shí)際應(yīng)用價(jià)值，可用于各種在線客服場景來評(píng)價(jià)人工或機(jī)器人客服的服務(wù)質(zhì)量好壞。

任務(wù)定義

用戶滿意度估計(jì)（User Satisfaction Estimation），又稱服務(wù)滿意度分析（Service Satisfaction Analysis），是分析用戶是否對(duì)在線服務(wù)感到滿意的任務(wù)。通常為輸入一段連讀的對(duì)話，從用戶視角評(píng)價(jià)該段對(duì)話的滿意度極性（不滿意/中立/滿意）。

方案描述

以下面客戶（User）和客服（Service Staff）之間的對(duì)話為例，我們歸納該任務(wù)的特點(diǎn)：

1. 與文檔級(jí)情感分析相似，整段對(duì)話可以包含多個(gè)話題，如“退貨”、“物流”和“材質(zhì)”等等，不同之處在于對(duì)話具有特殊的問答結(jié)構(gòu)和對(duì)話角色信息；

2. 用戶滿意度的評(píng)價(jià)標(biāo)準(zhǔn)為是否有助于客戶解決問題，綜合考量用戶的意圖是否得以滿足和用戶的情感是否愉悅，而且特別考驗(yàn)客服的“共情”和“業(yè)務(wù)”能力，這段對(duì)話從用戶角度評(píng)價(jià)為“不滿意”。

3. 用戶滿意度與用戶語句的情感緊密相關(guān)，客服通常經(jīng)過良好培訓(xùn)，其情感通常為“正向”或“中立”；用戶的情感則更具多元化，如圖中的用戶情感變化“正向”->“中立”->“負(fù)向”。

模型的架構(gòu)支持多任務(wù)，包括對(duì)話的用戶滿意度估計(jì)（USE）和語句的情感分析（SA）兩個(gè)子任務(wù)，模型細(xì)節(jié)如圖所示：

1. （圖左模塊）使用Hierarchical Transformer Encoder（HiTrans）來建模對(duì)話中的每條語句的向量表示，包括基于bert-base-chinese的backbone建模語句對(duì)（一輪的人-人/人-機(jī)交互），以及基于Transformer Encoder捕獲對(duì)話上下文的語義信息。

2. （圖右模塊）隨后，銜接論文的Basic多任務(wù)模型，對(duì)話級(jí)的用戶滿意度估計(jì)（USE）為主任務(wù)，語句級(jí)的情感分析（SA）為輔助任務(wù)，兩個(gè)分類器通過基于Meta-GRU的多任務(wù)交互層共享參數(shù)特征，因此兩個(gè)任務(wù)可以聯(lián)合學(xué)習(xí)互為補(bǔ)充。

Modelscope示例

在ModelScope上（https://www.modelscope.cn/models/damo/nlp_user-satisfaction-estimation_chinese），可以通過簡單的Pipeline調(diào)用來使用滿意度估計(jì)推理模型，調(diào)用示例如下：

from modelscope.pipelines import pipeline

from modelscope.utils.constant import Tasks

semantic_cls = pipeline(Tasks.text_classification, 'damo/nlp_user-satisfaction-estimation_chinese')

print(semantic_cls([('返修退換貨咨詢|||', '手機(jī)有質(zhì)量問題怎么辦|||稍等，我看下', '開不開機(jī)了|||', '說話|||謝謝哈')]))

# 輸出結(jié)果

# [{'scores': [0.6664977073669434, 0.3217740058898926, 0.011728283949196339], 'labels': ['滿意', '中立', '不滿意']}]

格式說明：一輪對(duì)話用“|||”連接用戶提問和代理的回復(fù)語句，例如“有適合我穿的尺碼嗎|||稍等，我看下哈”；多輪對(duì)話用元組表示，例如3輪對(duì)話為('Q1|||A1', 'Q2|||A2', 'Q3|||A3')；對(duì)于非人機(jī)交互的一問一答場景，允許Q或A為空，即“Q|||”或“|||A”。

相關(guān)論文：Kaisong Song, Yangyang Kang, Jiawei Liu, Xurui Li, Changlong Sun, Xiaozhong Liu. A Speaker Turn-Aware Multi-Task Adversarial Network for Joint User Satisfaction Estimation and Sentiment Analysis. AAAI 2023.

————————————————

版權(quán)聲明：本文為CSDN博主「aka_wali」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/aka_wali/article/details/129005573

總結(jié)

本文主要介紹了三類情感分析模型。

1. 句子級(jí)情感分析：包含了情感分類、情緒分類兩種模型，情感分類適用于對(duì)句子級(jí)別的文本進(jìn)行【正面、負(fù)面】的分類；情緒分類適用于對(duì)句子級(jí)別文本進(jìn)行【恐懼、憤怒、厭惡、喜好、悲傷、高興、驚訝】的分類。

2. 屬性級(jí)情感分析：從評(píng)價(jià)文本中抽取由（屬性詞，觀點(diǎn)詞，觀點(diǎn)極性）(AspectTerms, OpinionTerms, Polarity) 組成的三元組，適用于需要對(duì)文本進(jìn)行更細(xì)粒度的情感分析，往往應(yīng)用于電商等評(píng)價(jià)數(shù)據(jù)。

3. 對(duì)話級(jí)情感分析：分析用戶是否對(duì)在線服務(wù)感到滿意的任務(wù)，輸入一段連讀的對(duì)話，從用戶視角評(píng)價(jià)該段對(duì)話的滿意度極性（不滿意/中立/滿意），適用于客服對(duì)話等場景。

參考文獻(xiàn)

[1] Wang, Wei, Bi, Bin et al. Structbert: Incorporating language structures into pre-training for deep language understanding.

[2] Fubang Zhao, Zhuoren Jiang et al. Adjacency List Oriented Relational Fact Extraction via Adaptive Multi-task Learning

[3] Kaisong Song, Yangyang Kang, Jiawei Liu, Xurui Li, Changlong Sun, Xiaozhong Liu. A Speaker Turn-Aware Multi-Task Adversarial Network for Joint User Satisfaction Estimation and Sentiment Analysis. AAAI 2023.

[4] Jiawei Liu, Kaisong Song, Yangyang Kang, Guoxiu He, Zhuoren Jiang, Changlong Sun, Wei Lu, Xiaozhong Liu. A Role-Selected Sharing Network for Joint Machine-Human Chatting Handoff and Service Satisfaction Analysis. EMNLP 2021.

[5] Wenxuan Zhang, Xin Li, Yang Deng, Lidong Bing, Wai Lam. Towards Generative Aspect-Based Sentiment Analysis. ACL 2021.

[6] Lu Xu, Yew Ken Chia, Lidong Bing. Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction. ACL 2021.

[7] Junhao Liu, Zhen Hai, Min Yang, Lidong Bing. Multi-perspective Coherent Reasoning for Helpfulness Prediction of Multimodal Reviews. ACL 2021.

[8] Wenxuan Zhang, Ruidan He, Haiyun Peng, Lidong Bing, Wai Lam. Cross-lingual Aspect-based Sentiment Analysis with Aspect Term Code-Switching. EMNLP 2021.

[9] Wenxuan Zhang, Yang Deng, Xin Li, Yifei Yuan, Lidong Bing, Wai Lam. Aspect Sentiment Quad Prediction as Paraphrase Generation. EMNLP 2021.

[10] Wenxuan Zhang, Yang Deng, Xin Li, Lidong Bing, Wai Lam. Aspect-based Sentiment Analysis in Question Answering Forums. Findings of EMNLP 2021.

[11] Jingjing Wang, Changlong Sun, Shoushan Li, Xiaozhong Liu, Luo Si, Min Zhang, Guodong Zhou. Aspect Sentiment Classification Towards Question-Answering with Reinforced Bidirectional Attention Network. ACL 2019.