10w+訓(xùn)練標(biāo)簽?成本太高!PaddleNLP情感分析賦能消費(fèi)“回暖”
隨著餐飲行業(yè)進(jìn)入線上線下、堂食外賣并重的“雙主場”時代,面對鋪天蓋地的用戶評論數(shù)據(jù),如何用數(shù)字化手段優(yōu)化經(jīng)營成為餐飲企業(yè)降本增效的關(guān)鍵。今天帶來的分享案例是黑蟻資本如何借助PaddleNLP情感分析技術(shù)開發(fā)了用戶評論洞察系統(tǒng),實(shí)現(xiàn)降本增效的例子。一起來看看吧!
黑蟻資本,是一家來自上海的深耕消費(fèi)領(lǐng)域投資的企業(yè),成立之初就決心讓“投后服務(wù)”成為機(jī)構(gòu)的核心能力之一,而“數(shù)字化”正是黑蟻服務(wù)被投企業(yè)的重要內(nèi)容。為了幫助被投企業(yè)提升評價數(shù)據(jù)的處理效率,黑蟻投后數(shù)字化團(tuán)隊(duì)基于PaddleNLP情感分析技術(shù),開發(fā)了用戶評論洞察系統(tǒng),幫助品牌高效深入了解用戶反饋,自動抽取出高價值信息,實(shí)現(xiàn)量化統(tǒng)計分析,從而降低經(jīng)營成本,優(yōu)化產(chǎn)品和服務(wù),提升市場競爭力。
據(jù)悉,情感分析技術(shù)(Sentiment Analysis Technology)是一種當(dāng)前流行的旨在對帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的技術(shù),在消費(fèi)決策、輿情分析、個性化推薦等領(lǐng)域都擁有廣泛的應(yīng)用前景。

初衷:想以更低成本,聆聽用戶聲音
正如哈勃望遠(yuǎn)鏡,哈勃輿情取“哈勃”二字是希望通過工具看見別人所看不到的東西,其開發(fā)的最初靈感來源于黑蟻投后團(tuán)隊(duì)對消費(fèi)行業(yè)數(shù)字化的洞察。
2021年初,黑蟻資本運(yùn)營董事Jeru劉湛帶領(lǐng)黑蟻投后數(shù)字化團(tuán)隊(duì)在對被投品牌做調(diào)研時發(fā)現(xiàn),用戶的反饋對驅(qū)動產(chǎn)品迭代、改進(jìn)服務(wù)非常重要,但是聆聽用戶聲音的成本卻很高。
Jeru介紹,過去一個品牌想獲取用戶評論情況,如NPS凈推薦值,包括推薦意愿和復(fù)購意愿,需要經(jīng)過一系列的調(diào)研分析:請第三方公司采用問卷調(diào)查、實(shí)地攔截、線下采訪等方式進(jìn)行調(diào)研;完成調(diào)研后再找打標(biāo)簽的公司,人工在產(chǎn)品用戶評論下抽取約2000條評論,在Excel表格里打標(biāo)簽標(biāo)記。
上述這種方式存在明顯的問題。一方面,調(diào)研采集到的樣本的數(shù)據(jù)量有限且真實(shí)性有待考證,大大影響后續(xù)分析的客觀性和準(zhǔn)確性;另一方面,人工打標(biāo)簽的方式不僅標(biāo)注不統(tǒng)一,主觀性強(qiáng),而且操作成本非常高。
Jeru回憶到,當(dāng)時市場上大多數(shù)的產(chǎn)品只是單純用陳舊的技術(shù)做評論分析,精準(zhǔn)度和精細(xì)度并不是很高。他就思考,如何將用戶評論洞察自動化,讓非結(jié)構(gòu)化的評論數(shù)據(jù)變成結(jié)構(gòu)化的數(shù)據(jù)呢?因?yàn)橹挥薪Y(jié)構(gòu)化的數(shù)據(jù)才方便量化統(tǒng)計分析,使經(jīng)營者更直觀快捷地了解用戶,獲得科學(xué)的指引,從而實(shí)現(xiàn)精準(zhǔn)的產(chǎn)品運(yùn)營決策。
瓶頸: ?PaddleNLP解研發(fā)燃眉之急
在經(jīng)過半年的市場調(diào)研后,Jeru迅速組織技術(shù)專家投入到研發(fā)中,在團(tuán)隊(duì)共同努力下,歷經(jīng)兩年時間,黑蟻終于自主研發(fā)出用戶評論洞察系統(tǒng)哈勃輿情,截止到目前,黑蟻已經(jīng)發(fā)布了30多個系統(tǒng)版本,基本上每周都會更新迭代一次。
哈勃輿情類似于一個智能化“顧客情感溫度計”,它能從不同的維度來感知顧客在不同指標(biāo)上的情緒并進(jìn)行分析,比如,用戶會對某一種品牌的評價經(jīng)常提到某一項(xiàng)(提及率,代表用戶的心智),在一句評論中可能會表達(dá)多個“觀點(diǎn)”,這些“觀點(diǎn)”往往包含三要素:維度、觀點(diǎn)詞、情感。維度一般是名詞(比如菜品、價格),觀點(diǎn)詞一般是形容詞(比如辣、豐富),兩者合在一起表達(dá)的是一種某東西怎么樣的觀點(diǎn),哈勃輿情可以判斷顧客所表達(dá)觀點(diǎn)情感是正向還是負(fù)向,最后將情緒指標(biāo)得分以量化的形式呈現(xiàn)給經(jīng)營管理者,從而幫助品牌商找到問題。

研發(fā)過程并非一帆風(fēng)順。哈勃輿情剛開始研發(fā)模型做情感預(yù)測時,他們只能判斷整句評論(粗粒度)的好壞,而無法對多觀點(diǎn)獨(dú)立(細(xì)粒度)做預(yù)測情感,致使情感預(yù)測結(jié)論數(shù)據(jù)準(zhǔn)確率不高,研發(fā)進(jìn)入了瓶頸。
2022年5月,一次偶然的機(jī)會,Jeru在GitHub上看到PaddleNLP開源了通用信息抽取技術(shù)UIE,他當(dāng)時感覺UIE非常適合哈勃輿情的研發(fā),或許可以解決困擾他們已久的難題。
據(jù)了解,UIE是一個大一統(tǒng)諸多任務(wù)的開放域信息抽取技術(shù)方案,開創(chuàng)了基于Prompt的信息抽取多任務(wù)統(tǒng)一建模方式。PaddleNLP結(jié)合文心大模型中的知識增強(qiáng)NLP大模型文心ERNIE 3.0,發(fā)揮了UIE在中文任務(wù)上的強(qiáng)大潛力,推出面向通用信息抽取的產(chǎn)業(yè)級技術(shù)方案。
由于PaddleNLP在情感分析能力上表現(xiàn)優(yōu)異,能夠完成涉及句子級情感極性分類、屬性抽取、觀點(diǎn)抽取、屬性級情感極性分類等多項(xiàng)情感任務(wù),并提供可視化能力,幫助用戶快速分析業(yè)務(wù)數(shù)據(jù),這極大幫助了黑蟻投后數(shù)字化團(tuán)隊(duì)開發(fā)哈勃輿情,也幫他們節(jié)省了大量的訓(xùn)練成本。
“沒有出現(xiàn)通用模型之前,開發(fā)者需要分行業(yè)去訓(xùn)練模型,要知道一個行業(yè)要用到10萬以上量級的標(biāo)簽來訓(xùn)練模型,才會取得比較好的效果?!盝eru感慨到訓(xùn)練成本太高。
Jeru進(jìn)一步解釋說,在預(yù)訓(xùn)練大模型出來之前,傳統(tǒng)的技術(shù)方案下,幾乎所有的NLP公司都傾向于找打標(biāo)簽的人員通過打標(biāo)簽的方式來訓(xùn)練自己的模型。但有了預(yù)訓(xùn)練大模型后,整個行業(yè)的玩法發(fā)生了改變?,F(xiàn)在大家只需要使用一個通用的大模型,無需標(biāo)注,或僅需少量標(biāo)注,就能對獨(dú)立觀點(diǎn)進(jìn)行精準(zhǔn)情感預(yù)測,這樣就極大降低了開發(fā)成本。同時基于UIE的技術(shù)方案不限定行業(yè)領(lǐng)域和抽取目標(biāo),可零樣本快速冷啟動各類信息抽取任務(wù),加上強(qiáng)悍的小樣本微調(diào)能力,使得觀點(diǎn)抽取查全率與精準(zhǔn)率大幅提升。
具體來說,在UIE-base和fp32精度下,相較人工至少需要一天時間來統(tǒng)計1000條樣本的情況,該系統(tǒng)的細(xì)粒度抽取觀點(diǎn)效率約為30條/分鐘,粗粒度情感判定約為135條/分鐘,經(jīng)過行業(yè)微調(diào)后的數(shù)據(jù)準(zhǔn)確率達(dá)到了85%以上。
終極:希望以交互方式回答人類問題
據(jù)了解,哈勃輿情系統(tǒng)不僅供黑蟻的投資團(tuán)隊(duì)用于行業(yè)分析報告研究,還幫助黑蟻投資的諸多品牌傾聽用戶的聲音,實(shí)現(xiàn)降本增效。
例如,黑蟻為被投企業(yè)某區(qū)域火鍋品牌做菜品分析時,系統(tǒng)針對菜品建立專門指標(biāo)體系,進(jìn)行評估量化,逐月分析菜品的變化,幫助品牌找出了可優(yōu)化的菜品,調(diào)整更新了口味、配方和原料,最終讓火鍋店用戶對菜品的評分從60分提高到90分。

此外,黑蟻團(tuán)隊(duì)在開展縣域中青年消費(fèi)需求研究時,將田野和定量調(diào)研回收的數(shù)據(jù)交由哈勃輿情來處理,憑借其強(qiáng)大的語義解析AI模型幫助團(tuán)隊(duì)更高效地了解具體品類下縣域消費(fèi)者心智。
關(guān)于未來的產(chǎn)品規(guī)劃,黑蟻將花更多時間精力針對不同行業(yè)進(jìn)行樣本微調(diào),不斷完善模型的識別能力。
Jeru談到,“我們希望系統(tǒng)未來能以交互的方式給出回答。當(dāng)我問系統(tǒng)‘為什么某品牌的用戶忠誠度更高‘的問題時,它不再是以詞語的方式給出答案,而是以人類語言的方式組織觀點(diǎn),更直觀地告訴我答案,我認(rèn)為這是一個終極?!?/p>
如今,利用人工智能技術(shù)促進(jìn)經(jīng)營轉(zhuǎn)型已經(jīng)在消費(fèi)行業(yè)獲得越來越多的認(rèn)可與推崇。餐飲、電商、零售……新消費(fèi)浪潮下的各個品牌正在新品開發(fā)、品牌建設(shè)、銷售服務(wù)等方面推進(jìn)智能化升級,通過AI優(yōu)化業(yè)務(wù)場景,努力與用戶建立更有溫度的聯(lián)接,不斷提升企業(yè)的市場競爭力。
未來,飛槳將攜手更多金融投資機(jī)構(gòu)持續(xù)助力消費(fèi)行業(yè),在情感分析能力方面,通過情感傾向分析、評論觀點(diǎn)抽取、對話情緒識別等場景化能力,以AI技術(shù)賦能消費(fèi)行業(yè)數(shù)字化轉(zhuǎn)型,共同探索“深度學(xué)習(xí)+”消費(fèi)的創(chuàng)新之路,為消費(fèi)行業(yè)智能化升級注入更強(qiáng)大動力。
參考
- PaddleNLP 情感分析方案 ?
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/sentiment_analysis
- PaddleNLP 項(xiàng)目地址 ?