訪問【W(wǎng)RITE-BUG數(shù)字空間】_[內(nèi)附完整源碼和文檔]

隨著各種社交平臺的興起，網(wǎng)絡上用戶的生成內(nèi)容越來越多，產(chǎn)生大量的文本信息，如新聞、微博、博客等，面對如此龐大且富有情緒表達的文本信息，完全可以考慮通過探索他們潛在的價值為人們服務。因此近年來情緒分析受到計算機語言學領域研究者們的密切關注，成為一項進本的熱點研究任務。 本賽題目標為在龐大的數(shù)據(jù)集中精準的區(qū)分文本的情感極性，情感分為正中負三類。面對浩如煙海的新聞信息，精確識別蘊藏在其中的情感傾向。

一、任務描述

1.1 賽題背景

隨著各種社交平臺的興起，網(wǎng)絡上用戶的生成內(nèi)容越來越多，產(chǎn)生大量的文本信息，如新聞、微博、博客等，面對如此龐大且富有情緒表達的文本信息，完全可以考慮通過探索他們潛在的價值為人們服務。因此近年來情緒分析受到計算機語言學領域研究者們的密切關注，成為一項進本的熱點研究任務。

本賽題目標為在龐大的數(shù)據(jù)集中精準的區(qū)分文本的情感極性，情感分為正中負三類。面對浩如煙海的新聞信息，精確識別蘊藏在其中的情感傾向。

1.2 任務要求

對官方提供的新聞數(shù)據(jù)進行情感極性分類，其中正面情緒對應0，中性情緒對應1以及負面情緒對應2。根據(jù)提供的訓練數(shù)據(jù)，通過算法或模型判斷出測試集中新聞的情感極性。

1.3 數(shù)據(jù)描述

數(shù)據(jù)包由兩個csv文件組成：第一個是Train_Dataset，包含7360條新聞的id號，新聞標題和新聞內(nèi)容。第二個是Train_Dataset_Label，包含了Dataset中新聞的id號，以其新聞的情感得分（用0，1，2表示）。

二、實施方案

該問題實質(zhì)上為對信息的分類處理，所以核心內(nèi)容是使用一個合適的分類器。其次，由于新聞是由文本構成的語言，一條新聞的情感通?？梢杂晌谋局性~語的情感性決定。于是，另一個重要的內(nèi)容是如何將數(shù)據(jù)進行預處理，即刪除無用文字，并將新聞文本切分成一個個中文詞語。

2.1 數(shù)據(jù)預處理

觀察訓練集中新聞的內(nèi)容，發(fā)現(xiàn)新聞文本亂七八糟，有各種不屬于中文詞庫的符號。所以預處理的第一步就是將不屬于中文的文本刪除（包括各種標點符號）。預處理的第二步是將修正后的文本進行詞語的切分，從而將一整段話切分為一個個詞語。

2.2 分類器選擇

情感標簽有三種賦值：積極、中立和消極。于是所有的二分類器就不可以使用，比如標準意義下的SVM支持向量機等?？紤]到運行時間和效率，我們將選擇樸素貝葉斯分類器作為首選（事實上，測試結(jié)果也表明樸素貝葉斯分類器是效率和正確率均較高的分類器）