用戶體驗的工作可以說是用戶需求和用戶認(rèn)知的分析。而消費者的聲音是其中很重要的一環(huán)，它包含了用戶對產(chǎn)品的評論，不管是好的壞的，都將對我們產(chǎn)品的改進(jìn)和迭代有幫助。另外任何事情都要考慮金錢成本和人力成本，因此我希望能通過機器學(xué)習(xí)的算法來輔助分析，對用戶的評論數(shù)據(jù)進(jìn)行提煉和洞察。

1

數(shù)據(jù)獲取和清洗

現(xiàn)在爬蟲泛濫，網(wǎng)絡(luò)公開數(shù)據(jù)的獲取并不再是一個難題。簡單點可以利用一些互聯(lián)網(wǎng)的爬蟲服務(wù)（如神箭手、八爪魚等），復(fù)雜點也可以自己寫爬蟲。這里我們用爬蟲來獲取京東的評論數(shù)據(jù)。相對于亞馬遜而言，京東比較坑。第一個坑是京東的反爬蟲還不錯，通過正常產(chǎn)品網(wǎng)址進(jìn)去的那個評論列表是幾乎爬不出數(shù)據(jù)來的，所有大部分網(wǎng)絡(luò)爬蟲服務(wù)都止步于此。第二個坑是一款產(chǎn)品的評論數(shù)只要超過一萬條，那么京東就只會顯示前一千條，沒有公開的數(shù)據(jù)，那你爬蟲技術(shù)再厲害也沒辦法，除非開著爬蟲定時增量更新數(shù)據(jù)。

自己寫爬蟲的好處就是可以避免掉進(jìn)第一個坑，但是第二個坑沒辦法。這里我爬取了 小米MIX 和 小米MIX2 的評論數(shù)據(jù)(最新的幾款手機我都爬取了，需要的請戳后臺)，其中 小米MIX 共1578條，小米MIX2 共3292條。

本文通過分析這些數(shù)據(jù)預(yù)期完成如下幾個目標(biāo)

1、數(shù)據(jù)清洗后的好評率

2、好/中/差評的概覽

3、典型意見分析

首先來看看MIX2的大致情況：

一共有3497條評論，其中有些評論內(nèi)容還是完全相同的。用戶大概在購買9天后后評論（可能與到貨日期有關(guān)），平均打分為4.87分，評論里面有些完全相同的，小米MIX2只有一種顏色等等。

接下來我們先做第一件事情

京東采用的是5分制，其中4-5分為好評，2-4分為中評，1分為差評。MIX2的好評率為96.63%，與京東官網(wǎng)的一致。

粗略的瀏覽以下評論，我們發(fā)現(xiàn)有這么幾種無效評論。

第一種全是標(biāo)點符號或者就一兩個字：

這種情況可以利用正則表達(dá)式來去除，第二種比較麻煩，如：

這種評論中它純屬湊字?jǐn)?shù)和灌水，不含任何產(chǎn)品的特征。一種想法是看看評論中涉及的名詞是否是手機領(lǐng)域中的詞語，但是實際情況會非常復(fù)雜，比如

“用的很不錯”、“太差了”...

它并沒有主語，并不知道它評價的是啥。這里我們反過來，假設(shè)每一類無效評論都有類似的關(guān)鍵詞，一個評論中的詞語只要有一些垃圾評論關(guān)鍵詞，我們就把它判定為無效評論。當(dāng)然并也不需要給定所有的無效評論詞，利用tfidf可以通過一個詞語順藤摸瓜找到其他類似的詞語。（還可以利用文本相似性算法尋找）

另外還有一種情況，雖然不屬于無效評論，但是影響好評占比。

這種情況在追評中出現(xiàn)的較多，還有就是京東默認(rèn)的好評。雖然內(nèi)容是差評，但是標(biāo)記的分值是5分。理論上也可以通過算法找出大部分。在NLP領(lǐng)域中，有一個課題叫做情感分析（sentiment analysis）, 它可以判斷一句話的情感方向是正面的還是負(fù)面的（以概率大小給出，數(shù)值在0-1之間）。如果一段評論的情感方向與對應(yīng)的評分差異過大，則我們有理由相信它的評分是有誤的。當(dāng)然這里有一個條件，那就是這個情感分析算法是非常準(zhǔn)確的。

有大神專門用電商評論訓(xùn)練了一個開源的情感分析包snownlp, 我們來看看這個包效果怎樣。

嗯嗯，準(zhǔn)確率為92.63%，看上去很高，但。。。因為我把所有評論都判定為好評，那正確率也有96.54%。再看上圖中的ROC曲線，嗯，慘不忍睹。曲線跟x軸之間的面積（記作AUC）越大，說明模型的判別能力越好。一般情況曲線會在對角線之上（對角線相當(dāng)于隨機預(yù)測的結(jié)果），可以此時AUC=0.157，比隨機結(jié)果差多啦。

更好的情感分析估計需要利用大量手機領(lǐng)域的語料重新訓(xùn)練才行，本文就暫不討論這個啦。

2

好/中/差評的語義理解

語義理解是一個非常難的課題，本文不追求絕對精準(zhǔn)，僅希望能對產(chǎn)品的評論有一個快速的理解。本文將從三個方面來闡述同類型評論語料的語義：

1、詞云。它會統(tǒng)計一段文本中各個詞語出現(xiàn)的次數(shù)（頻數(shù)），頻數(shù)越大，在詞云中對應(yīng)的字體也越大。通過觀察詞云，可以知道一段文本主要在講哪些東西

2、TextRank。 TextRank 算法是一種用于文本的基于圖的排序算法，可以給出一段文本的關(guān)鍵詞。其基本思想來源于谷歌的PageRank算法, 通過把文本分割成若干組成單元(單詞、句子)并建立圖模型, 利用投票機制對文本中的重要成分進(jìn)行排序, 僅利用單篇文檔本身的信息即可實現(xiàn)關(guān)鍵詞提取、文摘。和 LDA、HMM 等模型不同, TextRank不需要事先對多篇文檔進(jìn)行學(xué)習(xí)訓(xùn)練, 因其簡潔有效而得到廣泛應(yīng)用。

3、主題分解。 假設(shè)每一段文本都是有主題的，比如新聞里的體育類、時事類、八卦類等。通過對一系列的語料庫進(jìn)行主題分解（本文采用的是LDA），可以了解語料庫涉及了哪些主題。（本文用的LDA實際效果不怎么好，暫且僅供娛樂。更好的方法后續(xù)或許會更新）

分析詞云、關(guān)鍵詞和主題容易發(fā)現(xiàn)

  1、好評集中在：屏幕、驚訝、手感、全面屏、邊框，大致就是講小米手機不錯；手感很好；全面屏很驚艷之類的；

2、中評集中在：屏幕、還好、失望、邊框等

3、差評集中在：客服、失靈、售后、失望、模式、微信等，大致就是手機失靈；微信電話時的屏幕？因為版本等出現(xiàn)了一些售后客服問題？

只能說還湊合，模模糊糊、斷斷續(xù)續(xù)能理解一些。因為它只給出了詞語，并沒有配套的情感。

3

典型意見抽取和挖掘

電商評論不同于一般的網(wǎng)絡(luò)文本，它主要的特點在于語料都是在針對產(chǎn)品的某些特征作出評價。這一節(jié)我們希望能通過算法找到這些特征。

細(xì)想下，語料主要在對特征做出評價，而特征一般是名詞，評價一般是形容詞。相對來講產(chǎn)品的形容詞不會很多，如“不錯”、“流暢”、“很好”之類的，所以可以通過關(guān)聯(lián)分析來發(fā)現(xiàn)初始的特征-形容詞對，如("手機"-"不錯")、("手機"-"流暢")等。

通過關(guān)聯(lián)分析找打的特征-形容詞對需要篩選，主要表現(xiàn)在兩點。

1、里面不只名詞-形容詞對，兩個名詞，形容詞-動詞等都有可能；

2、沒有考慮兩個詞語在文本之間的距離。比如名詞是第一句話中的，形容詞則是最后一句話中的；

篩選好后其實還不夠，關(guān)聯(lián)分析只會挖掘支持度大于一定數(shù)值的特征，我們稱這種特征為 "常見特征"。那不常見特征怎么辦？怎么才能挖出來？注意到上面已經(jīng)挖掘出很多形容詞啦，這些就是產(chǎn)品的最常用評價詞語啦，我們可以通過它們反向挖掘出 "不常見特征"。

可以看到與手機有關(guān)的大部分特征都找出來啦，另外有一些是關(guān)于京東的，如"速度"、"京東"、"快遞"。還一些不是特征的，比如："有點","想象"

在語料中搜索與"外觀"有關(guān)的語句，先看看大家在講"外觀"時，都在聊些啥？

看來小米MIX2的外觀還是很不錯的，有很多人都是沖著外觀買的。接下來我們來量化各個特征的好評占比和差評占比。

本來這里是想利用snownlp情感分析包來完成的，因為它能給出評價是否是正面的具體概率大小?？紤]到情感分析目前的準(zhǔn)確率，這里我們還是用原始的評分來量化。以剛剛的關(guān)鍵詞 "外觀|質(zhì)感" 為例，我們有

利用這種方法，擴大到上述所有的特征可以得到：

可以看到提及最多的特征依次為：感覺、屏幕、速度、手感、系統(tǒng)、邊框、攝像頭、全面屏、拍照、體驗、256g、外觀、質(zhì)量、性價比

其中比較好的依次為：性價比、質(zhì)量、手感、速度、外觀、感覺

其中稍差些的依次為：256g、屏幕、邊框、拍照、攝像頭、系統(tǒng)、體驗、全面屏

最后的最后我們來看下這些特征對應(yīng)的語料。

總結(jié)一下差評主要表現(xiàn)在：

No1. 256g版本發(fā)貨問題

No2. 窄邊框問題

No3. 拍照問題，MIX2的拍照效果有待提升

No4. 前置攝像頭在下面不方便

No5. 系統(tǒng)，MIUI廣告多

4

報告輸出

這里安利一個自己造的輪子：reportgen ，結(jié)合DataFrame 格式可以自動化生成PPTX報告。目前Github關(guān)注量已經(jīng)有20+啦。

在reportgen中，每一頁幻燈片被簡化成四部分：標(biāo)題、副標(biāo)題、主體(數(shù)據(jù)圖、表格、文本框或圖片)、腳注。只要給定每一頁的這些數(shù)據(jù)，reportgen就能幫您自動生成pptx，一般四行代碼就完成啦。如：

當(dāng)然本文的pptx要復(fù)雜一些，相應(yīng)的代碼和生成的報告如下：

GitHub地址：https://github.com/gasongjian/

分享朋友圈 也是另一種贊賞

The more we share, The more we have

歡迎加入數(shù)據(jù)君高效數(shù)據(jù)分析社區(qū)

加我私人微信進(jìn)入大數(shù)據(jù)干貨群：tongyuannow 

目前100000+人已關(guān)注加入我們