數(shù)據(jù)在當(dāng)今世界意味商業(yè)價(jià)值，數(shù)據(jù)挖掘和數(shù)據(jù)分析的能力在當(dāng)今時(shí)代相當(dāng)重要， 智能的工具是你與競(jìng)爭(zhēng)對(duì)手對(duì)抗并為公司業(yè)務(wù)增加優(yōu)勢(shì)的必備條件。

隨著向基于app的世界的過渡，數(shù)據(jù)呈指數(shù)增長。然而，大多數(shù)數(shù)據(jù)是非結(jié)構(gòu)化的，因此需要一個(gè)過程和方法從數(shù)據(jù)中提取有用的信息，并將其轉(zhuǎn)換為可理解的和可用的形式。

數(shù)據(jù)挖掘或“數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)”是通過人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)和數(shù)據(jù)庫系統(tǒng)發(fā)現(xiàn)大數(shù)據(jù)集中的模式的過程。

免費(fèi)的數(shù)據(jù)挖掘工具包括從完整的模型開發(fā)環(huán)境如Knime和Orange，到各種用Java、c++編寫的庫，最常見的是Python。數(shù)據(jù)挖掘中通常涉及到四種任務(wù):

分類:將熟悉的結(jié)構(gòu)概括為新數(shù)據(jù)的任務(wù)

聚類: 在數(shù)據(jù)中以某種方式查找組和結(jié)構(gòu)的任務(wù)，而不需要在數(shù)據(jù)中使用已注意的結(jié)構(gòu)。

關(guān)聯(lián)規(guī)則學(xué)習(xí): 查找變量之間的關(guān)系

回歸: 旨在找到一個(gè)函數(shù)，用最小的錯(cuò)誤來模擬數(shù)據(jù)。

下面整理了5個(gè)類別的30款最熱門的大數(shù)據(jù)工具，供大家參考。

1. Part 1:數(shù)據(jù)采集工具

2. Part 2:開源數(shù)據(jù)工具

3. Part 3:數(shù)據(jù)可視化

4. Part 4:情感分析

5. Part 5:開源數(shù)據(jù)庫

Part 1：數(shù)據(jù)采集工具

1 .八爪魚

八爪魚 是一款免費(fèi)的、簡單直觀的網(wǎng)頁爬蟲工具，無需編碼即可從許多網(wǎng)站抓取數(shù)據(jù)。無論你是初學(xué)者還是經(jīng)驗(yàn)豐富的技術(shù)人員或企業(yè)高管，它都可以滿足你的需求。為了減少使用上的難度，八爪魚為初學(xué)者準(zhǔn)備了“網(wǎng)站簡易模板”，涵蓋市面上多數(shù)主流網(wǎng)站。使用簡易模板，用戶無需進(jìn)行任務(wù)配置即可采集數(shù)據(jù)。簡易模板為采集小白建立了自信，接下來還可以開始用“高級(jí)模式”，它可以幫助你在幾分鐘內(nèi)抓取到海量數(shù)據(jù)。此外，你還可以設(shè)置定時(shí)云采集，實(shí)時(shí)獲取動(dòng)態(tài)數(shù)據(jù)并定時(shí)導(dǎo)出數(shù)據(jù)到數(shù)據(jù)庫或任意第三方平臺(tái)。

2. Content Grabber

Content Grabber是一個(gè)支持智能抓取的網(wǎng)頁爬蟲軟件。它的程序運(yùn)行環(huán)境可用在開發(fā)、測(cè)試和產(chǎn)品服務(wù)器上。你可以使用c#或http://VB.NET來調(diào)試或編寫腳本來控制爬蟲程序。它還支持在爬蟲工具上添加第三方擴(kuò)展插件。憑借其全面綜合的功能，Content Grabber對(duì)于具有技術(shù)基礎(chǔ)的用戶而言功能極其強(qiáng)大。

http://3.Import.io

http://Import.io是一款基于網(wǎng)頁的數(shù)據(jù)抓取工具。它于2012年首次在倫敦上線。現(xiàn)在,http://Import.io將其商業(yè)模式從B2C轉(zhuǎn)向了B2B。2019年，http://Import.io收購了Connotate并成為網(wǎng)頁數(shù)據(jù)集成平臺(tái)。憑借廣泛的網(wǎng)頁數(shù)據(jù)服務(wù)，http://Import.io成為了業(yè)務(wù)分析的絕佳選擇。

4. Parsehub

Parsehub是一款基于網(wǎng)頁的爬蟲程序。它支持采集使用了AJax， JavaScripts技術(shù)的網(wǎng)頁數(shù)據(jù)，也支持采集需要登錄的網(wǎng)頁數(shù)據(jù)。它有一個(gè)為期一周的免費(fèi)試用窗口，供用戶體驗(yàn)其功能。

5. Mozenda

Mozenda是一款網(wǎng)頁抓取軟件，它還為商業(yè)級(jí)數(shù)據(jù)抓取提供定制服務(wù)。它可以從云上和本地軟件中抓取數(shù)據(jù)并進(jìn)行數(shù)據(jù)托管。

Part 2.開源數(shù)據(jù)工具

1. Knime

Knime是一款分析平臺(tái)。它可以幫助你發(fā)掘商業(yè)洞察力和市場(chǎng)潛力。它提供了Eclipse平臺(tái)以及其他用于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的外部擴(kuò)展。它為分析專業(yè)人員提供了超過2k個(gè)部署模塊。

2. OpenRefine

OpenRefine(以前稱為Google Refine)是處理雜亂數(shù)據(jù)的強(qiáng)大工具：它支持?jǐn)?shù)據(jù)清洗，支持將數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式，還可以通過網(wǎng)絡(luò)服務(wù)和外部數(shù)據(jù)進(jìn)行擴(kuò)展。使用它的分組功能，你可以輕松地使網(wǎng)頁上的雜亂數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化。

3. R-Programming

它是一種用于統(tǒng)計(jì)計(jì)算和圖形的免費(fèi)軟件編程語言和軟件環(huán)境。R語言在開發(fā)統(tǒng)計(jì)軟件和數(shù)據(jù)分析的數(shù)據(jù)挖掘工作者中非常流行。近年來，由于其易用性和廣泛的功能性，它得到了大量的贊譽(yù)和歡迎。

除了數(shù)據(jù)挖掘，它還提供統(tǒng)計(jì)和圖形技術(shù)、線性和非線性建模、經(jīng)典統(tǒng)計(jì)測(cè)試、時(shí)間序列分析、分類、聚類等功能。

4. RapidMiner

和KNIME一樣，RapidMiner通過可視化程序進(jìn)行操作，能夠手動(dòng)運(yùn)作、分析和建模。它通過開源平臺(tái)、機(jī)器學(xué)習(xí)和模型部署來提高數(shù)據(jù)工作效率。統(tǒng)一的數(shù)據(jù)科學(xué)平臺(tái)可加速從數(shù)據(jù)準(zhǔn)備到實(shí)現(xiàn)的分析工作流程，極大地提高了技術(shù)人員的效率，是最易于使用的預(yù)測(cè)分析軟件之一。

5. Pentaho

它是一款出色的商業(yè)BI軟件，可以幫助企業(yè)制定數(shù)據(jù)驅(qū)動(dòng)型決策。該平臺(tái)集成了本地?cái)?shù)據(jù)庫、Hadoop和NoSQL等數(shù)據(jù)源，因此，你可以輕松地用它來分析和管理數(shù)據(jù)，進(jìn)而從數(shù)據(jù)中獲取價(jià)值。

6. Talend

它是一個(gè)開源的集成軟件，旨在將數(shù)據(jù)轉(zhuǎn)化為真知灼見。它提供各種服務(wù)和軟件，包括云存儲(chǔ)、企業(yè)應(yīng)用程序集成、數(shù)據(jù)管理等等。在龐大的社區(qū)支持下，它允許所有的Talend用戶和成員從任何位置共享信息，經(jīng)驗(yàn)和疑慮。

7. Weka

Weka是用于數(shù)據(jù)挖掘任務(wù)的機(jī)器學(xué)習(xí)算法的集合工具。這些算法既可以直接應(yīng)用于數(shù)據(jù)集，也可以從你自己的JAVA代碼中調(diào)用，它也很適合開發(fā)新的機(jī)器學(xué)習(xí)方案。它還具有GUI，可以將數(shù)據(jù)科學(xué)的世界轉(zhuǎn)化給缺乏編程能力的專業(yè)人員。

8.NodeXL

它是用于微軟Excel的一個(gè)開源軟件包。作為一個(gè)附加擴(kuò)展，它沒有數(shù)據(jù)集成服務(wù)和功能，它專注于社交網(wǎng)絡(luò)分析。直觀的網(wǎng)絡(luò)和描述性關(guān)系使社交媒體分析變得輕松自如。它是用于數(shù)據(jù)分析的最佳統(tǒng)計(jì)工具之一，包括高級(jí)網(wǎng)絡(luò)指標(biāo)、對(duì)社交媒體網(wǎng)絡(luò)數(shù)據(jù)導(dǎo)入器的訪問以及自動(dòng)化。

9. Gephi

Gephi也是一個(gè)在NetBeans平臺(tái)上用Java編寫的開源網(wǎng)絡(luò)分析和可視化軟件包。想一想你看到的巨大的人與人之間連接的地圖網(wǎng)絡(luò)，它們代表了LinkedIn或Facebook上面的社交聯(lián)系。Gephi通過提**確的計(jì)算使這一步驟有更加精確的指標(biāo)展現(xiàn)。

Part 3.數(shù)據(jù)可視化工具

1. PowerBI

Microsoft PowerBI同時(shí)提供本地和云服務(wù)。它最初是作為Excel插件引入的，不久PowerBI憑借其強(qiáng)大的功能開始普及。目前，它被視為商業(yè)分析領(lǐng)域的軟件領(lǐng)導(dǎo)者。它提供了數(shù)據(jù)可視化和bi功能，使用戶可以輕松地以更低的成本實(shí)現(xiàn)快速，明智的決策，用戶可協(xié)作并共享自定義的儀表板和交互式報(bào)告。

2. Solver

Solver是一家專業(yè)的企業(yè)績效管理(CPM)軟件公司。Solver致力于通過獲取可提升公司盈利能力的所有數(shù)據(jù)源來提供世界一流的財(cái)務(wù)報(bào)告、預(yù)算方案和財(cái)務(wù)分析。其軟件BI360可用于云計(jì)算和本地部署，它專注于四個(gè)關(guān)鍵的分析領(lǐng)域，包括財(cái)務(wù)報(bào)告、預(yù)算、儀表板和數(shù)據(jù)倉庫。

3.Qlik

Qlik是一種自助式數(shù)據(jù)分析和可視化工具。它具有可視化儀表板，可簡化數(shù)據(jù)分析，并幫助公司快速制定業(yè)務(wù)決策。

4.Tableau Public

Tableau 是一個(gè)交互式數(shù)據(jù)可視化工具。不像大多數(shù)可視化工具那樣需要編寫腳本，Tableau的簡便性可以幫助新手降低使用難度。只需托拉拽的簡單操作使數(shù)據(jù)分析輕松完成。他們也有一個(gè)“新手入門工具包”和豐富的培訓(xùn)資料，可幫助用戶創(chuàng)建創(chuàng)更多的分析報(bào)告。

5. 谷歌Fusion Tables

Fusion Table 是谷歌提供的數(shù)據(jù)管理平臺(tái)。你可以使用它來做數(shù)據(jù)收集、數(shù)據(jù)可視化和數(shù)據(jù)共享。他就像電子數(shù)據(jù)表，但功能更強(qiáng)大更專業(yè)。你可以通過添加CSV、KML和電子表格中的數(shù)據(jù)集和同事共享資料。你還可以發(fā)布數(shù)據(jù)資料并將其嵌入到其他網(wǎng)頁屬性中。

6. Infogram

Infogram是一種直觀的可視化工具，可幫助你創(chuàng)建精美的信息圖表和報(bào)告。它提供了超過35個(gè)交互式圖表和500多個(gè)地圖，幫助你可視化數(shù)據(jù)。除了各種各樣的圖表，還有柱狀圖、條形圖、餅圖或詞云等，它用創(chuàng)新的信息圖表給你留下深刻印象。

Part 4.情感分析工具

1. HubSpot's ServiceHub

它是一個(gè)收集客戶反饋和評(píng)論的客戶反饋工具。該工具運(yùn)用自然語言處理(NLP)對(duì)語言進(jìn)行分析，分辨其正負(fù)面意義，然后用儀表板上的圖形和圖表來可視化結(jié)果。該工具支持將HubSpot's ServiceHub對(duì)接到CRM系統(tǒng)中，因此你可以將相應(yīng)的結(jié)果與特定的人員產(chǎn)生聯(lián)系。例如，你可以篩選出滿意度低的客戶，并及時(shí)提供高質(zhì)量的服務(wù)，以提高客戶的留存。

2. Semantria

Semantria是一個(gè)可以從社交媒體渠道收集帖子、推文和評(píng)論的工具。它使用自然語言處理技術(shù)來解析文本，分析客戶的正負(fù)面態(tài)度。通過這種方式，公司可以獲得用戶對(duì)產(chǎn)品或服務(wù)的真實(shí)看法，據(jù)此提出更好的想法來改進(jìn)你的產(chǎn)品和服務(wù)。

3.Trackur

Trackur是一款在線聲譽(yù)管理工具，它可以通過對(duì)社交媒體網(wǎng)站追蹤進(jìn)行輿論監(jiān)控。它爬取了大量的網(wǎng)頁，包括視頻、博客、論壇和圖片來搜索相關(guān)的信息。你可以用它清理你的負(fù)面搜索引擎結(jié)果并建立和管理你的在線聲譽(yù)。它是在線聲譽(yù)和數(shù)字品牌管理方面的行業(yè)先驅(qū)。

4. SAS Sentiment Analysis

SAS Sentiment Analysis是一款功能相當(dāng)強(qiáng)大的軟件。網(wǎng)頁文本分析中最困難的部分是拼寫錯(cuò)誤，而SAS可以輕松校對(duì)和聚類分析。通過自然語言處理，機(jī)器學(xué)習(xí)和語言規(guī)則相結(jié)合，SAS可幫助你分析出最新的趨勢(shì)，最合適的商業(yè)機(jī)會(huì)，并從所有非結(jié)構(gòu)化文本數(shù)據(jù)中提取出真正有價(jià)值的信息。

5. Hootsuit Insight

該工具可以分析評(píng)論、帖子、論壇、新聞網(wǎng)站和其他50多種語言的1000多萬個(gè)數(shù)據(jù)源平臺(tái)。此外，它還可以對(duì)性別和位置進(jìn)行分類。你可以制定針對(duì)特定群體的戰(zhàn)略營銷計(jì)劃。你還可以獲取實(shí)時(shí)數(shù)據(jù)并調(diào)查在線對(duì)話。

Part 5.數(shù)據(jù)庫

1. Oracle

毫無疑問，Oracle是開源數(shù)據(jù)庫中的佼佼者。它擁有許多功能，是企業(yè)的最佳選擇。它還支持集成到不同平臺(tái)上。在AWS中易于設(shè)置使它成為關(guān)聯(lián)式數(shù)據(jù)庫的可靠選擇。對(duì)內(nèi)置信用卡等隱私數(shù)據(jù)的高安全性保障技術(shù)使其無可替代。

2.PostgreSQL

它排名在Oracle、MySQL、Microsoft SQL Server之后，成為第四大最受歡迎的數(shù)據(jù)庫。由于其絕對(duì)可靠的穩(wěn)定性，它可以處理高負(fù)荷的數(shù)據(jù)。

3.Airtable

它是基于云服務(wù)器的數(shù)據(jù)庫軟件，具有廣泛的數(shù)據(jù)表讀取和信息顯示功能。它還有一個(gè)電子數(shù)據(jù)表和內(nèi)置日歷，可以輕松地跟蹤任務(wù)。它的入門模板很容易上手，模板包括銷售線索管理、bug追蹤和試用追蹤。

4. MariaDB

它是一個(gè)免費(fèi)的開源數(shù)據(jù)庫，用于數(shù)據(jù)存儲(chǔ)，插入，修改和檢索。此外，Maria有一個(gè)強(qiáng)大的社區(qū)支持，社區(qū)成員非?；钴S，積極分享信息和知識(shí)。

5. Improvado

Improvado是一款為營銷人員設(shè)計(jì)的工具，可以通過自動(dòng)儀表盤和分析報(bào)告將所有數(shù)據(jù)實(shí)時(shí)集中到一個(gè)平臺(tái)。Improvado最適合提供給那些希望將所有營銷平臺(tái)的數(shù)據(jù)整合在一個(gè)平臺(tái)的營銷分析領(lǐng)導(dǎo)者。

你可以選擇在Improvado儀表板中查看數(shù)據(jù)， 也可以將其導(dǎo)出到你選擇的數(shù)據(jù)倉庫或可視化工具中，如Tableau, look ker, Excel等。公司、機(jī)構(gòu)和高校都喜歡使用Improvad，因?yàn)樗鼮樗麄児?jié)省了數(shù)千小時(shí)的人工報(bào)告時(shí)間，和數(shù)百萬美元的營銷預(yù)算。

轉(zhuǎn)載整理自網(wǎng)絡(luò)