思維變革

更多

1、統(tǒng)計局限。抽樣需要充分考慮隨機性，普查的數(shù)據(jù)不具有實時性，由于世界時刻處于變動之中，如果無法在極短時間內(nèi)收集全部數(shù)據(jù)，數(shù)據(jù)本身便會發(fā)生變化，信息分析的效度便會下降。穿孔打卡的美國人口普查式的數(shù)據(jù)采集方式問題諸多而且已然落伍了，喬布斯的癌癥治療正是運用了大數(shù)據(jù)技術(shù)將DNA和腫瘤DNA排序并以此用藥。

2、總體樣本?，F(xiàn)代技術(shù)使更多的數(shù)據(jù)成為可能，這意味著采集總體數(shù)據(jù)而不是隨機樣本，讓“樣本=總體”，那樣收集的數(shù)據(jù)只需要清洗和選擇便可直接使用。巴拉巴西在分析中對大數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)分析，并得出了許多有價值的曾被忽視的理論。

更雜

1、復(fù)雜性。更多的數(shù)據(jù)是更真實地反映現(xiàn)實，這不僅意味著蘊含更多的細(xì)節(jié)，也意味著混雜更多噪聲，總體的數(shù)據(jù)反映出了復(fù)雜性。谷歌使用網(wǎng)絡(luò)全部文本數(shù)據(jù)進(jìn)行訓(xùn)練，研發(fā)出的谷歌翻譯不僅能翻譯各國語言其準(zhǔn)確度還是最高的。

2、混亂性。由于測量工具和分析工具以及人的操作，必然存在工具誤差和人為誤差，在大數(shù)據(jù)中這樣的誤差被放大了，我們必須接受錯誤、擁抱混亂，可能現(xiàn)實就是如同量子力學(xué)揭示的——一切在概率之下的，接受和拒絕都存在概率。

3、忽視錯誤。即時的、龐大的、非結(jié)構(gòu)化的數(shù)據(jù)，雖然大量存在偏差和錯誤，但因部分的問題而拒絕整體的改進(jìn)是不可取的，再者疏失那些偏差和錯誤反而無法了解真實的情況。MIT接受互聯(lián)網(wǎng)混亂的數(shù)據(jù)，比官方數(shù)據(jù)更早預(yù)測出通貨緊縮，hadoop允許大數(shù)據(jù)的少量錯誤存在，極大減少了Visa的交易時間。

更好

1、相關(guān)關(guān)系。相關(guān)關(guān)系是量化兩個數(shù)據(jù)位的數(shù)理關(guān)系，其中一方的變化必然引起另一方的變化。亞馬遜、塔吉特通過用戶點擊和購買商品的相關(guān)關(guān)系形成個性化推薦。

2、預(yù)測能力。相關(guān)關(guān)系不是絕對，只是一種可能，如果A、B經(jīng)常一起發(fā)生，那么可通過A預(yù)測B。沃爾瑪對歷史交易數(shù)據(jù)庫的分析，將兩種相差較大的商品擺放在一起以增加銷量。UPS通過大量傳感器監(jiān)測車輛個部分，實現(xiàn)故障零件精確替換。麥格雷戈同樣地用大量監(jiān)測設(shè)備，對人體情況實時監(jiān)測，以此發(fā)現(xiàn)隱性因素對疾病爆發(fā)的影響。

3、傳統(tǒng)科學(xué)。因為誤差和噪聲、偏見和偶然的普遍存在，需要對假想反復(fù)驗證，以此發(fā)展而來的是科學(xué)。大數(shù)據(jù)時代的“科學(xué)”不再需要復(fù)雜的數(shù)據(jù)采集方法、反復(fù)的實驗檢驗證實，只需要不斷優(yōu)化算法，從數(shù)據(jù)間的關(guān)系中快速提取相關(guān)關(guān)系。FICO、益百利、Aviva根據(jù)個人背景信息來推測其行為模式。

4、因果思維。因果關(guān)系存在兩種情況，快速的、虛幻的因果和緩慢的、有條不紊的因果。我們在經(jīng)驗世界中直覺感知的因果絕大多都是虛假的或非直接的因果，而我們以邏輯思辨得出的因果更是虛幻的和未被證實的因果。卡尼曼的兩種思維模式，直接得出因果的快速思維和仔細(xì)思考的慢性思維，前者因果關(guān)系通常是不存在的，而后者的因果關(guān)系在大數(shù)據(jù)時代可獲得極大優(yōu)勢。魯丁從歷史數(shù)據(jù)中建立預(yù)測模型，依序列出高危（易爆）沙井蓋。

5、理論發(fā)展。安德森認(rèn)為大數(shù)據(jù)某種程度上意味著理論終結(jié)。大數(shù)據(jù)沖擊傳統(tǒng)科學(xué)的思維定式，逐步建立新的數(shù)據(jù)采集、清洗、分析、建模的方法。

商業(yè)變革

數(shù)據(jù)化

1、數(shù)據(jù) data。數(shù)據(jù)化，是把一種現(xiàn)象轉(zhuǎn)變?yōu)榭梢越ū矸治龅牧炕问降倪^程，是將事物的信息轉(zhuǎn)變?yōu)閿?shù)據(jù)。莫里根據(jù)航海日志繪制出了有120玩數(shù)據(jù)點的新海圖，整合經(jīng)緯度、時間、氣溫、風(fēng)向、風(fēng)速的航線分析系統(tǒng)。

2、數(shù)字 digit。數(shù)字化，是把模擬數(shù)據(jù)轉(zhuǎn)換成用0和1表示的二進(jìn)制碼。數(shù)字和數(shù)據(jù)的差異在于，數(shù)據(jù)是具有信息（符號和標(biāo)簽）的數(shù)字，數(shù)字是可運算（可被計算機讀?。┑姆?。谷歌對圖書的掃描圖片是數(shù)字圖像，對掃描圖片的文字識別是數(shù)據(jù)文本。

3、數(shù)據(jù)發(fā)展。最初的計量和記錄本身就是數(shù)據(jù)化，再發(fā)展出算術(shù)和復(fù)式記賬法的數(shù)據(jù)處理工具，科學(xué)認(rèn)為一切事物的真理必須通過對現(xiàn)象的量化分析。文化組學(xué)，通過對文本的定量分析揭示人類行為和文化發(fā)展的趨勢。

4、空間數(shù)據(jù)。從依據(jù)地標(biāo)、星座、航位推測法、無線電技術(shù)等進(jìn)行地理定位導(dǎo)航，到使用以人造地球衛(wèi)星為基礎(chǔ)的高精度無線電導(dǎo)航的定位系統(tǒng)（GPS和北斗），再到手機的實時定位，從個人的定位導(dǎo)航到個人行動軌跡記錄，空間方位信息轉(zhuǎn)變成為數(shù)據(jù)?，F(xiàn)實挖掘，是通過處理大量手機數(shù)據(jù)來預(yù)測人類行為。疾病疫情的防控隔離就是運用的這樣的技術(shù)。

5、社交數(shù)據(jù)。對微博的句法分析和情感分析，可以獲知事物彼此的相關(guān)關(guān)系和人的行為模式，由此對現(xiàn)象進(jìn)行預(yù)測，互聯(lián)網(wǎng)社交動態(tài)的數(shù)據(jù)化可以獲得其中的人們的所有信息。微博中的動態(tài)可以預(yù)測出個人偏好、電影票房、疫苗接種傾向等。

6、自我技術(shù)。自我量化，是對自身的生命體征、運動狀態(tài)及各部分情況的數(shù)據(jù)化，以此進(jìn)行自我的監(jiān)控的精確改進(jìn)。大數(shù)據(jù)讓我們認(rèn)識到世界不是一連串自然的或社會現(xiàn)象的事件，而是由信息構(gòu)成的，“并非原子而是信息是一切的本源”。

價值

1、非競爭性。數(shù)據(jù)的采集、儲存、使用甚至舍棄都是有成本的，而隨著儲存和采集數(shù)據(jù)的成本不斷下降，更多的數(shù)據(jù)可以被獲取并保存下來，數(shù)據(jù)的價值不會隨著使用而減少，反而被更多的人所使用才能實現(xiàn)其價值，個人對數(shù)據(jù)的使用不會妨礙他人對數(shù)據(jù)的使用，可以說數(shù)據(jù)是公共的、共享的。路易斯的ReCaptcha是將文本識別的模糊字母圖片用于真人驗證，不僅提高驗證效率而且實現(xiàn)低成本的掃描圖片的文字識別。

2、再次利用。數(shù)據(jù)的采集往往因為需要使用或無意得到的，在數(shù)據(jù)的初次使用后仍然具有價值，特別是縱向和橫向擴展的數(shù)據(jù)更具有龐大的潛在價值，數(shù)據(jù)再次利用的價值只會比初次利用的還要巨大。亞馬遜對電商數(shù)據(jù)的保存和谷歌對語音翻譯數(shù)據(jù)的保存，都讓他們擁有進(jìn)一步發(fā)展的關(guān)鍵資源。

3、模型預(yù)測。不同的數(shù)據(jù)集之間可以產(chǎn)生交互，以此可以形成不同事物間的相關(guān)關(guān)系，根據(jù)相關(guān)關(guān)系的模型可以做出準(zhǔn)確的預(yù)測。谷歌街景車不僅采集街道信息，而且采集GPS、無線網(wǎng)絡(luò)等離散的信息，這些信息不僅優(yōu)化了谷歌地圖，而且為無人駕駛技術(shù)提供了資源。

4、噪聲數(shù)據(jù)。某些表面上錯誤的、混亂的、離散的數(shù)據(jù)是數(shù)據(jù)中的噪聲，噪聲是來源于不確定性和變異性，但數(shù)據(jù)總是有效，其反映的是真實的信息，噪聲是能通過一定的方法來表達(dá)真實。谷歌的拼寫檢查在錯誤的拼寫和正確的拼寫建立相關(guān)關(guān)系，而不僅是將錯誤的判斷為無效。斯坦福機器學(xué)習(xí)公開課的一次課外作業(yè)有很多人犯同樣的錯誤，分析顯示是學(xué)生作業(yè)中共同的算法問題，系統(tǒng)可以依此提示檢查算法而不是判斷錯誤。

5、數(shù)據(jù)折舊。大數(shù)據(jù)的思維就是要收集和保存更多的數(shù)據(jù)，并從中發(fā)現(xiàn)和提取更多的信息，以此實現(xiàn)數(shù)據(jù)的價值。但數(shù)據(jù)是有失效性的，而且不可能無限保存過量的數(shù)據(jù)，清洗、篩選、擦除也是十分重要的，其基本的標(biāo)準(zhǔn)是有用性。亞馬遜的數(shù)據(jù)有用性分析模型就是依靠推薦系統(tǒng)的反饋。

6、數(shù)據(jù)公開。數(shù)據(jù)的價值在于使用而不是獨占，只有打破信息的壁壘才能實現(xiàn)帕累托改進(jìn)，政府、商業(yè)組織、公益團體等應(yīng)該積極地將數(shù)據(jù)提供全社會各階層、各群體使用，同時也應(yīng)為具有價值的數(shù)據(jù)進(jìn)行估值，對某些重要核心數(shù)據(jù)進(jìn)行專利保護，可從實現(xiàn)價值的數(shù)據(jù)獲取許可收益。美國和英國等國家的政府和團體都在不斷開放數(shù)據(jù)，數(shù)據(jù)中介組織也在興起。

角色定位

1、數(shù)據(jù)價值鏈。大數(shù)據(jù)價值構(gòu)成：數(shù)據(jù)、技能、思維；基于數(shù)據(jù)的公司，通常是門戶和平臺，能獲得大量數(shù)據(jù)，往往無法充分利用數(shù)據(jù)，如Twitter；基于技能的公司，通常是咨詢分析公司和技術(shù)供應(yīng)商，能根據(jù)數(shù)據(jù)做出分析和預(yù)測，如天睿 Teradata；基于思維的公司，通常是新型的研究性的公司，能在紛繁的數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)間的關(guān)系，形成具有新價值的獨特想法。Decide.com獲取電商平臺銷售量和銷售價格，發(fā)現(xiàn)不正常的高峰，提供最佳購買的時機。

2、大數(shù)據(jù)思維。大數(shù)據(jù)思維，是一種意識，是認(rèn)為適當(dāng)?shù)臄?shù)據(jù)處理可以為公眾急需解決的問題提供答案，關(guān)注的不是數(shù)據(jù)實現(xiàn)的利益，而是對公眾福祉的最大提升。谷歌和亞馬遜都是數(shù)據(jù)、技術(shù)和思維兼具的公司，區(qū)別在于谷歌旨在將數(shù)據(jù)多次利用在不同方面的預(yù)測，而亞馬遜旨在多次利用數(shù)據(jù)后能提升企業(yè)效益。

3、數(shù)據(jù)中間商。同行大多數(shù)都不會向?qū)Ψ匠鲎尲悍綌?shù)據(jù)，而往往會把數(shù)據(jù)許可給受信任的或非營利性的中間機構(gòu)，不僅可以安全地獲得收益，還能得到基于行業(yè)的分析預(yù)測。Inrix擁有交通行業(yè)的所有數(shù)據(jù)，衛(wèi)生保健成本協(xié)會擁有全國的匿名保單數(shù)據(jù)。數(shù)據(jù)的價值隨擁有的數(shù)據(jù)量而增加，而且價值的實現(xiàn)不僅在于技術(shù)方法的使用，還在于創(chuàng)新思維對數(shù)據(jù)的運用。

4、數(shù)據(jù)科學(xué)家。數(shù)據(jù)科學(xué)家是統(tǒng)計學(xué)家、軟件程序員、圖形設(shè)計師與作家的結(jié)合體，是通過數(shù)據(jù)庫來得到新的發(fā)現(xiàn)。數(shù)據(jù)科學(xué)家是完全根據(jù)數(shù)據(jù)做出分析和預(yù)測的，是排除了主觀感受和想象的絕對客觀?！饵c球成金》中球隊通過數(shù)據(jù)來簽約球員，而不是感覺和臆斷。游戲通過玩家對虛擬物品的偏好來設(shè)計付費的虛擬物品。

5、大數(shù)據(jù)公司。小型公司的發(fā)展關(guān)鍵在于大數(shù)據(jù)的思維，利用無法占有的數(shù)據(jù)進(jìn)行創(chuàng)新性的使用。中型公司的發(fā)展關(guān)鍵在于向大型或小型公司轉(zhuǎn)變，因為其已經(jīng)失去傳統(tǒng)行業(yè)中的靈活性，面對大型和小型公司的夾擊，極大可能被并購和擊敗。大型公司的發(fā)展關(guān)鍵在于占有數(shù)據(jù)的利用和對數(shù)據(jù)更多更持久的占有。蘋果從運營商處獲得大量用戶數(shù)據(jù)，使其具有更好的用戶體驗。

管理變革

風(fēng)險

1、監(jiān)控統(tǒng)治。全面的數(shù)據(jù)采集和儲存會涉及個人隱私，數(shù)據(jù)的分析預(yù)測會涉及個人自由與權(quán)利，不適當(dāng)?shù)氖褂脮θ藗冊斐蓚?。喬治奧威爾的《一九八四》，邊沁的環(huán)形監(jiān)獄。居民民事記錄數(shù)據(jù)和數(shù)字編碼為納粹大屠殺提供技術(shù)和工具的幫助。

2、無效保護。為保護個人隱私的隱私使用的告知與許可極為困難，因為其不僅增加了廠商運營成本，還為系統(tǒng)運行設(shè)置了諸多障礙。模糊化和匿名化也都是無效的，因為隨著數(shù)據(jù)總量的增加，數(shù)據(jù)間的交叉驗證能確認(rèn)數(shù)據(jù)的真實性，個人隱私之外的數(shù)據(jù)也能描繪出個人的清晰畫像。政府和公司都不同程度上，在人們未明確許可的情況下，采集并多次利用個人的隱私數(shù)據(jù)。

3、畫像缺陷。大數(shù)據(jù)的預(yù)測分析，可能因?qū)ξ窗l(fā)生的行為的過早干預(yù)，而致使個人或社會利益受損，若將這樣的技術(shù)用于犯罪防治，可能出現(xiàn)打擊過大的現(xiàn)象，如《少數(shù)派報告》。美國正研發(fā)未來行為檢測科技 FAST。數(shù)據(jù)描繪的畫像是精確的，這樣的精確卻無法達(dá)到絕對，如果將其用于行為的預(yù)測、引導(dǎo)和控制時，就會產(chǎn)生數(shù)據(jù)歧視。畫像的缺陷可能導(dǎo)致馬太效應(yīng)，因為某人可能去做或會發(fā)生的而受到限制、控制甚至懲罰，都是技術(shù)不適當(dāng)?shù)氖褂谩Ｒ谆疾≌咄侗：椭委煹某杀驹黾?，低學(xué)歷者獲得機會和支持減少，個人的生理和歷史因素導(dǎo)致更容易被懷疑……。

4、數(shù)據(jù)迷戀。將一切看成數(shù)據(jù)，并只通過數(shù)據(jù)去認(rèn)識世界，這是危險的，唯數(shù)據(jù)論只會使個人喪失自由意志和選擇權(quán)力，也會被數(shù)據(jù)誤導(dǎo)和欺騙。麥克納馬拉將戰(zhàn)爭看成死亡率的爭奪；谷歌將決策轉(zhuǎn)變量化的數(shù)據(jù)問題，看重面板數(shù)值；喬布斯設(shè)計產(chǎn)品依靠的不是數(shù)據(jù)而是靈感和自覺。

掌管

1社會變革。技術(shù)的革命必然帶來社會的變革，信息及媒介的擴展促進(jìn)社會在意識形態(tài)層面的深層次變化，大數(shù)據(jù)時代不僅是思維和范式的變化，還是工具和方法的創(chuàng)新，因而在其上的規(guī)范和制度也應(yīng)隨著做出改變。

2、責(zé)任轉(zhuǎn)移。從強調(diào)個人隱私的控制權(quán)，轉(zhuǎn)變?yōu)閺娬{(diào)數(shù)據(jù)使用者承擔(dān)責(zé)任，減少數(shù)據(jù)采集的成本，加強數(shù)據(jù)的保密和監(jiān)管，便于數(shù)據(jù)的多次利用。數(shù)據(jù)使用者必須遵循數(shù)據(jù)期限，數(shù)據(jù)披露者必須對數(shù)據(jù)適當(dāng)模糊化和特定隱匿化，數(shù)據(jù)監(jiān)管者必須阻止隱私泄露。

3、有限預(yù)測。大數(shù)據(jù)的分析預(yù)測僅作為參考，若要引證分析結(jié)果，必須做到公開透明，允許質(zhì)疑和反駁，遵循無罪推論，僅就現(xiàn)狀和實在采取應(yīng)對方法。

4、新的未來。數(shù)據(jù)科學(xué)家、算法師等圍繞大數(shù)據(jù)的工作正在興起，數(shù)據(jù)和算法也逐漸作為專有資源而壟斷使用，科技在改變著生活，社會緩緩向更高層次演變，危機孕育于發(fā)展之中，風(fēng)險潛藏在繁榮之下。

總結(jié)

這本書大火的時候我就買了，直到最近才開始看，關(guān)于大數(shù)據(jù)已然在這幾年有深入的了解，但我覺得大數(shù)據(jù)不應(yīng)僅是現(xiàn)在的淺薄，其更深刻的東西還需要在書中尋找，深入的發(fā)現(xiàn)不在于自以為是的想象，而在于外界新奇事物的不斷刺激。

數(shù)據(jù)分析是采集、清洗、存儲、提取、建模、預(yù)測的過程，目的是從數(shù)據(jù)中獲取客觀現(xiàn)實以及事實之間的關(guān)系。大數(shù)據(jù)與數(shù)據(jù)的差異在于：擴展、優(yōu)化、授權(quán)、占有、壟斷、工具、思維，簡單來說就有獲取大量的、廣泛的、高質(zhì)量的數(shù)據(jù)，并對其進(jìn)行多次的、持續(xù)的、深入的發(fā)掘，發(fā)現(xiàn)更多的各因素之間的關(guān)系，以此指導(dǎo)對現(xiàn)實的改進(jìn)和對問題的解決，實現(xiàn)數(shù)據(jù)的價值。

大數(shù)據(jù)思維在不斷改造社會的認(rèn)知，更深刻地利用和開發(fā)數(shù)據(jù)成為了新時代的顯著特征。數(shù)據(jù)已然成為的一種重要的戰(zhàn)略性的資源，數(shù)據(jù)所有者希望通過壟斷數(shù)據(jù)來建立壁壘，數(shù)據(jù)作為個人隱私轉(zhuǎn)變?yōu)楣操Y源的過程中被互聯(lián)網(wǎng)企業(yè)所控制，對數(shù)據(jù)不適當(dāng)?shù)墓芾砗褪褂枚籍a(chǎn)生了眾多社會問題。

大數(shù)據(jù)本身便具有局限性，雖然其能揭示更真實的世界，但在先有的技術(shù)下，依然僅能建立相關(guān)關(guān)系而無法建立因果關(guān)系，盲目地依賴數(shù)據(jù)反而會喪失自由意志和選擇權(quán)利。世界的是必然與偶然的結(jié)合，科學(xué)反而在證明量子的隨機性，心學(xué)反而能證明事物的因果關(guān)系?？萍枷蛏?，科技本就是價值無涉的，人才具有善惡之分。公有的變成私有了，中立的走向極端了，歷史的認(rèn)為終結(jié)了，這是最大的問題。

工業(yè)革命、技術(shù)革命、信息革命都帶來的社會變革，上層建筑無法適配高新的生產(chǎn)，規(guī)范和秩序面對的是新的事物和新的運行邏輯，在相對滯后的制度和理念面前，適應(yīng)的方式是不斷提升認(rèn)知，不僅要跟隨時代的步伐，還要參與進(jìn)歷史的洪流。