大數(shù)據(jù)背景下社會(huì)系統(tǒng)優(yōu)化定量研究

李忱?黃強(qiáng)

?

????????摘要：社會(huì)優(yōu)化的思想自古有之，東西方哲人都對此進(jìn)行了積極的探索。但是，以往的優(yōu)化思想多以主觀描述為主，缺乏科學(xué)性。系統(tǒng)科學(xué)、系統(tǒng)哲學(xué)的出現(xiàn)為優(yōu)化問題奠定了科學(xué)基礎(chǔ)，最小作用量原理的提出為優(yōu)化問題提供了理論依據(jù)，變分法成為解決優(yōu)化問題時(shí)可以使用的數(shù)學(xué)工具，基于這三個(gè)條件，本文給出了社會(huì)系統(tǒng)優(yōu)化問題定量研究的一般方法。

????????大數(shù)據(jù)時(shí)代的到來，標(biāo)志著人類在量化認(rèn)識(shí)世界的道路上邁出了一大步，過去不可計(jì)量、分析、存儲(chǔ)和共享的很多東西都被數(shù)據(jù)化了，這無疑為社會(huì)系統(tǒng)的定量研究提供了極大的便利。

?

一、引言

????????社會(huì)優(yōu)化的觀念長期存在于人們的思維認(rèn)識(shí)和實(shí)踐活動(dòng)之中，東、西方哲人都對此進(jìn)行了積極的探索。儒家文化無疑是東方文明的代表。

????????儒家強(qiáng)調(diào)“和”的理念，即協(xié)調(diào)各種社會(huì)關(guān)系，化解人與人之間的對立、沖突，使“父子有親，君臣有義，夫婦有別，長幼有序，朋友有信”，進(jìn)而使整個(gè)社會(huì)達(dá)到和諧狀態(tài)。

????????法家繼承了荀子人“性本惡”的思想，提倡以“勢”（統(tǒng)治者的地位和權(quán)利）、“法”（法令、法律）、“術(shù)”（統(tǒng)治權(quán)術(shù)）等剛性手段來治理國家，以此實(shí)現(xiàn)富國強(qiáng)兵。

????????道家則主張順其自然，無為而治，倡導(dǎo)一種無君無臣、無須治理的社會(huì)模式。

????????儒家的禮治、法家的法治、道家的無為而治，這些思想雖各有差別，但無不包含著對理想社會(huì)狀態(tài)的追求，都體現(xiàn)了社會(huì)優(yōu)化的意識(shí)。

西方文明對于社會(huì)優(yōu)化同樣進(jìn)行了豐富的嘗試。

????????柏拉圖在《理想國》中設(shè)想：由哲學(xué)家充當(dāng)治國者以保證治理活動(dòng)公正、無誤，由武士保衛(wèi)國家，由農(nóng)民和手工業(yè)者從事生產(chǎn)，這樣可以使社會(huì)各階層在功能上各得其所，整個(gè)社會(huì)有條不紊。

????????霍布斯在《利維坦》中提出：通過選舉產(chǎn)生君主式政體，并賦予這個(gè)政體絕對的權(quán)力，每個(gè)人必須盡責(zé)和服從，通過這種無條件的服從可以將所有人都凝聚在一起，形成“社會(huì)共同體”。這個(gè)“社會(huì)共同體”則可具有保護(hù)民眾不受外來者入侵、且不致彼此傷害的功能?；舨妓拐J(rèn)為這種君主體制是有可能建成的最好的社會(huì)統(tǒng)治系統(tǒng)。

????????此外馬斯·莫爾的“烏托邦”，培根的“本色列”，奧古斯丁的“上帝之城”等都可視作西方文明中對社會(huì)優(yōu)化的探索。

????????不可否認(rèn)，這些早期的社會(huì)優(yōu)化探索，對社會(huì)發(fā)展起到了推動(dòng)和引導(dǎo)作用。但也應(yīng)認(rèn)識(shí)到，這些樸素的社會(huì)優(yōu)化模型基本上只是由立論者想象而來，是他們主觀希望存在的社會(huì)構(gòu)體，并非借助推理演繹得出，缺乏科學(xué)性。由于時(shí)代的限制，這些樸素的模型只著重描述了人類社會(huì)的優(yōu)化，忽視了人與自然共存的問題。

????????馬克思的出現(xiàn)扭轉(zhuǎn)了這一局面，他從人、從統(tǒng)治與被統(tǒng)治階級(jí)、從社會(huì)、經(jīng)濟(jì)的角度，觀察社會(huì)現(xiàn)象，總結(jié)社會(huì)規(guī)律，闡述了人類社會(huì)的合理發(fā)展即優(yōu)化問題。馬克思提出的克服勞動(dòng)異化、廢除資產(chǎn)階級(jí)所有制、爭取人類解放和實(shí)現(xiàn)共產(chǎn)主義等思想可以看作是人與社會(huì)關(guān)系的優(yōu)化、社會(huì)本身的優(yōu)化。

????????針對人與自然的關(guān)系，馬克思指出：“社會(huì)化的人，聯(lián)合起來的生產(chǎn)者，將合理地調(diào)節(jié)他們和自然之間的物質(zhì)交換，把它置于他們的共同控制之下，而不讓它作為盲目的力量統(tǒng)治自己；靠消耗最小的力量，在最無愧于和最適合于他們的人類本性的條件下來進(jìn)行這種物質(zhì)交換?！?/p>

這種優(yōu)化思想是說：

????????1、人類必須通過對生產(chǎn)行為的“有意識(shí)有計(jì)劃的控制”，才能實(shí)現(xiàn)人與自然的和諧，這是人類社會(huì)健康發(fā)展的根本前提；

????????2、在人與自然物質(zhì)交換的過程中，應(yīng)當(dāng)以最小的耗能來實(shí)現(xiàn)“人類本性”的需求。

????????這里，馬克思指出了人與自然的物質(zhì)交換的最適于人類本性的人適原理和能耗最小原理。這是人類社會(huì)作為一個(gè)復(fù)雜巨系統(tǒng)優(yōu)化發(fā)展的核心問題。

????????馬克思把社會(huì)乃至于全人類作為一個(gè)宏觀整體進(jìn)行考察，給出了社會(huì)優(yōu)化的指導(dǎo)原則和優(yōu)化發(fā)展方向?？梢哉J(rèn)為，持續(xù)了一個(gè)半世紀(jì)的國際共產(chǎn)主義運(yùn)動(dòng)，就是在馬克思社會(huì)優(yōu)化思想的指導(dǎo)下，以改造人類社會(huì)中的不合理狀態(tài)為目的而進(jìn)行的實(shí)踐和努力。20世紀(jì)中葉興起的系統(tǒng)科學(xué)，為社會(huì)系統(tǒng)優(yōu)化研究提供了科學(xué)依據(jù)，也使定量地解決社會(huì)系統(tǒng)優(yōu)化問題成為可能。

?

二、系統(tǒng)哲學(xué)中的社會(huì)優(yōu)化思想

系統(tǒng)哲學(xué)認(rèn)為：

????????優(yōu)化是使“系統(tǒng)之間、系統(tǒng)與要素之間、要素與要素之間、結(jié)構(gòu)層次之間內(nèi)在的各差異部分，在整體上協(xié)調(diào)一致”的過程。

????????優(yōu)化的目的是使系統(tǒng)達(dá)到和諧的狀態(tài)，“和諧系統(tǒng)”的一個(gè)重要表征是符合“最小作用量原理”。

????????“最小作用量原理”是說：系統(tǒng)的運(yùn)動(dòng)、演化過程是一種耗能、費(fèi)時(shí)的過程，和諧系統(tǒng)在發(fā)展演化的過程中能夠最大化地利用外界輸入的能量來做功，并在發(fā)展演化的過程中耗能最少、費(fèi)時(shí)最短。相反，自然選擇會(huì)淘汰能量利用率低的系統(tǒng)。

????????無疑，人類社會(huì)是一個(gè)大系統(tǒng)。系統(tǒng)哲學(xué)的優(yōu)化思想為社會(huì)優(yōu)化提供了兩條可行的進(jìn)路：

1、基于環(huán)境選擇的社會(huì)系統(tǒng)優(yōu)化。

????????假如一個(gè)復(fù)雜系統(tǒng)欲保持其原有的功能，那么該系統(tǒng)就必須不斷協(xié)調(diào)自身與環(huán)境之間的關(guān)系，該系統(tǒng)必須與其所處環(huán)境，以及環(huán)境中的其他系統(tǒng)共同發(fā)展，建立充分的協(xié)作關(guān)系。這種協(xié)同作用的結(jié)果是產(chǎn)生了一種更高層次的組織系統(tǒng)。這就是協(xié)同進(jìn)化的全部過程，其結(jié)果是適應(yīng)當(dāng)時(shí)環(huán)境的和諧系統(tǒng)的產(chǎn)生，也就是整體的優(yōu)化。

????????在人類社會(huì)有記載的歷史中，正是由于協(xié)同進(jìn)化的存在，才使得我們所生存的這個(gè)世界由原始部落、氏族公社、村落、地區(qū)、省份逐漸進(jìn)化成為今天這樣一個(gè)多元化的ZZ、經(jīng)濟(jì)和社會(huì)的復(fù)雜系統(tǒng)。而每一次這樣的變G，都是適應(yīng)當(dāng)時(shí)生產(chǎn)力、當(dāng)時(shí)環(huán)境的社會(huì)優(yōu)化。社會(huì)系統(tǒng)通過與外部環(huán)境的相互選擇產(chǎn)生了最優(yōu)狀態(tài)、最優(yōu)過程、最優(yōu)功能。

????????人類社會(huì)是在動(dòng)物社會(huì)的基礎(chǔ)上，在環(huán)境選擇的作用下逐步演進(jìn)出來的，不存在外在的設(shè)計(jì)者和組織者。即使在現(xiàn)代社會(huì)，由于社會(huì)系統(tǒng)的巨大規(guī)模，多樣化的組分差異，復(fù)雜的非線性相互作用，豐富的動(dòng)力學(xué)特性，復(fù)雜的層次結(jié)構(gòu)，以及各種各樣的不確定性，系統(tǒng)內(nèi)部時(shí)刻都存有不同層次、不同式樣、不同規(guī)模的環(huán)境選擇下的優(yōu)化。

????????但應(yīng)該注意到，依賴于環(huán)境選擇的系統(tǒng)優(yōu)化過程往往過于漫長，且存在著極大的盲目性。在科技迅猛發(fā)展、社會(huì)環(huán)境飛速變換、人類實(shí)踐范圍日益擴(kuò)大的今天，依賴于環(huán)境選擇的優(yōu)化方式越來越難以滿足社會(huì)發(fā)展的需要，訴諸于人類理性、及時(shí)快速的社會(huì)優(yōu)化方法成為急切需要的東西。

?

2、基于“最小作用量原理”的社會(huì)系統(tǒng)優(yōu)化。

????????系統(tǒng)哲學(xué)中“最小作用量原理”以耗散結(jié)構(gòu)理論的最小熵產(chǎn)生原理（principle?of?minimum?entropy?production）、復(fù)雜系統(tǒng)中的最大功效原理（maximum power principle）和自然界中的最小作用量原理（least action principle）為自然科學(xué)基礎(chǔ)，由烏杰教授在著作《和諧社會(huì)與系統(tǒng)范式》中升華為哲學(xué)理論，他指出：“凡是符合‘最小作用量原理’的物質(zhì)都是和諧的”，并在《系統(tǒng)哲學(xué)之?dāng)?shù)學(xué)原理》中進(jìn)行了詳細(xì)的論證。

????????“最小作用量原理”具有重大的社會(huì)意義，它揭示出人類社會(huì)系統(tǒng)、生態(tài)系統(tǒng)為了持續(xù)生存、發(fā)展，在與環(huán)境的相互作用中，必須以最少的能量取得最佳的效益，使效率最大化。和諧的社會(huì)結(jié)構(gòu)必須是最科學(xué)、最合理、最優(yōu)化的社會(huì)結(jié)構(gòu)，必然是效率最高、成本最低的社會(huì)結(jié)構(gòu)。

????????自然科學(xué)中的最小作用量原理最早產(chǎn)生于17世紀(jì)60年代，即幾何光學(xué)中的最小時(shí)間原理，“光線從一點(diǎn)行到另一點(diǎn)所遵循的路徑，依所需的時(shí)間為最短者”。

????????17世紀(jì)末18世紀(jì)初，牛頓（Jssac Newton，1642—1727）、雅可布·伯努利（Jacob Bernoulli，1654—1705）、約翰·伯努利（John Bernoulli，1667—1748）、泰勒（Brook Taylor，1685—1731）在對“最速降線”等“最小量”問題的探索中，提出“變分法”。

????????18世紀(jì)40年代，歐拉（Leonard Euler，1707—1783）出版了第一本變分法專著——《求某種具有極大或極小性質(zhì)的曲線或解最廣義的等周問題的技巧》，這可視為變分法發(fā)展過程中的一座里程碑。

????????之后，拉格朗日（Joseph Louis Lagrange，1736—1813）又對歐拉方法進(jìn)行了改造和變G。拉格朗日的變分方法開啟了變分法發(fā)展的新時(shí)代，極大地發(fā)展和拓寬了變分法的研究范圍。

????????烏杰教授指出，最小作用量原理發(fā)展的最關(guān)鍵的一步是由拉格朗日用變分法對它作出最基本的數(shù)學(xué)表達(dá)。取非等時(shí)變分號(hào)為△，最小作用量原理可表達(dá)為：

????????為第i個(gè)物質(zhì)，

?????????為第i個(gè)物質(zhì)的運(yùn)動(dòng)速度，

?????????為第i個(gè)物質(zhì)在各自一定的時(shí)間間隔內(nèi)所運(yùn)動(dòng)經(jīng)過的距離。。

用能量代入上式，可變換為：

? ? ? ? ?其中，，表示在n維空間中的兩個(gè)點(diǎn)，上式為通過該兩點(diǎn)的路徑積分的變分。

????????如伽利略所言：“大自然的書是用數(shù)學(xué)語言寫的”，和馬克思所說：“一門科學(xué)只有當(dāng)它成功運(yùn)用數(shù)學(xué)時(shí)，才算到了成熟的地步”，社會(huì)科學(xué)成熟的程度，也取決于數(shù)學(xué)的應(yīng)用程度。以最小作用量原理為理論基礎(chǔ)，以變分法為數(shù)學(xué)分析工具，這使社會(huì)系統(tǒng)的定量研究成為可能。

?

三、基于最小作用量原理的社會(huì)系統(tǒng)優(yōu)化建模

????????社會(huì)學(xué)對社會(huì)和諧的理解，主要是從社會(huì)結(jié)構(gòu)、社會(huì)階層、資源配置等角度進(jìn)行。

????????從社會(huì)結(jié)構(gòu)角度看，要求社會(huì)各個(gè)環(huán)節(jié)、部門、領(lǐng)域的關(guān)系協(xié)調(diào)、有序、穩(wěn)定，社會(huì)成員、組織、階層之間的關(guān)系協(xié)調(diào)、融洽、無沖突；

????????從社會(huì)階層角度看，要求社會(huì)各階層利益協(xié)調(diào)、相互開放，各階層的基本利益均能夠得到保證，社會(huì)資源能被有效利用，從而確保社會(huì)全面發(fā)展；

????????從資源配置角度看，優(yōu)化的社會(huì)系統(tǒng)在資源配置方面應(yīng)該達(dá)到“帕累托最優(yōu)”且嚴(yán)格公平，資源配置的“最優(yōu)”可以保證人與自然的和諧，嚴(yán)格公平保證了人與人的和諧。

????????綜合學(xué)術(shù)界已有的觀點(diǎn)，本文認(rèn)為從社會(huì)關(guān)系和諧的角度理解社會(huì)系統(tǒng)優(yōu)化，更有利于把握社會(huì)優(yōu)化的本質(zhì)意義。站在社會(huì)關(guān)系的角度來看，社會(huì)系統(tǒng)優(yōu)化至少應(yīng)包括以下幾個(gè)方面：人與人的關(guān)系、人與社會(huì)的關(guān)系、人與自然的關(guān)系、社會(huì)發(fā)展與自然的關(guān)系。

????????人類要生存就會(huì)組成各種社會(huì)單元去開發(fā)自然資源；但隨著生產(chǎn)力和經(jīng)濟(jì)的發(fā)展，人類改造自然、利用自然的工具不斷加強(qiáng)，人類又破壞了賴以生存的生態(tài)環(huán)境；生產(chǎn)力的發(fā)展給社會(huì)本身也帶來新的變化，但由于地域的不同、經(jīng)濟(jì)發(fā)展的速度不同以及分配的不公又會(huì)造成社會(huì)的不穩(wěn)定和不和諧。對社會(huì)系統(tǒng)的優(yōu)化，就是要正確處理人、社會(huì)、自然的關(guān)系，使這些關(guān)系處于和諧的狀態(tài)。

定義：由人（men）、社會(huì)系統(tǒng)、自然系統(tǒng)所組成的大系統(tǒng)為生態(tài)系統(tǒng)，即：

????????生態(tài)系統(tǒng)=人+社會(huì)系統(tǒng)+自然系統(tǒng)（人men，社會(huì)society，自然nature），其狀態(tài)函數(shù)為。鄰近狀態(tài)的狀態(tài)函數(shù)為，將狀態(tài)展成泰勒級(jí)數(shù)：

????????對于線性系統(tǒng)和非線性系統(tǒng)，定常系統(tǒng)和時(shí)變系統(tǒng)可以采用李雅普諾夫系統(tǒng)穩(wěn)定性判別準(zhǔn)則，即：對于和諧狀態(tài)，狀態(tài)函數(shù)取極值有；

當(dāng)：

????????A）或該和諧狀態(tài)是穩(wěn)定的。

????????B）或該和諧狀態(tài)是穩(wěn)定與不穩(wěn)定的臨界狀態(tài)。

????????C）或該和諧狀態(tài)是不穩(wěn)定的。

定義：

????????人、社會(huì)、自然的關(guān)聯(lián)函數(shù)是熵流（entropy），人熵流用表示，社會(huì)系統(tǒng)熵流用。表示，自然系統(tǒng)熵流用表示。

顯然：

????????

說明：

????????①人、社會(huì)、自然三個(gè)子系統(tǒng)組成生態(tài)系統(tǒng)，三個(gè)子系統(tǒng)之間存在熵交換，生態(tài)系統(tǒng)之外的系統(tǒng)對其產(chǎn)生的影響應(yīng)用邊界條件加以限制。

????????②人熵流、社會(huì)系統(tǒng)熵流、自然系統(tǒng)熵流均是物質(zhì)m（matter）、能量e（energy），信息i（information）的函數(shù)，可以寫為：，,，顯然物質(zhì)m、能量e、信息i，是狀態(tài)函數(shù)的自變量。

????????③雖然人熵流、社會(huì)系統(tǒng)熵流、自然系統(tǒng)熵流均是物質(zhì)m、能量e、信息i的函數(shù)，但是它們各自的函數(shù)關(guān)系并不相同。

????????對于，如果

是連續(xù)函數(shù)，則有：

引入判據(jù)：

對于和諧狀態(tài)，狀態(tài)函數(shù)取極值有，當(dāng)：

????????A），和諧狀態(tài)是穩(wěn)定的。

????????B），和諧狀態(tài)是穩(wěn)定與不穩(wěn)定的臨界狀態(tài)。

????????C），和諧狀態(tài)是不穩(wěn)定的。

至此，我們可以定量分析：

????????a、生態(tài)系統(tǒng)的三個(gè)關(guān)聯(lián)函數(shù)的關(guān)系。

????????b、人、社會(huì)、自然子系統(tǒng)曲線形態(tài)。

????????c、影響生態(tài)系統(tǒng)和諧的元素。

????????此外，通過對臨界點(diǎn)求解，可以對生態(tài)系統(tǒng)各參數(shù)進(jìn)行定量研究。對的求解可等價(jià)為求解歐拉方程，也就是求解偏微分方程。但是，偏微分方程的求解通常很困難，瑞利—里茲法（Reyleigh—Ritz）是一種常見的近似求解方法：

????????設(shè)泛函在其可取函數(shù)集合E內(nèi)有極小值，為了得到極小化序列，選取坐標(biāo)函數(shù)序列，它是獨(dú)立的，也是完備的。用這些坐標(biāo)函數(shù)的前n個(gè)函數(shù)的線性組合

? ? ? ? ?構(gòu)造一組函數(shù)序列。其中為待定系數(shù)，或者稱之為里茲系數(shù)。

????????將上式帶入泛函，并進(jìn)行必要的微分和積分運(yùn)算后，可得到n元函數(shù)：

?

????????確定的方法就是使得n元函數(shù)取極值，即：

?????????由此，我們可以求得一組解，一組解和一組解，從而得到極小化序列。如果令n→∞并且極限存在

?? ? ? ? 則函數(shù)即為變分問題的精確解。如果只限于取前面的有限項(xiàng)進(jìn)行運(yùn)算，所得的結(jié)果就是變分問題的近似解。

????????從前面的討論可以看出，泛函的極值問題轉(zhuǎn)化為有限個(gè)變量的函數(shù)極值問題，可使原來的變分問題易于求解。

????????在生態(tài)系統(tǒng)問題中，函數(shù)序列實(shí)際上是事先選取的，稱為坐標(biāo)函數(shù)，坐標(biāo)函數(shù)的選取直接關(guān)系到近似計(jì)算的復(fù)雜程度。坐標(biāo)函數(shù)除了滿足一定的連續(xù)條件，以及前面所提到的完備性外，作為最低要求，應(yīng)滿足給定的邊界條件。

?

四、大數(shù)據(jù)在社會(huì)系統(tǒng)優(yōu)化定量研究中的應(yīng)用

????????定量研究（Quantitative research）是指對事物“量”的規(guī)定性進(jìn)行分析和概括的方法，是社會(huì)科學(xué)領(lǐng)域的一種基本研究范式。與社會(huì)科學(xué)的定性研究比較，定量研究有著更高的精確性：

????????首先，定量研究以科學(xué)的分析方法和測度指標(biāo)，通過對社會(huì)描述資料進(jìn)行量化處理和分析，可以揭示出社會(huì)現(xiàn)象的數(shù)量特征、數(shù)量關(guān)系、數(shù)量差異等，從而實(shí)現(xiàn)對社會(huì)系統(tǒng)的精確描述；

????????其次，數(shù)學(xué)語言、數(shù)理邏輯具有清晰、準(zhǔn)確、嚴(yán)謹(jǐn)、縝密等特征，定量研究主要借助數(shù)學(xué)工具，因此能夠清晰、簡潔、精確地描述出社會(huì)系統(tǒng)的存在狀態(tài)和發(fā)展變化過程。定量研究方法通過使用直觀的數(shù)據(jù)、數(shù)學(xué)公式或模型來分析解決各種復(fù)雜問題，具有更強(qiáng)的邏輯性和準(zhǔn)確性，因而備受學(xué)者的青睞。

????????社會(huì)科學(xué)定量研究方法是一種數(shù)據(jù)密集型科學(xué)研究范式（data——intensive science），是對社會(huì)系統(tǒng)“量”的方面進(jìn)行的研究，其研究基礎(chǔ)是全面的社會(huì)系統(tǒng)描述數(shù)據(jù)。在研究中，必須搜集足夠多的數(shù)據(jù)化信息，且對這些信息進(jìn)行量化處理，進(jìn)而得出量化的結(jié)果。這種研究方式在自然科學(xué)研究領(lǐng)域較易實(shí)現(xiàn)，但將之應(yīng)用于社會(huì)系統(tǒng)的研究則面臨很大困難，困難主要表現(xiàn)在對社會(huì)系統(tǒng)的定量描述上。

????????隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、傳感網(wǎng)、社交網(wǎng)絡(luò)等技術(shù)的迅猛發(fā)展，諸多領(lǐng)域都產(chǎn)生了超大的數(shù)據(jù)規(guī)模，人類獲取的數(shù)據(jù)量正在呈指數(shù)級(jí)增長——大約每18個(gè)月翻一番——這昭示著大數(shù)據(jù)時(shí)代的來臨。

????????大數(shù)據(jù)為世界創(chuàng)造了前所未有的可量化的維度，極大地拓寬了人類收集和分析數(shù)據(jù)的深度、廣度以及規(guī)模，從而解決了生態(tài)系統(tǒng)定量描述的問題，為社會(huì)科學(xué)定量研究提供了一條可行途徑，讓我們有機(jī)會(huì)從龐大的數(shù)據(jù)庫中觀察到人類、人類社會(huì)與自然的交互方式以及人類自身的復(fù)雜行為模式。

大數(shù)據(jù)泛指采用傳統(tǒng)方法無法進(jìn)行有效處理和分析的大規(guī)模、超大規(guī)模數(shù)據(jù)集。

????????百度百科對大數(shù)據(jù)的定義是：大數(shù)據(jù)（big data），指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。

????????國際數(shù)據(jù)中心（IDC）對大數(shù)據(jù)的定義是：大數(shù)據(jù)技術(shù)描述了一個(gè)技術(shù)和體系的新時(shí)代，被設(shè)計(jì)于從大規(guī)模多樣化的數(shù)據(jù)中通過高速捕獲、發(fā)現(xiàn)和分析技術(shù)提取數(shù)據(jù)的價(jià)值。

????????麥肯錫全球研究所（McKinsey Global!Institute）認(rèn)為：大數(shù)據(jù)是超過了典型數(shù)據(jù)庫軟件工具捕獲、存儲(chǔ)、管理和分析數(shù)據(jù)能力的數(shù)據(jù)集。

????????從這些定義中可以看出大數(shù)據(jù)的4個(gè)顯著特點(diǎn)，即Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價(jià)值）。

????????大數(shù)據(jù)本身是一個(gè)抽象的概念，以其字面意思，指的是數(shù)據(jù)量非常大的數(shù)據(jù)集，而它與傳統(tǒng)數(shù)據(jù)集又有本質(zhì)的區(qū)別，具體表現(xiàn)在以下幾個(gè)方面：

????????第一，數(shù)據(jù)規(guī)模。

????????傳統(tǒng)數(shù)據(jù)以GB為基本單位，而大數(shù)據(jù)的基本處理單位通常為TB、PB，且它的數(shù)據(jù)規(guī)模在不斷擴(kuò)充。

????????第二，數(shù)據(jù)類型。

????????傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)種類單一，以結(jié)構(gòu)化數(shù)據(jù)為主，易于存儲(chǔ)和分析；大數(shù)據(jù)種類繁多，有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)三種形式，非結(jié)構(gòu)化數(shù)據(jù)占數(shù)據(jù)總量的95％，難以處理。

????????第三，數(shù)據(jù)產(chǎn)生模式。

????????傳統(tǒng)數(shù)據(jù)庫一般是先設(shè)計(jì)好模式，之后產(chǎn)生數(shù)據(jù)；大數(shù)據(jù)的產(chǎn)生通常難以預(yù)先確定模式，模式需在數(shù)據(jù)出現(xiàn)之后才可能被確定，且模式并非一成不變，它會(huì)隨著數(shù)據(jù)量的增長而不斷演變。

????????大數(shù)據(jù)的數(shù)據(jù)來源廣泛，數(shù)據(jù)產(chǎn)生模式多變，數(shù)據(jù)類型和應(yīng)用需求都不盡相同，但是對大數(shù)據(jù)進(jìn)行處理的基本流程是一致的。按照系統(tǒng)工程方法，可以將生態(tài)系統(tǒng)優(yōu)化定量分析過程中的大數(shù)據(jù)處理環(huán)節(jié)分解為6個(gè)連續(xù)的階段，包括數(shù)據(jù)獲取、明確數(shù)據(jù)價(jià)值、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、數(shù)據(jù)解釋及價(jià)值輸送。

?

①數(shù)據(jù)獲取

????????數(shù)據(jù)獲取是指從特定數(shù)據(jù)生產(chǎn)環(huán)境采集原始數(shù)據(jù)，所采集的原始數(shù)據(jù)通常有兩種形式，即顯式數(shù)據(jù)和隱式數(shù)據(jù)。

????????顯式數(shù)據(jù)是直接以數(shù)字表達(dá)的量，也就是結(jié)構(gòu)化數(shù)據(jù)，該類數(shù)據(jù)一般不需要做進(jìn)一步處理，可直接輸入至計(jì)算機(jī)模型進(jìn)行分析；

????????隱式數(shù)據(jù)包括半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，圖像和文本信息都屬于此類，該類數(shù)據(jù)難以用傳統(tǒng)數(shù)據(jù)分析工具進(jìn)行處理。

????????數(shù)據(jù)獲取是大數(shù)據(jù)分析的基石，其主要任務(wù)是將信息以數(shù)字形式聚合以待后續(xù)分析處理。

人系統(tǒng)數(shù)據(jù)獲?。?/strong>

????????把人作為系統(tǒng)來考量，其涵蓋的數(shù)據(jù)范圍非常廣泛，包括與個(gè)人有關(guān)的生理、生活、身份、經(jīng)濟(jì)、文化等方面的數(shù)據(jù)。個(gè)人的姓名、年齡、身份、學(xué)歷、婚姻、家庭等傳統(tǒng)數(shù)據(jù)，可以通過ZF登記的方式獲取。應(yīng)用可穿戴設(shè)備能夠?qū)θ藗內(nèi)粘Ｉ?、工作、學(xué)習(xí)過程中所產(chǎn)生的數(shù)據(jù)進(jìn)行采集，包括能量消耗、行動(dòng)路徑、地理位置、脈搏、睡眠、體溫等，在記錄這類顯式數(shù)據(jù)時(shí)，也可以同時(shí)記錄下與此對應(yīng)的各種活動(dòng)情境、各種行為狀態(tài)等隱式數(shù)據(jù)。

????????此外，通過對微信、朋友圈的“社交圖譜”進(jìn)行分析，可將個(gè)人社交關(guān)系數(shù)據(jù)化；通過對用戶在微博上所發(fā)布的零散想法進(jìn)行分析，可實(shí)現(xiàn)情緒數(shù)據(jù)化；通過對淘寶網(wǎng)購物記錄的分析，可將人的喜歡偏好數(shù)據(jù)化…

????????在大數(shù)據(jù)的背景下，不僅有關(guān)個(gè)人的物質(zhì)、能量輸入、輸出可被數(shù)據(jù)化，人的想法、態(tài)度、經(jīng)歷、情感、情緒、習(xí)慣、人脈關(guān)系等信息，也皆可量化。

社會(huì)系統(tǒng)數(shù)據(jù)獲?。?/strong>

????????社會(huì)系統(tǒng)數(shù)據(jù)指人們在社會(huì)生活中產(chǎn)生的各類數(shù)據(jù)，具體可分為證券類、銀行類、保險(xiǎn)類、典當(dāng)類、社保類、通信類、郵政類、交通類、勞務(wù)類、衛(wèi)生類、工商類、稅務(wù)類數(shù)據(jù)。社會(huì)系統(tǒng)數(shù)據(jù)主要來源于ZF數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)和基于傳感器產(chǎn)生的物理空間數(shù)據(jù)。

????????目前國內(nèi)約80％的社會(huì)數(shù)據(jù)資源由ZF部門掌控，該類數(shù)據(jù)通常以統(tǒng)計(jì)數(shù)據(jù)、行業(yè)數(shù)據(jù)等形式出現(xiàn)，其獲取方法一般是圍繞待解決的社會(huì)經(jīng)濟(jì)問題確立研究目標(biāo)，根據(jù)研究目標(biāo)制訂調(diào)查方案，對研究對象進(jìn)行抽樣調(diào)查或全樣本調(diào)查以獲取數(shù)據(jù)。

獲取網(wǎng)絡(luò)數(shù)據(jù)主要有系統(tǒng)日志和網(wǎng)絡(luò)爬蟲兩種方式。

????????系統(tǒng)日志由數(shù)據(jù)源系統(tǒng)生成，其目的是記錄系統(tǒng)的活動(dòng)過程。例如，谷歌通過對每天來自全球超過30億條的搜索日志進(jìn)行分析，成功地預(yù)測出冬季流感的傳播源頭、爆發(fā)時(shí)間、傳播路徑等信息，其預(yù)測結(jié)果與官方數(shù)據(jù)的一致性高達(dá)97%。

????????網(wǎng)絡(luò)爬蟲是目前獲取網(wǎng)頁數(shù)據(jù)的主要方式，其基本原理是從某一個(gè)網(wǎng)頁出發(fā)，應(yīng)用網(wǎng)頁遍歷算法，自動(dòng)訪問萬維網(wǎng)的每一個(gè)網(wǎng)頁并把它們存儲(chǔ)起來。

????????基于傳感器的數(shù)據(jù)獲取是指通過密布在社會(huì)生活各層面的傳感器，對能夠表征社會(huì)物質(zhì)、能量、信息流動(dòng)的數(shù)據(jù)進(jìn)行采集。如智能水表、智能電表、交通流量傳感器、建筑傳感器、停車計(jì)時(shí)器等。

自然系統(tǒng)數(shù)據(jù)獲?。?/strong>

????????對自然系統(tǒng)數(shù)據(jù)的獲取，其實(shí)質(zhì)是將自然現(xiàn)象及其變化、生物體與自然環(huán)境的相互作用等以數(shù)據(jù)的方式記錄下來，通常有兩種方式：人工實(shí)地觀察與傳感器自動(dòng)記錄。

????????對自然系統(tǒng)的人工觀測靈活性高，主觀能動(dòng)性強(qiáng)，但由于人類的身體限制，難以滿足現(xiàn)代長時(shí)間、大規(guī)模、高精度的觀測需求。

????????傳感器可將聲、光、電、動(dòng)、溫等物理變量轉(zhuǎn)化為計(jì)算機(jī)可讀的數(shù)字信號(hào)。由各類傳感器組成的有線或無線網(wǎng)絡(luò)能夠有效、實(shí)時(shí)、全面地獲取觀測數(shù)據(jù)，逐漸成為自然系統(tǒng)數(shù)據(jù)收集的主要途徑，其監(jiān)測內(nèi)容可以涵蓋水、氣象、大氣、土壤、植被、噪聲、輻射、生物等。

?

②明確數(shù)據(jù)價(jià)值

????????傳統(tǒng)數(shù)據(jù)的產(chǎn)生是一個(gè)高度控制性的過程，數(shù)據(jù)采集、數(shù)據(jù)處理等步驟都是由科研人員預(yù)先設(shè)計(jì)好的，在所采集的數(shù)據(jù)中提取價(jià)值通常具有明確的目標(biāo)指向。

????????大數(shù)據(jù)的形成是一個(gè)高度開放的過程，數(shù)據(jù)的產(chǎn)生、獲取都具有一定的盲目性，無論是傳感數(shù)據(jù)、還是與人的活動(dòng)有關(guān)的數(shù)據(jù)，在形成過程中均不受研究者的刻意選擇和控制。這一方面成就了大數(shù)據(jù)之“大”，另一方面也造成了大數(shù)據(jù)價(jià)值密度較低的屬性。在將所獲取的大數(shù)據(jù)輸送至具體應(yīng)用情景之前，需明確數(shù)據(jù)的價(jià)值，去冗取精，將有價(jià)值的數(shù)據(jù)提取出來。

????????具體到生態(tài)系統(tǒng)優(yōu)化的定量研究中，在繁多的數(shù)據(jù)中明確有價(jià)值的數(shù)據(jù)，需注意以下數(shù)據(jù)的發(fā)掘：

????????第一，表征人與自然關(guān)系的數(shù)據(jù)。

????????人與自然的關(guān)系是生態(tài)文明中的基本關(guān)系，其中突出的是人的生物屬性與自然的關(guān)系。人是自然的一部分，人是自然界物種長期進(jìn)化的產(chǎn)物，人的生存與發(fā)展依賴于自然，人是自然界的相對主體，自然對人的反作用往往可以制約人類的生存與發(fā)展。

????????第二，表征人與社會(huì)關(guān)系的數(shù)據(jù)。

????????人與社會(huì)的關(guān)系是生態(tài)文明中的紐帶關(guān)系，人與社會(huì)緊密相連，不可分割，社會(huì)是人的社會(huì)，人生活在社會(huì)之中。在現(xiàn)實(shí)世界里，既沒有離開社會(huì)的人，也找不到?jīng)]有人的社會(huì)。

????????第三，表征社會(huì)與自然關(guān)系的數(shù)據(jù)。

????????社會(huì)與自然的關(guān)系是生態(tài)文明中的重要關(guān)系，社會(huì)是人與自然統(tǒng)一的紐帶；社會(huì)是人和屬人自然的統(tǒng)一；社會(huì)是人與自然之間和人與人之間雙重關(guān)系的統(tǒng)一體。

????????對于人熵流Me函數(shù)，突出的是人的生物屬性與自然的關(guān)系，注重區(qū)域人口密度；

????????社會(huì)系統(tǒng)熵流Se函數(shù)，注重區(qū)域發(fā)展戰(zhàn)略，區(qū)域法制環(huán)境，區(qū)域經(jīng)濟(jì)發(fā)展水平，生態(tài)倫理取向；

????????自然系統(tǒng)熵流Ne函數(shù)，注重周期性影響，資源分布狀況。

?

③數(shù)據(jù)預(yù)處理

????????如前文所述，大數(shù)據(jù)有數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)來源復(fù)雜、數(shù)據(jù)類型繁多等特點(diǎn)，這就決定了所獲取的數(shù)據(jù)往往是雜亂的、有噪音的、非結(jié)構(gòu)化的，難以直接進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)預(yù)處理就是對己經(jīng)采集到的有價(jià)值的數(shù)據(jù)進(jìn)行適當(dāng)處理，以發(fā)現(xiàn)其中不準(zhǔn)確、不合理、不完整的數(shù)據(jù)，并對這些數(shù)據(jù)進(jìn)行去噪、移除或修補(bǔ)，進(jìn)而提高數(shù)據(jù)的質(zhì)量及可信性。

????????數(shù)據(jù)預(yù)處理主要從數(shù)據(jù)的完整性、準(zhǔn)確性、唯一性、一致性、有效性、適時(shí)性等幾個(gè)方面來對數(shù)據(jù)進(jìn)行清洗。具體的方式有：數(shù)據(jù)歸一化處理；消除異常數(shù)據(jù)；填充缺失數(shù)據(jù)；平滑噪聲數(shù)據(jù)；過濾重復(fù)數(shù)據(jù)；壓縮冗余數(shù)據(jù)。

?

④數(shù)據(jù)分析

????????數(shù)據(jù)獲取、明確數(shù)據(jù)價(jià)值、數(shù)據(jù)預(yù)處理這三個(gè)步驟解決了生態(tài)系統(tǒng)定量描述的問題。數(shù)據(jù)分析是指將生態(tài)系統(tǒng)描述數(shù)據(jù)輸入到根據(jù)研究目標(biāo)所建立的

優(yōu)化模型中去，則可完成對生態(tài)系統(tǒng)優(yōu)化的定量分析。但由于大數(shù)據(jù)數(shù)據(jù)規(guī)模巨大、數(shù)據(jù)類型復(fù)雜等特質(zhì)，以往針對傳統(tǒng)數(shù)據(jù)的建模、分析方法難以直接應(yīng)用于大數(shù)據(jù)，具體表現(xiàn)在以下兩個(gè)方面：

????????首先，傳統(tǒng)建模方法無法應(yīng)對非結(jié)構(gòu)數(shù)據(jù)。

????????大數(shù)據(jù)集通常包含結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化三類數(shù)據(jù)，基于大數(shù)據(jù)的建模、分析也應(yīng)該同時(shí)支持這三類數(shù)據(jù)。目前，已經(jīng)產(chǎn)生了E—R模型和XML等成熟的數(shù)據(jù)分析方法，能夠?qū)Y(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行運(yùn)算分析，而對于非結(jié)構(gòu)化數(shù)據(jù)，學(xué)術(shù)界尚沒有通用的處理辦法。

????????在生態(tài)系統(tǒng)定量研究中所獲取的數(shù)據(jù)一定涵蓋多種非結(jié)構(gòu)數(shù)據(jù)，例如表征人系統(tǒng)的電子健康記錄、醫(yī)生口述記錄；表征社會(huì)系統(tǒng)的各類文本；表征自然系統(tǒng)的星圖、音頻、視頻，這無疑增加了應(yīng)用大數(shù)據(jù)進(jìn)行系統(tǒng)優(yōu)化定量研究的難度。在基于大數(shù)據(jù)的社會(huì)系統(tǒng)優(yōu)化定量研究建模中，要充分注意非結(jié)構(gòu)化數(shù)據(jù)的識(shí)別，設(shè)計(jì)合理有效的數(shù)據(jù)模型以確保非結(jié)構(gòu)數(shù)據(jù)的意義能夠被充分挖掘。

????????其次，傳統(tǒng)的建模、分析方法建立在精確化的基礎(chǔ)上。

????????受傳統(tǒng)科研范式的影響，研究者通常認(rèn)為對數(shù)據(jù)的建模分析必須得出精確化的結(jié)論。在大數(shù)據(jù)的背景下，數(shù)據(jù)量在急速膨脹，而受限于摩爾定律，數(shù)據(jù)處理設(shè)備的發(fā)展速度將難以追趕數(shù)據(jù)量的指數(shù)擴(kuò)張。這樣，基于精確分析的建模方法似乎走到了盡頭，急需一種新的，基于非精確計(jì)算的方法出現(xiàn)。以大數(shù)據(jù)為支撐的系統(tǒng)優(yōu)化研究建模必須在非精確化計(jì)算和處理方面取得突破。

?

⑤數(shù)據(jù)解釋

????????計(jì)算機(jī)對傳統(tǒng)小規(guī)模數(shù)據(jù)進(jìn)行分析、做出決策所依賴的是蘊(yùn)藏在程序中的明確規(guī)則。這樣，如果計(jì)算機(jī)出現(xiàn)分析錯(cuò)誤，程序員可對程序進(jìn)行檢查，進(jìn)而找到發(fā)生錯(cuò)誤的原因。然而，在大數(shù)據(jù)的背景下，這種追蹤會(huì)變得愈發(fā)困難。

????????進(jìn)行大數(shù)據(jù)分析的計(jì)算機(jī)系統(tǒng)往往過于復(fù)雜，且分析過程是基于龐大的統(tǒng)計(jì)計(jì)算和海量數(shù)據(jù)之上而完成的，這種運(yùn)作方式很難被人所理解。數(shù)據(jù)分析有變?yōu)楹谙涞目赡埽@個(gè)黑箱不可解釋、不可追蹤，公眾很難對其完全信任，極端情況下甚至?xí)`導(dǎo)公眾。為了避免這類情況的發(fā)生，大數(shù)據(jù)分析過程、分析結(jié)果需要被監(jiān)測并保持透明，采用適當(dāng)?shù)姆椒ㄏ蛴脩舫浞纸忉尅?/strong>

????????數(shù)據(jù)解釋的方法很多，在電腦終端上直接顯示結(jié)果和以文本形式輸出結(jié)果這兩種方式最為常用。此外，可視化技術(shù)、人機(jī)交互技術(shù)、數(shù)據(jù)起源技術(shù)等也越來越受到用戶的青睞：

????????可視化技術(shù)可將分析結(jié)果形象地展示給用戶，且圖形化的方式比文字更容易被接受和理解；

????????人機(jī)交互技術(shù)在一定程度上讓用戶了解和參與具體的分析過程，使用戶不僅能得到分析結(jié)果，同時(shí)也理解結(jié)果的由來；

????????數(shù)據(jù)起源技術(shù)可以追溯數(shù)據(jù)分析的整個(gè)過程，讓用戶充分理解結(jié)果。這類新技術(shù)是在大數(shù)據(jù)背景下應(yīng)對海量數(shù)據(jù)分析結(jié)果的更好選擇。

?

⑥價(jià)值輸送

????????基于大數(shù)據(jù)的社會(huì)系統(tǒng)定量分析，其價(jià)值在于輔助ZF決策。當(dāng)今世界，人類的需求日益多樣化、經(jīng)濟(jì)社會(huì)問題日益復(fù)雜、環(huán)境日趨多變，自然災(zāi)害、事故災(zāi)害、公共突發(fā)事件的危害性與風(fēng)險(xiǎn)性日益加劇，給ZF主導(dǎo)的公共管理和公共決策帶來了巨大挑戰(zhàn)。傳統(tǒng)的依靠決策者記憶、直覺判斷和主觀經(jīng)驗(yàn)的決策模式往往容易忽視大量的信息，無法有效應(yīng)對現(xiàn)代社會(huì)的復(fù)雜性和風(fēng)險(xiǎn)性。

????????以最小作用量原理作為理論基礎(chǔ)，通過對生態(tài)系統(tǒng)海量數(shù)據(jù)進(jìn)行分析，提出系統(tǒng)優(yōu)化建議，為ZF決策提供支撐，提高決策科學(xué)化水平，這正是大數(shù)據(jù)分析的價(jià)值所在。正如耶魯大學(xué)教授Esty所言：“‘?dāng)?shù)據(jù)驅(qū)動(dòng)決策’，將使ZF更高效、開放和負(fù)責(zé)，更多地在事實(shí)基礎(chǔ)上做出判斷，而不是主觀判斷或者受利益集團(tuán)干擾進(jìn)行決策。”

標(biāo)簽：