作者：耿遠(yuǎn)昊、Datawhale團隊

寄語：Pandas 是基于Numpy的一種工具，是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的，其納入了大量庫和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。

Datawhale又一開源項目來了！Joyful-Pandas（顧名思義：快樂學(xué)習(xí)Pandas）由Datawhale成員耿遠(yuǎn)昊發(fā)起，作者結(jié)合了三份經(jīng)典教材的學(xué)習(xí)經(jīng)驗，歷時2個多月時間，結(jié)合最新的Pandas版本，編寫了這套關(guān)于Pandas的開源教程，梳理了Pandas的主線內(nèi)容。

本項目從Pandas基礎(chǔ)、數(shù)據(jù)分析方法、數(shù)據(jù)處理類型及動手實踐四個模塊，對Pandas進行系統(tǒng)性學(xué)習(xí)。同時，針對內(nèi)容設(shè)計了大量的練習(xí)及案例，理論結(jié)合實踐，鞏固數(shù)據(jù)處理分析能力。

開源初衷

在使用Pandas之前，幾乎所有的大型表格處理問題都是用xlrd/xlwt和python循環(huán)實現(xiàn)，雖然這已經(jīng)幾乎能完成一切的需求，但其缺點也顯而易見，其一就是速度問題，其二就是代碼的復(fù)用性幾乎為0。

曾經(jīng)也嘗試過去零星地學(xué)Pandas，但不得不說這個包實在太過龐大，每次使用總覺得盲人摸象，每個函數(shù)的參數(shù)也很多，學(xué)習(xí)的路線并不是十分平緩。如果你剛剛手上使用Pandas，那么在碎片的學(xué)習(xí)過程中，報錯是常常發(fā)生的事，并且很難修（因為不理解內(nèi)部的操作），即使修好了下次又不會，令人有些沮喪。

2019年秋季，筆者偶然接觸到了Theodore Petrou所著的《Pandas Cookbook》?？焖俚貙W(xué)習(xí)了一遍后，發(fā)現(xiàn)之前很多搞不清的概念得到了較好的解答。

之后，筆者又逐步地對著官方的User Guide一字一句查看，通讀后建立了大的一些宏觀概念。這是一個非常重要的臺階，官方的教程總是會告訴你重點在哪里。

經(jīng)過了一段時間的思考，結(jié)合《Python for Data Analysis》(作者：Pandas之父)、《Pandas Cookbook》和官方的User Guide，按照自己的思路編寫了一套關(guān)于Pandas的教程，完整梳理Pandas的主線內(nèi)容。

本著杜絕淺嘗輒止的理念，本教程涉及了每個部分的核心概念和函數(shù)。最后，希望達(dá)到“所寫所得即所想”的境界，這大概需要更多的實踐，也是筆者努力實現(xiàn)的目標(biāo)方向。

關(guān)于項目的名字，筆者在原先使用Pandas時非常的痛苦（Painful），那現(xiàn)在是時候轉(zhuǎn)變?yōu)椤癑oyful-Pandas”了！

開源內(nèi)容

Joyful-Pandas共有11個章節(jié)，分成了4個模塊，涵蓋了Pandas基礎(chǔ)內(nèi)容，數(shù)據(jù)處理過程中常用的數(shù)據(jù)類型，及在處理過程中涉及到的操作。具體目錄詳情如下：

模塊1 Pandas基礎(chǔ)（第1章）

拿到數(shù)據(jù)后必然先要讀取，分析完了數(shù)據(jù)必然是要保存；讀取數(shù)據(jù)之后，我們面對了怎樣的對象（Series? or Dataframe?）是第一重要的課題，因此了解序列和數(shù)據(jù)框的常規(guī)操作及其組件（component）便是必須涉及的內(nèi)容。

模塊2 數(shù)據(jù)分析方法（第2-5章）

對于一個Series或DataFrame而言，Pandas存在以下四種操作：

索引：如果一個操作使得它的元素信息減少了，那就對應(yīng)了索引；

分組：數(shù)據(jù)被分組，從組內(nèi)提取了關(guān)鍵的信息，使得數(shù)據(jù)信息被充分地使用；

變形：數(shù)據(jù)呈現(xiàn)結(jié)構(gòu)或形態(tài)上的變化，使得我們更容易地能夠地進一步處理數(shù)據(jù)；

合并：如果一個操作使得原本不屬于這個數(shù)據(jù)框的信息被加入了進來，那往往是涉及到了合并操作。

筆者從數(shù)據(jù)信息增減的角度出發(fā)，將四類操作拆解成了3個板塊，分別對應(yīng)了本項目第2-5章的內(nèi)容，串聯(lián)了官方文檔關(guān)于數(shù)據(jù)框操作的全部內(nèi)容，幫助學(xué)習(xí)者系統(tǒng)梳理。

模塊3 數(shù)據(jù)處理類型（第6-9章）

對序列和數(shù)據(jù)框這兩種容器，Pandas基礎(chǔ)對其的結(jié)構(gòu)有了初步理解，而四種操作熟悉了所有相關(guān)操作，那么下面就要關(guān)心其中的數(shù)據(jù)類型。

其中涉及來四類特殊的數(shù)據(jù)類型：

缺失型數(shù)據(jù)

文本型數(shù)據(jù)

分類型數(shù)據(jù)

時間序列型數(shù)據(jù)

四種數(shù)據(jù)類型，分別對應(yīng)了6-9章的內(nèi)容。同時，在缺失型數(shù)據(jù)和文本型數(shù)據(jù)中，詳細(xì)涉及Pandas1.0版本新的Nullable和string數(shù)據(jù)類型，這也是從Pandas 0.x升級后具有最大改動的方面。

模塊4 動手實踐（第10章）

最終，教程1-9章的最后都會加入兩個練習(xí)題幫助讀者鞏固本章所學(xué)，每一道題都有多個小問，難度逐個上升，與知識點緊密結(jié)合。同時在第10章中會添加若干難度不一的綜合問題，目前已添加兩個經(jīng)典案例，供大家學(xué)習(xí)實踐。

最后，所有的練習(xí)都提供了參考答案，保證了完備性。

寫到最后
除了教程主體和練習(xí)內(nèi)容，每一章還加入了問題部分。每個章節(jié)設(shè)置3-8個問題，問題的內(nèi)容包含了對知識點的細(xì)化認(rèn)識、對復(fù)雜知識點的梳理、對某個函數(shù)或Pandas對象設(shè)計的思考等，如果在完成練習(xí)的基礎(chǔ)上認(rèn)真思考了這些問題，那么相信你對Pandas的掌握程度一定會再上一層樓，最后衷心的希望你能快樂的學(xué)習(xí)Pandas，體驗用Pandas進行數(shù)據(jù)處理和分析的樂趣。

開源地址

https://github.com/datawhalechina/joyful-pandas