續(xù)接上文：還不知道數(shù)據(jù)類崗位的相關(guān)技能和職責(zé)嗎？滌生大數(shù)據(jù)告訴你（一）

1.數(shù)據(jù)治理工程師

1.1?工作職責(zé)

數(shù)據(jù)治理工程師的工作職責(zé)主要包括以下幾個(gè)方面：

1. 數(shù)據(jù)管理策略制定：制定和實(shí)施數(shù)據(jù)管理策略，包括數(shù)據(jù)收集、存儲(chǔ)、處理和使用的規(guī)范和流程，確保數(shù)據(jù)的可靠性和一致性。

2. 數(shù)據(jù)質(zhì)量管理：評(píng)估和監(jiān)控?cái)?shù)據(jù)質(zhì)量，發(fā)現(xiàn)和解決數(shù)據(jù)質(zhì)量問(wèn)題，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。

3. 數(shù)據(jù)安全和隱私保護(hù)：制定和執(zhí)行數(shù)據(jù)安全策略和措施，保護(hù)數(shù)據(jù)的安全性和隱私，防止數(shù)據(jù)泄露和非法使用。

4. 數(shù)據(jù)架構(gòu)設(shè)計(jì)：設(shè)計(jì)和維護(hù)適合業(yè)務(wù)需求的數(shù)據(jù)架構(gòu)，包括邏輯模型和物理模型，確保數(shù)據(jù)的有效組織和高效利用。

5. 數(shù)據(jù)治理工具和技術(shù)應(yīng)用：使用數(shù)據(jù)治理工具和技術(shù)，如數(shù)據(jù)目錄、元數(shù)據(jù)管理工具、數(shù)據(jù)質(zhì)量工具等，進(jìn)行數(shù)據(jù)管理和治理工作。

6. 數(shù)據(jù)合規(guī)性管理：確保數(shù)據(jù)處理和使用符合相關(guān)法律法規(guī)和行業(yè)規(guī)范，遵循數(shù)據(jù)保護(hù)和隱私保護(hù)的要求。?

7. 與業(yè)務(wù)團(tuán)隊(duì)和技術(shù)團(tuán)隊(duì)合作：與業(yè)務(wù)團(tuán)隊(duì)和技術(shù)團(tuán)隊(duì)緊密合作，了解業(yè)務(wù)需求，提供數(shù)據(jù)治理支持和解決方案。

8. 數(shù)據(jù)培訓(xùn)和意識(shí)提升：開展數(shù)據(jù)培訓(xùn)和意識(shí)提升活動(dòng)，提高組織內(nèi)部對(duì)數(shù)據(jù)治理的理解和重視程度。

總的來(lái)說(shuō)，數(shù)據(jù)治理工程師的工作職責(zé)是確保數(shù)據(jù)的質(zhì)量、低成本和合規(guī)性，設(shè)計(jì)和維護(hù)適合業(yè)務(wù)需求的數(shù)據(jù)架構(gòu)，并與業(yè)務(wù)和技術(shù)團(tuán)隊(duì)合作，提供數(shù)據(jù)治理支持和解決方案。

1.2?與數(shù)倉(cāng)工程師的區(qū)別與工作交集

數(shù)據(jù)治理工程師和數(shù)倉(cāng)工程師在公司的工作職責(zé)有一定的交集，但也存在一些區(qū)別。

數(shù)據(jù)治理工程師的主要職責(zé)是管理和治理公司的數(shù)據(jù)資產(chǎn)，確保數(shù)據(jù)質(zhì)量、安全和合規(guī)性，并為業(yè)務(wù)和技術(shù)團(tuán)隊(duì)提供數(shù)據(jù)治理支持和解決方案。具體包括數(shù)據(jù)管理策略制定、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全和隱私保護(hù)、數(shù)據(jù)架構(gòu)設(shè)計(jì)、數(shù)據(jù)治理工具和技術(shù)應(yīng)用、數(shù)據(jù)合規(guī)性管理等方面的工作。

數(shù)倉(cāng)工程師的主要職責(zé)是設(shè)計(jì)、開發(fā)和維護(hù)公司的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，包括數(shù)據(jù)的抽取、轉(zhuǎn)換、加載和存儲(chǔ)等方面的工作。數(shù)倉(cāng)工程師需要了解業(yè)務(wù)需求，設(shè)計(jì)數(shù)據(jù)模型和數(shù)據(jù)架構(gòu)，開發(fā)ETL流程，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。

兩個(gè)崗位的交集在于數(shù)據(jù)架構(gòu)設(shè)計(jì)和數(shù)據(jù)質(zhì)量管理方面。數(shù)據(jù)治理工程師和數(shù)倉(cāng)工程師都需要了解業(yè)務(wù)需求，設(shè)計(jì)適合的數(shù)據(jù)架構(gòu)和數(shù)據(jù)模型。同時(shí)，兩個(gè)崗位都需要關(guān)注數(shù)據(jù)質(zhì)量問(wèn)題，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。

兩個(gè)崗位的區(qū)別在于數(shù)據(jù)治理工程師更加注重?cái)?shù)據(jù)資產(chǎn)的管理和治理，包括數(shù)據(jù)安全和隱私保護(hù)、數(shù)據(jù)合規(guī)性管理等方面的工作；而數(shù)倉(cāng)工程師更加注重?cái)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)和開發(fā)，包括ETL流程的開發(fā)和維護(hù)等方面的工作。在很多公司中，并沒有單獨(dú)設(shè)立一個(gè)數(shù)據(jù)治理團(tuán)隊(duì)，而是由數(shù)倉(cāng)開發(fā)擔(dān)任這個(gè)角色， 數(shù)據(jù)倉(cāng)庫(kù)工程師作為數(shù)據(jù)治理的主力軍參與數(shù)據(jù)治理體系建設(shè)中，更多的是以實(shí)施的角色參與到數(shù)據(jù)治理中。而數(shù)據(jù)治理工程師更多的是以數(shù)據(jù)治理牽頭人，或者提供方法論角色參與到項(xiàng)目中。

綜上所述，數(shù)據(jù)治理工程師和數(shù)倉(cāng)工程師在工作職責(zé)有一定的交集，但也存在一些區(qū)別。兩個(gè)崗位需要緊密合作，共同為公司的數(shù)據(jù)資產(chǎn)和業(yè)務(wù)需求提供更加質(zhì)量，低成本的解決方案。

2.BI工程師

2.1?工作職責(zé)

BI工程師的工作職責(zé)主要包括以下幾個(gè)方面：

1. 數(shù)據(jù)分析與報(bào)告：BI工程師負(fù)責(zé)收集、整理和分析公司的業(yè)務(wù)數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求生成相應(yīng)的報(bào)告和可視化圖表。他們需要使用BI工具（如Tableau、Power BI等）進(jìn)行數(shù)據(jù)分析和可視化展示，以幫助決策者更好地理解業(yè)務(wù)數(shù)據(jù)和趨勢(shì)。

2. 數(shù)據(jù)和ETL開發(fā)：BI工程師也會(huì)參與設(shè)計(jì)和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。需要編寫數(shù)據(jù)任務(wù)的ETL腳本，從不同的數(shù)據(jù)源中提取數(shù)據(jù)，并將其轉(zhuǎn)換為可用于分析和報(bào)告的格式。

3. 數(shù)據(jù)模型設(shè)計(jì)：BI工程師需要根據(jù)業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)模型，以支持準(zhǔn)確和高效的數(shù)據(jù)分析。他們需要理解業(yè)務(wù)流程和數(shù)據(jù)關(guān)系，并使用數(shù)據(jù)建模工具（如ERwin、PowerDesigner等）設(shè)計(jì)適合的數(shù)據(jù)模型。

4. 數(shù)據(jù)質(zhì)量管理：BI工程師負(fù)責(zé)確保數(shù)據(jù)的質(zhì)量和一致性。他們需要監(jiān)控?cái)?shù)據(jù)質(zhì)量指標(biāo)，識(shí)別和解決數(shù)據(jù)質(zhì)量問(wèn)題，并建立數(shù)據(jù)質(zhì)量管理流程和規(guī)范。

5. 技術(shù)支持與培訓(xùn)：BI工程師需要提供技術(shù)支持，解決業(yè)務(wù)用戶在數(shù)據(jù)分析和報(bào)告過(guò)程中遇到的問(wèn)題。他們還需要為用戶提供培訓(xùn)，幫助他們更好地使用BI工具和系統(tǒng)。

總體而言，BI工程師在負(fù)責(zé)將大量的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的信息和洞察，并幫助決策者做出基于數(shù)據(jù)的決策，核心工作內(nèi)容是實(shí)現(xiàn)業(yè)務(wù)指標(biāo)的可視化，并轉(zhuǎn)化為業(yè)務(wù)和管理成更加易于理解和決策的數(shù)據(jù)展現(xiàn)方式。他們同時(shí)需要具備數(shù)據(jù)分析、數(shù)據(jù)倉(cāng)庫(kù)和ETL開發(fā)、數(shù)據(jù)模型設(shè)計(jì)以及數(shù)據(jù)質(zhì)量管理等方面的技能和知識(shí)。

2.2?與數(shù)倉(cāng)工程師的區(qū)別與工作交集

在信貸公司的大數(shù)據(jù)團(tuán)隊(duì)中，BI工程師和數(shù)倉(cāng)工程師的工作有一定的交集，但也存在一些崗位區(qū)別。

1. 工作交集：

- 數(shù)據(jù)分析和報(bào)告：BI工程師和數(shù)倉(cāng)工程師都需要收集、整理和分析大量的業(yè)務(wù)數(shù)據(jù)，共同提供數(shù)據(jù)驅(qū)動(dòng)的決策支持和業(yè)務(wù)洞察。

- 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)：BI工程師和數(shù)倉(cāng)工程師都需要設(shè)計(jì)、構(gòu)建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市，確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。

- 數(shù)據(jù)質(zhì)量管理：因?yàn)橥暾臄?shù)據(jù)質(zhì)量BI工程師和數(shù)倉(cāng)工程師都需要監(jiān)控和維護(hù)數(shù)據(jù)質(zhì)量，保證數(shù)據(jù)的準(zhǔn)確性和可靠性。

在日常工作中，數(shù)倉(cāng)工程師更多扮演的角色是數(shù)據(jù)支撐和數(shù)據(jù)模型提供者的角色，例如一個(gè)報(bào)表需求，數(shù)倉(cāng)工程師負(fù)責(zé)端到端全鏈路的數(shù)據(jù)開發(fā)工作，而bi工程師負(fù)責(zé)利用如tableau，finereport等報(bào)表工作基于數(shù)倉(cāng)開發(fā)工程師提供的數(shù)據(jù)表實(shí)現(xiàn)報(bào)表展現(xiàn)工作。注意的是，有些公司當(dāng)中bi工程師會(huì)兼?zhèn)鋽?shù)據(jù)工程師的工作職責(zé)，例如負(fù)責(zé)ads層數(shù)據(jù)開發(fā)工作。

2. 崗位區(qū)別：

?- 技術(shù)要求：BI工程師需要具備數(shù)據(jù)分析和報(bào)表工具的開發(fā)和運(yùn)用能力，熟悉數(shù)據(jù)挖掘和分析技術(shù)，以及數(shù)據(jù)可視化工具的使用。而數(shù)倉(cāng)工程師需要具備數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和ETL流程開發(fā)的能力，熟悉數(shù)據(jù)建模和數(shù)據(jù)庫(kù)技術(shù)。

- 業(yè)務(wù)關(guān)注點(diǎn)：BI工程師更加關(guān)注數(shù)據(jù)分析和報(bào)表工具的使用和業(yè)務(wù)需求的滿足，致力于提供數(shù)據(jù)驅(qū)動(dòng)的決策支持。數(shù)倉(cāng)工程師更加關(guān)注數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)和數(shù)據(jù)流程的優(yōu)化，致力于提供高質(zhì)量、高性能的數(shù)據(jù)基礎(chǔ)設(shè)施。

- 角色定位：BI工程師通常更加貼近業(yè)務(wù)部門，與業(yè)務(wù)人員緊密合作，理解業(yè)務(wù)需求并提供相應(yīng)的數(shù)據(jù)分析解決方案。數(shù)倉(cāng)工程師通常更加貼近技術(shù)團(tuán)隊(duì)，與數(shù)據(jù)架構(gòu)師和開發(fā)人員緊密合作，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和開發(fā)。

綜上所述，BI工程師和數(shù)倉(cāng)工程師在團(tuán)隊(duì)中的工作有一定的交集，但在技術(shù)要求、業(yè)務(wù)關(guān)注點(diǎn)和角色定位上存在一些區(qū)別。

3.數(shù)據(jù)運(yùn)維工程師

3.1?崗位要求

大數(shù)據(jù)運(yùn)維工程師的崗位技能要求可以包括以下方面：

1. 大數(shù)據(jù)技術(shù)：熟悉大數(shù)據(jù)技術(shù)棧，如Hadoop、Spark、Hive、HBase等，了解這些組件的底層原理、架構(gòu)和使用方法。

2. 數(shù)據(jù)存儲(chǔ)管理：管理和維護(hù)大數(shù)據(jù)存儲(chǔ)系統(tǒng)，如HDFS、HBase等，確保數(shù)據(jù)的可靠性和可用性，進(jìn)行容量規(guī)劃和性能優(yōu)化。能夠進(jìn)行數(shù)據(jù)庫(kù)安裝、配置、備份和恢復(fù)等操作。

3. 數(shù)據(jù)存儲(chǔ)運(yùn)維：熟悉大數(shù)據(jù)存儲(chǔ)系統(tǒng)如HDFS、NoSQL數(shù)據(jù)庫(kù)等，能夠進(jìn)行常見的存儲(chǔ)介質(zhì)的運(yùn)維保障工作。

4. 數(shù)據(jù)安全和權(quán)限管理：具備數(shù)據(jù)安全和權(quán)限管理的能力，了解數(shù)據(jù)加密、訪問(wèn)控制、數(shù)據(jù)保護(hù)等相關(guān)技術(shù)，能夠制定和執(zhí)行數(shù)據(jù)安全策略。

5. 故障排除和性能優(yōu)化：具備大數(shù)據(jù)相關(guān)平或者組件的的故障排除和集群性能優(yōu)化的能力，能夠監(jiān)控和診斷大數(shù)據(jù)平臺(tái)的故障和性能問(wèn)題，并采取相應(yīng)措施進(jìn)行解決和優(yōu)化。

6. 編程和腳本語(yǔ)言：熟練掌握編程和腳本語(yǔ)言，如Python、Java、Shell等，能夠編寫自動(dòng)化腳本和工具進(jìn)行大數(shù)據(jù)運(yùn)維工作。

7. 問(wèn)題解決能力：具備良好的問(wèn)題解決能力，能夠快速定位和解決數(shù)據(jù)運(yùn)維中的問(wèn)題，具備良好的分析和溝通能力。

8. 團(tuán)隊(duì)合作：具備良好的團(tuán)隊(duì)合作能力，能夠與數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和業(yè)務(wù)團(tuán)隊(duì)等緊密合作，共同解決數(shù)據(jù)運(yùn)維方面的問(wèn)題和需求。

3.2?與數(shù)倉(cāng)工程師的區(qū)別與工作交集

在日常工作中，大數(shù)據(jù)運(yùn)維工程師和數(shù)倉(cāng)工程師可能會(huì)有一些交集。例如：

1.當(dāng)數(shù)據(jù)中臺(tái)團(tuán)隊(duì)承接業(yè)務(wù)部門的一些數(shù)據(jù)服務(wù)類需求的時(shí)候，需要大數(shù)據(jù)運(yùn)維團(tuán)隊(duì)和數(shù)倉(cāng)團(tuán)隊(duì)協(xié)同完成需求的方案設(shè)計(jì)和開發(fā)上線，對(duì)于方案設(shè)計(jì)，兩個(gè)團(tuán)隊(duì)都需要站在如何站在架構(gòu)合理性的角度對(duì)需求進(jìn)行方案設(shè)計(jì)。而對(duì)于開發(fā)工作，數(shù)倉(cāng)工程師負(fù)責(zé)數(shù)據(jù)模型設(shè)計(jì)及數(shù)據(jù)開發(fā)工作，大數(shù)據(jù)運(yùn)維工程師負(fù)責(zé)hbase,ck等存儲(chǔ)介質(zhì)的建表及接口開發(fā)工作，接口開發(fā)完成對(duì)下游應(yīng)用系統(tǒng)暴露接口。

2.日常任務(wù)運(yùn)維工作當(dāng)中，一般由運(yùn)維工程師負(fù)責(zé)監(jiān)控集群及任務(wù)的故障問(wèn)題，當(dāng)集群出現(xiàn)故障告警或者調(diào)度任務(wù)出現(xiàn)報(bào)錯(cuò)，運(yùn)維工程師首先會(huì)入手排查問(wèn)題原因，如果是集群?jiǎn)栴}，運(yùn)維工程師需要緊急修復(fù)故障問(wèn)題，如果是調(diào)度任務(wù)代碼或者數(shù)據(jù)開發(fā)問(wèn)題，運(yùn)維工程師會(huì)通知到對(duì)應(yīng)的任務(wù)責(zé)任人，如數(shù)倉(cāng)開發(fā)工程師，數(shù)倉(cāng)工程師上線解決修復(fù)任務(wù)問(wèn)題。

對(duì)于etl工程師也好，數(shù)倉(cāng)工程師還是數(shù)據(jù)開發(fā)工程師也好，都是同一個(gè)目的支撐公司數(shù)據(jù)類應(yīng)用的需求，為業(yè)務(wù)團(tuán)隊(duì)提供高質(zhì)量的數(shù)據(jù)支持和解決方案。