新的一年我們加緊了更新迭代的速度，增加了數(shù)據(jù)湖平臺EasyLake和大數(shù)據(jù)基礎(chǔ)平臺EasyMR，超40項功能升級優(yōu)化。我們將繼續(xù)保持產(chǎn)品升級節(jié)奏，滿足不同行業(yè)用戶的更多需求，為用戶帶來極致的產(chǎn)品使用體驗。

以下為袋鼠云產(chǎn)品功能更新報告第四期內(nèi)容，更多探索，請繼續(xù)閱讀。

數(shù)據(jù)湖平臺

1.【元數(shù)據(jù)管理】Catalog創(chuàng)建

在【元數(shù)據(jù)管理】頁創(chuàng)建一個Catalog，填寫Catalog名稱、Hive MetaStore、Spark Thrift。

一個Calalog只允許綁定一個Hive MetaStore，Spark Thrift用于Iceberg表創(chuàng)建、數(shù)據(jù)入湖轉(zhuǎn)表任務(wù)，用戶可以使用Calalog進(jìn)行業(yè)務(wù)部門數(shù)據(jù)隔離。

2.【元數(shù)據(jù)管理】Database創(chuàng)建

在【元數(shù)據(jù)管理】頁創(chuàng)建一個Database，綁定Calalog。

3.【元數(shù)據(jù)管理】Iceberg表創(chuàng)建

? 在【元數(shù)據(jù)管理】頁創(chuàng)建一個創(chuàng)建一張Table：選擇Table所在的Catalog、Database，目前只支持Iceberg湖表創(chuàng)建；

? 設(shè)置表普通列，支持對普通列字段設(shè)置主鍵，可以用作湖表的唯一標(biāo)識；

? 選擇普通列字段作為分區(qū)字段，支持多種轉(zhuǎn)換函數(shù)，timestamp數(shù)據(jù)類型字段支持時間字段按照年、月、日和小時粒度劃分區(qū)；

? 支持行組級索引設(shè)置，選擇普通列作為索引字段，設(shè)置Bloom索引；

? 自定義高級參數(shù)設(shè)置。

4.【元數(shù)據(jù)管理】Iceberg表快照管理

支持快照歷史管理，支持多版本間快照變更對比，支持湖表時間旅行，可一鍵回滾到指定數(shù)據(jù)版本。

5.【數(shù)據(jù)入湖】支持Hive轉(zhuǎn)Iceberg表實現(xiàn)Hive表入湖

在【數(shù)據(jù)入湖】頁創(chuàng)建一個入湖任務(wù)，選擇Parquet、ORC、Avro格式Hive表進(jìn)行轉(zhuǎn)表入湖，一鍵生成湖表信息.

6.支持小文件合并、孤兒文件清理、過期快照清理

在【數(shù)據(jù)文件治理】-【任務(wù)模板】頁新建任務(wù)模板，支持小文件合并、快照清理、孤兒文件清理等數(shù)據(jù)文件治理任務(wù)，支持立即支持、預(yù)約治理、周期治理多種數(shù)據(jù)治理方式。

大數(shù)據(jù)基礎(chǔ)平臺

1.【全局】使用主機名作為機器唯一標(biāo)識

??EM平臺產(chǎn)品上變更為以主機名Hostname作為唯一標(biāo)識對主機進(jìn)行管理；

? 主機間通信默認(rèn)為IP通信，可在【平臺管理】-【通信配置】頁進(jìn)行通信方式切換。

2.功能優(yōu)化

? 告警：新建告警通道出現(xiàn)異常時dtalert和grafana告警通道不一致

? 告警：dtalert掛載目錄與上傳jar包目錄不一致

? 告警：添加自定義告警通道保存后編輯上傳jar包不顯示

? Hadoop安全：EM開啟Hadoop安全，服務(wù)未重啟，直接顯示開啟成功

? 備份優(yōu)化：EM備份管理查詢優(yōu)化

? redis角色獲?。簉edis運行正常，但是角色獲取信息有誤，導(dǎo)致部署其他服務(wù)無法正確獲取redis角色狀態(tài)

離線開發(fā)平臺

1.數(shù)據(jù)開發(fā)IDE中可限制數(shù)據(jù)查詢條數(shù)

用戶痛點：數(shù)據(jù)開發(fā)頁面的臨時運行沒有限制數(shù)據(jù)結(jié)果查詢條數(shù)，極端情況下有把系統(tǒng)磁盤打滿的風(fēng)險。

新增功能說明：所有SQL類型任務(wù)，運行按鈕右側(cè)新增了數(shù)據(jù)查詢條數(shù)輸入框，默認(rèn)查詢條數(shù)為1000條，上限最大值為1000000條（最高上限為配置項，可在后臺配置）。

2.數(shù)據(jù)預(yù)覽全局管控功能對接

數(shù)據(jù)源中心新增數(shù)據(jù)預(yù)覽全局管控開關(guān)：

? 可進(jìn)行子產(chǎn)品和項目的數(shù)據(jù)預(yù)覽全局管控?

? 可進(jìn)行單個數(shù)據(jù)源的數(shù)據(jù)預(yù)覽管控

3.FTP作為目標(biāo)數(shù)據(jù)源支持4種寫入模式

? append：按文件名稱覆蓋寫入；

? overwrite：先清空目錄下的文件然后寫入；

? nonconflict：按文件名稱查找，存在同名文件則報錯，不存在同名文件則可正常寫入；

? insert：文件追加寫入，存在同名時通過添加后綴的方式修改新文件的文件名稱；

4.運行超時中斷

任務(wù)支持設(shè)置超時時間，運行時間超過此時間時后臺會自動殺死。

5.數(shù)據(jù)同步通道控制頁面支持配置高級參數(shù)

6.其他新增功能項

? Inceptor表接入數(shù)據(jù)地圖：Inceptor已數(shù)據(jù)地圖中支持元數(shù)據(jù)查詢、數(shù)據(jù)脫敏、血緣展示等功能；

? 支持Flink Batch任務(wù)類型；

? HBase REST API支持?jǐn)?shù)據(jù)同步讀??；

? Sybase 支持?jǐn)?shù)據(jù)同步讀取。

7.補數(shù)據(jù)優(yōu)化

? 補數(shù)據(jù)支持三種補數(shù)據(jù)模式：單任務(wù)補數(shù)據(jù)、在任務(wù)管理列表按篩選條件篩選批量任務(wù)補數(shù)據(jù)、按任務(wù)上下游關(guān)系選擇多個任務(wù)補數(shù)據(jù)；

? 多個在同一依賴樹但彼此之間存在斷層/不直接依賴的任務(wù)，所生成的補數(shù)據(jù)實例仍將按原依賴順序執(zhí)行；

? 支持選擇是否關(guān)閉重試；

? 補數(shù)據(jù)支持選擇未來時間。

8.告警規(guī)則任務(wù)選擇方式優(yōu)化

支持按項目全選任務(wù)或按任務(wù)管理目錄全選目錄下任務(wù)。

9.整庫同步功能優(yōu)化

? 整庫同步支持選擇：Oracle MySQL DB2 Hive TiDB PostgreSQL ADB Doris Hana 作為整庫同步目標(biāo)端；

? 高級設(shè)置能查看歷史配置，針對同一數(shù)據(jù)源和schema，能記錄高級設(shè)置的規(guī)則內(nèi)容。

10.Greenplum任務(wù)調(diào)整

? Greemplum SQL 和 Inceptor SQL 臨時運行復(fù)雜SQL和包含多段SQL時運行邏輯從同步運行修改為異步運行；

? 表查詢中可查看Greenplum元數(shù)據(jù)信息；

? 支持語法提示。

11.數(shù)據(jù)同步至HDFS時支持指定文件名稱

用戶痛點：歷史寫HDFS時，指定文件名實際是指定的葉子目錄名稱，實際無法指定文件名稱。

體驗優(yōu)化說明：在高級配置中新增了參數(shù)strictMode，當(dāng)參數(shù)值為“true”時，開啟嚴(yán)格模式，當(dāng)參數(shù)值為”false“時，開啟寬松模式。嚴(yán)格模式下，指定葉子路徑下的文件名，僅允許存在一個文件名，多并行度、斷點續(xù)傳將不生效。

12.創(chuàng)建項目只允許以英文字母開頭

因部分引擎只能創(chuàng)建/讀取以英文字母開頭的schema（例如Trino），所以創(chuàng)建項目時項目標(biāo)識限制為只允許以英文字母開頭。

13.發(fā)布按鈕點擊邏輯優(yōu)化

修改前：只有已提交的任務(wù)發(fā)布按鈕才可點擊。

修改后：所有狀態(tài)的任務(wù)發(fā)布按鈕均可點擊。

14.事件任務(wù)文案調(diào)整

臨時運行需要將參數(shù)值傳為000000000000。

15.項目級kerberos新增提示

16.數(shù)據(jù)同步可選表范圍優(yōu)化

用戶痛點：meta schema對應(yīng)的數(shù)據(jù)源和連接用戶都是控制臺的，如果不限制項目里的這個數(shù)據(jù)源只能選擇項目對接的這一個schema，相當(dāng)于每個項目都可以通過數(shù)據(jù)同步繞過數(shù)據(jù)權(quán)限管控把集群下所有別的項目的schema的表直接同步到當(dāng)前項目中用，這是一個非常大的權(quán)限漏洞。

體驗優(yōu)化說明：

? 過濾臟數(shù)據(jù)表；

? 針對所有meta schema所對應(yīng)的數(shù)據(jù)源固定可選schema的范圍僅當(dāng)前項目對接的schema；

? 如果需要在當(dāng)前項目同步任務(wù)里要用到其他schema，可以把其他項目的meta schema通過租戶管理員授權(quán)引入當(dāng)前項目里用。

17.數(shù)據(jù)同步實例運行指標(biāo)展示優(yōu)化

數(shù)據(jù)同步任務(wù)實例的運行日志優(yōu)化了同步性能展示方式。

18.其他體驗優(yōu)化項

? 安全審計操作對象“腳本”修改為“臨時查詢”；

? for循環(huán)內(nèi)網(wǎng)絡(luò)開銷調(diào)用優(yōu)化。

實時開發(fā)平臺

1.自定義Connector

用戶痛點：隨著實時產(chǎn)品客戶的增長，各種各樣的數(shù)據(jù)源插件需求不斷，我們希望有開發(fā)能力的客戶，可以不用等產(chǎn)品迭代，自行開發(fā)插件去使用產(chǎn)品，使產(chǎn)品能力越來越開放靈活。

新增功能說明：對于ChunJun尚未支持的數(shù)據(jù)源，支持上傳【用戶自行開發(fā)/第三方】的插件包（需符合Flink Connector的開發(fā)要求，平臺不校驗插件的可用性），然后在腳本模式的任務(wù)開發(fā)中使用。

2.Session模式

用戶痛點：之前實時任務(wù)的調(diào)試功能，和普通任務(wù)一樣走的per job模式。雖然該模式可以保障任務(wù)運行的穩(wěn)定性，但是整個的提交-申請資源-運行，后端處理流程較長，不符合調(diào)試的功能場景（調(diào)試不需要持續(xù)的穩(wěn)定性，但是需要快速的出結(jié)果）。

新增功能說明：調(diào)試任務(wù)以session模式運行，提高調(diào)試效率，用戶需要先在控制臺為實時debug分配slot資源。

3.表管理

用戶痛點：之前每個實時任務(wù)的開發(fā)，都需要臨時映射Flink表，開發(fā)效率較低；之前提供的Hive catalog表管理，需要用戶維護(hù)Hive Metastore，對原Hive有一定的入侵。

新增功能說明：提供數(shù)棧MySQL作為Flink元數(shù)據(jù)的存儲介質(zhì)；提供向?qū)Ш湍_本兩種模式維護(hù)Catalog-database-table；支持在IDE開發(fā)頁面直接創(chuàng)建、引用Flink庫表（需要已Catalog.DB.table的方式引用）。

4.數(shù)據(jù)源新增/優(yōu)化

? 新增GreatDB作為FlinkSQL的維表、結(jié)果表；

? 新增HBase2.x作為FlinkSQL的結(jié)果表；

? 新增Phoenix5.x作為FlinkSQL的結(jié)果表；

??優(yōu)化Oracle數(shù)據(jù)源，新增序列管理、clob/blob長文本數(shù)據(jù)類型支持。

5.臟數(shù)據(jù)管理

用戶痛點：原臟數(shù)據(jù)管理僅支持FlinkSQL任務(wù)。

新增功能說明：實時采集也支持臟數(shù)據(jù)管理。

6.功能優(yōu)化

? 任務(wù)運維：新增列表過濾器，支持按狀態(tài)、任務(wù)類型、責(zé)任人等過濾查詢；

? 數(shù)據(jù)開發(fā)：優(yōu)化任務(wù)操作相關(guān)按鈕的排版；IDE輸入支持自動聯(lián)想；實時采集腳本模式支持注釋。

數(shù)據(jù)資產(chǎn)平臺

1.數(shù)據(jù)源

? 新增數(shù)據(jù)源支持：

Greenplum、DB2、PostgreSQL（V5.3.0）

Hive3.x(Apache)、Hive3.x(CDP)、TDSQL、StarRocks（V5.3.1）

? Meta數(shù)據(jù)源自動授權(quán)支持：

Hive3.x(Apache)、Hive3.x(CDP)（V5.3.0）

TiDB（V5.3.1）

2.數(shù)據(jù)地圖

? 新增指標(biāo)：指標(biāo)進(jìn)數(shù)據(jù)地圖，作為資產(chǎn)平臺的一類資產(chǎn)；

? kafka元數(shù)據(jù)優(yōu)化：Kafka隱藏表結(jié)構(gòu)，新增分區(qū)查詢tab；

? 標(biāo)簽篩選優(yōu)化：標(biāo)簽采集到的任務(wù)，之前沒有根據(jù)實體進(jìn)行區(qū)分，會出現(xiàn)標(biāo)簽名稱相同的情況，新增功能為標(biāo)簽添加「所屬實體」屬性并在快速篩選欄增加實體篩選；

? 表標(biāo)簽優(yōu)化：表維度進(jìn)入時，顯示「表標(biāo)簽」，其他維度顯示「標(biāo)簽」；各個維度打的標(biāo)簽相互隔離，從不同維度進(jìn)入時，不再能看到全部標(biāo)簽。

3.API血緣

實現(xiàn)了表到API、API到API的血緣鏈路打通。

4.指標(biāo)/標(biāo)簽血緣

本期把指標(biāo)標(biāo)簽內(nèi)部的血緣關(guān)系先拿到資產(chǎn)進(jìn)行展示，下一期會實現(xiàn)表到指標(biāo)、表到標(biāo)簽的血緣關(guān)系。

5.血緣優(yōu)化

? 血緣解析新增truncate關(guān)鍵詞：當(dāng)表發(fā)生trancate數(shù)據(jù)清空時，表與表之間、表與任務(wù)之間的血緣關(guān)系需要刪除；

? 排除自身到自身的血緣以及重復(fù)展示的血緣；

??解決線段與表相互覆蓋問題：直角的血緣流向線段改為彎曲的灰色線；支持拖動；高亮當(dāng)前覆蓋或點擊的表的流入和流出。

6.數(shù)據(jù)文件治理

將離線側(cè)的數(shù)據(jù)文件治理遷移到資產(chǎn)側(cè)的數(shù)據(jù)治理模塊并進(jìn)行優(yōu)化和兼容，治理規(guī)則包括周期治理和一次性治理。

7.數(shù)據(jù)文件治理優(yōu)化調(diào)整

? 周期治理「選擇項目」改為「選擇數(shù)據(jù)源」，治理范圍為可選的meta數(shù)據(jù)源，下拉框排序按照時間進(jìn)行倒序；

? 一次性治理「選擇項目」改為「選擇數(shù)據(jù)源」，治理范圍為可選的meta數(shù)據(jù)源下的Hive表；

? 小文件治理的時間如果超過3小時則治理失敗，超時的時間條件改為可配置項，可由配置文件支持，默認(rèn)為3小時；

? 占用存儲的統(tǒng)計目標(biāo)由一個分區(qū)/表改為一個文件。

8.元數(shù)據(jù)同步取消初始化流程

用戶痛點：V5.2合并改造，元數(shù)據(jù)同步與數(shù)據(jù)源管理功能拆分之前，原有邏輯是在引入數(shù)據(jù)源后會先進(jìn)行初始化，初始化完成后會一次性拿到所有庫表名稱，進(jìn)行元數(shù)據(jù)同步時再去查拿到的庫表信息，這將占據(jù)較多的資源和存儲，并導(dǎo)致存在較多無用數(shù)據(jù)，如資產(chǎn)盤點加載數(shù)據(jù)慢等問題。

體驗優(yōu)化說明：取消數(shù)據(jù)源引入之后的初始化流程，在元數(shù)據(jù)同步時實時查詢數(shù)據(jù)源內(nèi)庫表信息。

9.元數(shù)據(jù)中心耦合關(guān)系優(yōu)化

? 增量SQL優(yōu)化：目前元數(shù)據(jù)中心的定位基礎(chǔ)元數(shù)據(jù)中心，可以支持單獨部署，但是現(xiàn)在增量SQL無法支持；

? 產(chǎn)品權(quán)限優(yōu)化：某個客戶有資產(chǎn)權(quán)限，在指標(biāo)側(cè)調(diào)用元數(shù)據(jù)中心的數(shù)據(jù)模型沒問題，但是客戶如果沒有資產(chǎn)權(quán)限，調(diào)用元數(shù)據(jù)中心的數(shù)據(jù)模型就會提示沒有權(quán)限。

10.數(shù)據(jù)源插件優(yōu)化

? 同步全部庫表參數(shù)，實際庫表發(fā)生變化，不傳參數(shù)，數(shù)據(jù)源插件實時去查庫表名稱；

? binlog關(guān)閉后重新開啟：腳本已停止，沒有被重新喚起，再次開啟時需要自動喚起。

11.功能優(yōu)化

? 臟數(shù)據(jù)：管理默認(rèn)存儲實效為90天，全局提示對應(yīng)修改，臟數(shù)據(jù)管理范圍針對當(dāng)前項目；

? 詞根匹配準(zhǔn)確率提高：界面上增加的詞根、標(biāo)準(zhǔn)需要加入分詞器，解決了字段中文名按照分詞去匹配，出現(xiàn)某些情況下無法匹配的問題。

客戶數(shù)據(jù)洞察平臺

1.證券、銀行、保險標(biāo)簽體系demo集成

進(jìn)入標(biāo)簽平臺，通過彈窗進(jìn)行demo體驗，也可通過平臺首頁上方查看demo按鈕進(jìn)入平臺體驗demo。

2.【標(biāo)簽管理】支持配置自定義屬性

用戶痛點：目前標(biāo)簽創(chuàng)建時的信息是固定的，除了一些通用的屬性，不同行業(yè)客戶對標(biāo)簽的元數(shù)據(jù)信息各有不同，如銀行客戶有定義標(biāo)簽金融安全等級的需求，但這個屬性不適配基金、零售客戶，所以要通過標(biāo)簽自定義屬性來實現(xiàn)。

新增功能說明：

? 在「標(biāo)簽元數(shù)據(jù)」頁面設(shè)置自定義屬性，并可在列表頁查看通用屬性和自定義屬性的元數(shù)據(jù)信息；

? 通用屬性中增加標(biāo)簽責(zé)任人、業(yè)務(wù)口徑、技術(shù)口徑字段；

? 自定義的屬性用于后續(xù)創(chuàng)建標(biāo)簽時進(jìn)行屬性設(shè)置。

3.【項目管理】移除標(biāo)簽責(zé)任人等時指定交接人

【項目管理】移除標(biāo)簽責(zé)任人、任務(wù)責(zé)任人、告警接收人、群組訂閱人時指定交接人。

4.【項目管理】Hive表和HBase表支持自定義生命周期

? 支持對標(biāo)簽大寬表進(jìn)行生命周期設(shè)置，超期數(shù)據(jù)可全部刪除，也可保留每個周期的特定時間的數(shù)據(jù)；

? 保存的標(biāo)簽群組可設(shè)置生命周期，超期數(shù)據(jù)可全部刪除，也可保留每個周期的特定時間的數(shù)據(jù)；

? 存儲為物理表的管理科設(shè)置生命周期，超期數(shù)據(jù)可全部刪除，也可保留每個周期的特定時間的數(shù)據(jù)。

5.數(shù)據(jù)同步功能優(yōu)化

? Rowkey預(yù)分區(qū)功能優(yōu)化：hbase表默認(rèn)設(shè)置預(yù)分區(qū)，且分區(qū)數(shù)量 = 30，去除作業(yè)并發(fā)數(shù)對分區(qū)計算產(chǎn)生的影響；

? 作業(yè)并發(fā)數(shù)優(yōu)化：作業(yè)并發(fā)數(shù)輸入限制調(diào)整為1-100，滿足業(yè)務(wù)更多的數(shù)據(jù)同步效率需要；

? 支持設(shè)置允許的臟數(shù)據(jù)條數(shù)：當(dāng)產(chǎn)生的臟數(shù)據(jù)條數(shù)超過設(shè)置的閾值時，作業(yè)停止同步、置為失??；設(shè)置為0或空時，表示不允許有臟數(shù)據(jù)出現(xiàn)。

6.【標(biāo)簽API】支持不指定業(yè)務(wù)日期查詢標(biāo)簽結(jié)果

用戶痛點：標(biāo)簽API查詢數(shù)據(jù)的過程中，可能存在因數(shù)據(jù)同步任務(wù)尚未完成導(dǎo)致API無法查詢到指定的最新業(yè)務(wù)日期數(shù)據(jù)的情況，此時會造成業(yè)務(wù)阻塞，為不影響業(yè)務(wù)正常運行，需要對Hbase數(shù)據(jù)做降級備份處理。

體驗優(yōu)化說明：hbase中將備份存儲一份同步成功的最新業(yè)務(wù)日期的最近一次同步成功數(shù)據(jù)。

API傳參時，業(yè)務(wù)日期調(diào)整為非必填項：

（1）指定業(yè)務(wù)日期，系統(tǒng)將返回對應(yīng)業(yè)務(wù)日期的數(shù)據(jù)；

（2）未指定業(yè)務(wù)日期，系統(tǒng)將返回備份數(shù)據(jù)。

7.功能優(yōu)化

SQL優(yōu)化：數(shù)字開頭的schema讀取問題優(yōu)化；

標(biāo)簽?zāi)夸洠簶?biāo)簽可以掛在父目錄和子目錄下；

API調(diào)用：增加pageNo字段。

指標(biāo)管理分析平臺

1.【指標(biāo)管理】支持生命周期設(shè)置

指標(biāo)hive表支持生命周期設(shè)置；

指標(biāo)API支持生命周期設(shè)置。

2.【指標(biāo)管理】支持批量發(fā)布

支持批量發(fā)布未發(fā)布、已下線狀態(tài)的非自定義SQL指標(biāo)，發(fā)布成功后，可在指標(biāo)市場中查詢到此指標(biāo)。

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時，歡迎對大數(shù)據(jù)開源項目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號碼：30537511，項目地址：https://github.com/DTStack