Linkis 1.1.2?版本簡(jiǎn)介

GitHub：https://github.com/apache/incubator-linkis

本次發(fā)布主要支持在無(wú) HDFS 的環(huán)境下進(jìn)行精簡(jiǎn)化部署（支持部分引擎），方便更輕量化的學(xué)習(xí)使用和調(diào)試；新增對(duì)數(shù)據(jù)遷移工具 Sqoop 引擎的支持；異常處理日志優(yōu)化；部分安全漏洞組件升級(jí)等；修復(fù)社區(qū)反饋的已知 bug。

主要功能如下：

• 支持在無(wú)HDFS的環(huán)境下進(jìn)行精簡(jiǎn)化部署（支持部分引擎），方便更輕量化的學(xué)習(xí)使用和調(diào)試

• 新增對(duì)數(shù)據(jù)遷移工具 Sqoop 引擎的支持

• 優(yōu)化日志等，提高問題排查效率

• 修復(fù)用戶越權(quán)等接口的安全問題

• 部分依賴包的升級(jí)和社區(qū)已知問題修復(fù)

縮寫：

• COMMON: Linkis Common

• EC: Engineconn

• ECM: EngineConnManager

• ECP: EngineConnPlugin

• DMS: Data Source Manager Service

• MDS: MetaData Manager Service

• LM:? Linkis Manager

• PS: Linkis Public Service

• PE: Linkis Public Enhancement

• RPC: Linkis Common RPC

• CG: Linkis Computation Governance

版本新特性

• [Deployment]Linkis-1804,1811,1841,1843,1846,1933 支持在無(wú)HDFS的環(huán)境下進(jìn)行精簡(jiǎn)化部署（支持部分引擎），方便更輕量化的學(xué)習(xí)使用和調(diào)試

• [PS]Linkis-1949?增加未完成作業(yè)的列表接口 (/listundone)，并利用定時(shí)調(diào)度優(yōu)化查詢性能

• [BML]Linkis-1811,1843?BML物料服務(wù)新增對(duì)本地文件系統(tǒng)存儲(chǔ)模式部署的支持

• [Common]Linkis-1887?RPC模塊Sender支持修改負(fù)載均衡 Ribbon 等參數(shù)

• [Common]Linkis-2059 使用任務(wù)task id 作為日志中的 trace id

• [EC]Linkis-1971?EC AsyncExecutor 支持設(shè)置并行 Job Group 的個(gè)數(shù)

• [Engine]Linkis-2109?新增對(duì)數(shù)據(jù)遷移工具 Sqoop 引擎的支持

功能增強(qiáng)

• [ECP]Linkis-2074?Flink 引擎支持自定義配置

• [Deployment]Linkis-1841?支持用戶部署時(shí)關(guān)閉對(duì) Spark/Hive/HDFS 環(huán)境檢測(cè)

• [Deployment]Linkis-1971?修復(fù)在多塊網(wǎng)卡機(jī)器部署時(shí)，自動(dòng)獲取ip錯(cuò)誤的問題

• [Entrance]Linkis-1941?Entrance 支持將原始的 jobId 傳遞給 EngineConn 和 LinkisManager

• [Entrance]Linkis-2045?重構(gòu)EntranceInterceptor實(shí)現(xiàn)類中腳本類型和運(yùn)行類型匹配關(guān)系

• [RPC]Linkis-1903?修改 RPC 模塊異常處理邏輯，透?jìng)?EngineConnPlugin 異常的原始錯(cuò)誤信息

• [RPC]Linkis-1905?增加參數(shù)支持傳遞 LoadBalancer 的參數(shù)，比如 Ribbon

• [Orchestrator]Linkis-1937?編排器任務(wù)調(diào)度器creator配置參數(shù)支持配置多個(gè)Creator值

• [PE][Linkis-1959?ContextService 增加必要的日志打印，方便錯(cuò)誤排查

• [EC]Linkis-1942?EC支持將taskID塞入到底層引擎的conf中，方便做任務(wù)的血緣分析關(guān)聯(lián)到具體的linkis任務(wù)

• [EC]Linkis-1973?Task 的執(zhí)行錯(cuò)誤日志獲取方式由 cat 改為 tail -1000 控制日志數(shù)量，避免全量加載大文件
  

• [CG,PE]Linkis-2014?增加配置 add/get/delete，優(yōu)化同步鎖
  

• [Common]Linkis-2016?調(diào)整cglib依賴的使用，將 cglib 依賴替換為 spring 內(nèi)置的cglib

• [Gateway]Linkis-2071?HTTP請(qǐng)求Header中增加 GatewayURL屬性值

修復(fù)功能

• [Engine]Linkis-1931?修復(fù) Python 錯(cuò)誤加載的是Pyspark的函數(shù)，非單機(jī)Python本身的函數(shù)問題

• [Deployment]Linkis-1853?修復(fù)安裝初始化 DDL 報(bào)錯(cuò)的問題

• [UDF]Linkis-1893?為 udf 相關(guān)接口增加用戶權(quán)限校驗(yàn)

• [EC]Linkis-1933?給非 deploy 用戶組的用戶執(zhí)行作業(yè)增加 resultSet 的寫權(quán)限

• [EC]Linkis-1846?修復(fù) ResultSet 配置本地路徑無(wú)效的問題

• [EC]Linkis-1966?使用 System.properties 替換 System.ev

• [EC-Python]Linkis-2131?修復(fù) Python 引擎由于 pandas 引入導(dǎo)致異常的問題

• [PS]Linkis-1840?下載 csv 格式數(shù)據(jù)時(shí)，增加靈活選擇，防止數(shù)據(jù)格式錯(cuò)亂

• [Orchestrator]Linkis-1992?修復(fù) Orchestrator Reheater 模塊的并發(fā)問題

• [PE]Linkis-2032?配置接口的優(yōu)化，獲取Label的配置參數(shù)時(shí)，修改為直接獲取Key-value對(duì)

• [Web]Linkis-2036?管理臺(tái)ECM 頁(yè)面實(shí)例顯示問題修復(fù)

• [Web]Linkis-1895?資源頁(yè)面顯示問題修復(fù)

• [ECP]Linkis-2027?修復(fù) ECP 物料下載字節(jié)截取導(dǎo)致的異常錯(cuò)誤

• [ECP]Linkis-2088?修復(fù) hive task 運(yùn)行過(guò)程中存在進(jìn)度回退的問題

• [ECP]Linkis-2090?修復(fù) Python3 找不到的問題

• [CG]Linkis-1751?腳本自定義變量運(yùn)行類型和后綴約束配置化

• [CG]Linkis-2034?對(duì)超時(shí)任務(wù)的描述信息不匹配的修復(fù)

• [CG]Linkis-2100?優(yōu)化高并發(fā)下的 db 死鎖問題

安全相關(guān)

• [UDF]Linkis-1893?修復(fù) udf 部分接口（/udf/list，/udf/tree/add，/udf/tree/update）的用戶越權(quán)問題

• [PS]Linkis-1869?修復(fù) Linkis PlublicService 相關(guān)接口越權(quán)問題

• [PS]Linkis-2086?方法 /updateCategoryInfo 增加權(quán)限校驗(yàn)

依賴變更

• [MDS]Linkis-1947?mys2168ql-connector-java 從 5.1.34 升級(jí)到 8.0.16

• [ECP]Linkis-1951?hive-jdbc 從 1.2.1 升級(jí)至 2.3.3

• [ECP]Linkis-1968?protobuf-java 版本升級(jí)至 3.15.8

• [ECP]Linkis-2021?移除 Flink 模塊的一些冗余依賴包

• [RPC]Linkis-2018?統(tǒng)一 json4s 的版本

• [Web]Linkis-2336?引入web組件jsencrypt-3.2.1的依賴，作為登陸密碼加解密工具

詳細(xì)指引

• 本版本總覽: https://linkis.apache.org/zh-CN/docs/latest/release

• 詳細(xì)安裝部署見指引：https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy

• 官方下載鏈接：https://linkis.apache.org/zh-CN/download/main

貢獻(xiàn)者寄語(yǔ)
Apache Linkis(incubating) 1.1.2的發(fā)布離不開Linkis社區(qū)的貢獻(xiàn)者,感謝所有的社區(qū)貢獻(xiàn)者，包括但不僅限于以下Contributors（排名不分先后）: Alexyang, David hua, GodfreyGuo, Jack Xu, Zosimer, allenlliu, ericlu, huapan123456, husofskyzy, iture123, legendtkl, luxl@chinatelecom.cn, maidangdang44, peacewong, pengfeiwei, seedscoder, weixiao, xiaojie19852006, めぐみん, 李為

— END —

如何成為社區(qū)貢獻(xiàn)者

1???官方文檔貢獻(xiàn)。發(fā)現(xiàn)文檔的不足、優(yōu)化文檔，持續(xù)更新文檔等方式參與社區(qū)貢獻(xiàn)。通過(guò)文檔貢獻(xiàn)，讓開發(fā)者熟悉如何提交PR和真正參與到社區(qū)的建設(shè)。參考攻略：保姆級(jí)教程：如何成為Apache Linkis文檔貢獻(xiàn)者

2???代碼貢獻(xiàn)。我們梳理了社區(qū)中簡(jiǎn)單并且容易入門的的任務(wù)，非常適合新人做代碼貢獻(xiàn)。請(qǐng)查閱新手任務(wù)列表：https://github.com/apache/incubator-linkis/issues/1161

3???內(nèi)容貢獻(xiàn)：發(fā)布WeDataSphere開源組件相關(guān)的內(nèi)容，包括但不限于安裝部署教程、使用經(jīng)驗(yàn)、案例實(shí)踐等，形式不限，請(qǐng)投稿給小助手。例如：

• 技術(shù)干貨 | Linkis實(shí)踐：新引擎實(shí)現(xiàn)流程解析

• 技術(shù)干貨 | Prophecis保姆級(jí)部署教程

• 社區(qū)開發(fā)者專欄 | MariaCarrie：Linkis1.0.2安裝及使用指南

4???社區(qū)答疑：積極在社區(qū)中進(jìn)行答疑、分享技術(shù)、幫助開發(fā)者解決問題等；

5???其他：積極參與社區(qū)活動(dòng)、成為社區(qū)志愿者、幫助社區(qū)宣傳、為社區(qū)發(fā)展提供有效建議等；

? ? ? ? ??