最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

chatgpt助力大數(shù)據(jù)數(shù)倉(cāng)開發(fā)實(shí)踐,效果驚艷

2023-06-23 10:48 作者:滌生大數(shù)據(jù)  | 我要投稿

? ? ? 故事的開始是這樣的,大數(shù)據(jù)開發(fā)刪了幾張表,過(guò)了2天才發(fā)現(xiàn)刪錯(cuò)了,于是開發(fā)找我恢復(fù)表,我看了下數(shù)據(jù)還在回收站,問(wèn)題不大。只需要建表,把所有的分區(qū)數(shù)據(jù)mv回去,然后msck分區(qū)就可

? ? ? 但是開發(fā)跟我說(shuō),他沒(méi)有建表語(yǔ)句了,也忘了表結(jié)構(gòu)長(zhǎng)啥樣了,多少個(gè)字段,他沒(méi)有按照規(guī)范把生產(chǎn)的表結(jié)構(gòu)同步到資產(chǎn)平臺(tái)或者wiki上或者gitlab上,這個(gè)真是頭疼,大家都知道,本質(zhì)大數(shù)據(jù)集群中表元數(shù)據(jù)與數(shù)據(jù)的關(guān)系就是鎖頭和鑰匙的關(guān)系,你現(xiàn)在鎖頭沒(méi)有丟,但是鑰匙不見了,即使有數(shù)據(jù),你也解析不出來(lái)哇。

? ? ??作為一個(gè)多年大數(shù)據(jù)運(yùn)維老鳥的我,早已經(jīng)預(yù)知了這種風(fēng)險(xiǎn),還好我我每天自動(dòng)備選歸檔hive元數(shù)據(jù)庫(kù),當(dāng)然作為一個(gè)運(yùn)維老鳥,我還默默做了很多風(fēng)險(xiǎn)防備的申請(qǐng)哈。

圖片

于是乎我解析hive備份的元數(shù)據(jù),通過(guò)一頓元數(shù)據(jù)關(guān)聯(lián),得到關(guān)于表的如下元數(shù)據(jù)信息


于是乎我需要得到建表語(yǔ)句怎么辦?一個(gè)個(gè)復(fù)制粘貼字段,那是不可能的,有些表還是struct格式,幾百個(gè)字段,雖然可以這樣搞,但是配不上我的身份,于是chatgpt深度用戶的我打開了他

圖片

你別說(shuō)還挺厲害的

圖片

但是我要的是分區(qū)表哇,那我繼續(xù)告訴他day是分區(qū),看看他接下來(lái)的表現(xiàn)哈(結(jié)合下面的sql,生成hive建表語(yǔ)句,并且加上comment,注意day是分區(qū).....

圖片

根據(jù)提供的信息,這是一個(gè)Hive建表語(yǔ)句,包含了多個(gè)字段以及相應(yīng)的注釋。以下是生成的帶有分區(qū)的建表語(yǔ)句:

大家注意了嗎,雖然chatgpt把表的字段啥的解析出來(lái)了,但是表的實(shí)際結(jié)構(gòu)依然是錯(cuò)誤的,實(shí)際無(wú)法執(zhí)行,當(dāng)然我們直接復(fù)制表的上部分即可,這些是么問(wèn)題的。但是我覺(jué)得這依然不夠完美,看我繼續(xù)盤他,我要直接可以復(fù)制粘貼來(lái)執(zhí)行的語(yǔ)句。

圖片

現(xiàn)在我給他個(gè)真實(shí)的建表語(yǔ)句參考下,看看gpt能否根據(jù)我給參考建表語(yǔ)句解析出來(lái)我需要的建表語(yǔ)句。

圖片


我看下gpt的表現(xiàn)如何把:

圖片


執(zhí)行下試試,bingo

剩余的幾張表我只需要按照這個(gè)模板套路進(jìn)去,gpt就已經(jīng)給我寫好的模板,提升效率妥妥滴哈,再也不怕開發(fā)讓我恢復(fù)表結(jié)構(gòu)了哈

圖片

那讓我來(lái)再試試我們百度的文心一言吧

圖片
圖片


chatgpt助力大數(shù)據(jù)數(shù)倉(cāng)開發(fā)實(shí)踐,效果驚艷的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
瑞昌市| 宁波市| 浦城县| 招远市| 乌拉特后旗| 石嘴山市| 五家渠市| 射洪县| 千阳县| 大邑县| 山西省| 武隆县| 尼勒克县| 昂仁县| 邵武市| 乡城县| 囊谦县| 治多县| 阳朔县| 香格里拉县| 宁武县| 响水县| 明水县| 安仁县| 霍邱县| 安西县| 任丘市| 华容县| 凤庆县| 壶关县| 嘉荫县| 祁门县| 荆门市| 乳源| 麻阳| 林周县| 高阳县| 依安县| 宝山区| 枝江市| 外汇|