開源之夏專訪持續(xù)開放中，歡迎已從開源之夏畢業(yè)或正在參與開源之夏活動的學生、導(dǎo)師一同加入專訪行動，掃描文末二維碼填寫專訪問卷，與大家分享你眼中的開源之夏！

本期采訪人物是開源之夏2023活動KubeEdge社區(qū)中選學生——林子楠，所承擔的項目是基于LLM對機器人復(fù)雜任務(wù)構(gòu)建指令序列。

項目鏈接：https://summer-ospp.ac.cn/org/prodetail/2398a0157?lang=zh&list=pro

#?自我介紹

OSPP：請簡單介紹一下自己。

林子楠：大家好，我是林子楠，目前學習計算機類相關(guān)專業(yè)，平常喜歡研究大語言模型相關(guān)領(lǐng)域的內(nèi)容。我對參與開源項目比較感興趣，先后參與了LangChain、forest等多個開源項目的開發(fā)，并且自己在平常也開發(fā)了一些有趣的工具和框架。

OSPP：據(jù)了解，此前你已經(jīng)有豐富的開源項目參與經(jīng)驗了，能否簡單介紹一下相關(guān)經(jīng)歷或者印象最深刻的項目經(jīng)歷？是什么讓你決定參與開源？

林子楠：第一次比較正式的接觸開源是在Google Summer of Code中，從那之后我就發(fā)現(xiàn)參與開源項目建設(shè)，讓更多的開發(fā)者使用到你寫的東西，是一件很有意思的事情。從那之后自己也著手開發(fā)了很多很有意思的項目，如promptulate：一個大語言模型自動化與應(yīng)用開發(fā)框架、broadcast-service：一個強大的發(fā)布訂閱者框架、cushy-storage：一個基于磁盤緩存的ORM框架等等。讓我最深刻的可能是在參與LangChain開發(fā)的時候，創(chuàng)始人Harrison Chase及其他開發(fā)者和我交流關(guān)于代碼上的問題以及想法，這種和大佬協(xié)作開發(fā)的感覺是很有趣的。開源給我?guī)淼暮芏?，開源讓我見到了很多各種各樣的優(yōu)秀項目和代碼，參與到十分成熟的項目開發(fā)中，讓我學習到了很多代碼架構(gòu)、設(shè)計思維以及各種各樣新興的技術(shù)等等，通過參與開源，我學習到了特別多的東西，這是學業(yè)內(nèi)教學、課程設(shè)計都無法學習到的知識。參與開源確實是擴展視野，提升競爭力的高性價比途徑。

# 參與開源和開源之夏

OSPP：你是如何了解到并決定參與開源之夏活動的？

林子楠：我們有一些開源社區(qū)群，某一天交流的時候無意中了解到的開源之夏，經(jīng)過一段時間的了解過后，發(fā)現(xiàn)里面有很多很有意思的課題，也很有挑戰(zhàn)性，因此在開源之夏還沒有開放報名的時候我有已經(jīng)有參與的想法了。

OSPP：在開源之夏項目申請過程中，你是如何選擇開源項目并準備項目申請書的？有考慮哪些因素？做了哪些準備？

林子楠：我一直在做大語言模型相關(guān)的工作，在看到這個項目的時候，感覺正好和我比較契合，通過了解項目信息，腦子里已經(jīng)有一個大概的思路怎么去做這個事情，在調(diào)研了相關(guān)的研究工作，完成了項目申請書的編寫。

OSPP：請介紹一下你眼中的KubeEdge社區(qū)。

林子楠：KubeEdge是一個成熟且活躍的開源社區(qū)，旨在將原生容器化應(yīng)用編排能力擴展到邊緣主機。在KubeEdge社區(qū)下設(shè)有云機器人興趣小組，專注于研究如何利用云原生技術(shù)賦能邊緣機器人。社區(qū)定期舉行會議，提供了一個分享和討論的平臺。社區(qū)成員來自機器人生態(tài)鏈上下游的各種組織和開發(fā)者，他們在技術(shù)上非常專業(yè)和熱情，共同努力推動KubeEdge項目的發(fā)展和創(chuàng)新。

KubeEdge sig robotics是第二次參加這次活動，我們已經(jīng)在各個社交媒體平臺（如bilibili、微信公眾號、華為開發(fā)者社區(qū)等）進行了宣傳。此外，社區(qū)還定期舉行社區(qū)議會，邀請一些行業(yè)專家分享相關(guān)的研究成果。我的導(dǎo)師也非常熱心地與我溝通當前項目的進展。

關(guān)于?KubeEdge 開源社區(qū)

KubeEdge 是業(yè)界首個云原生邊緣計算框架、云原生計算基金會內(nèi)部唯一孵化級邊緣計算開源項目。自開源以來,KubeEdge 受到了產(chǎn)業(yè)界和學術(shù)界廣泛的關(guān)注和支持，在 GitHub 獲得 6.7k+Stars 和 1.9k+Fork，吸引了全球來自 30+ 國家的 70+ 貢獻組織及 16 萬+開發(fā)者。近年來，KubeEdge 社區(qū)持續(xù)開拓創(chuàng)新，完成業(yè)界最大規(guī)模云原生邊云協(xié)同高速公路項目（統(tǒng)一管理 10 萬邊緣節(jié)點/50 萬邊緣應(yīng)用）、業(yè)界首個云原生車云協(xié)同汽車、業(yè)界首個云原生油田項目，開源業(yè)界首個分布式協(xié)同 AI 框架 Sedna 及其業(yè)界首個邊云協(xié)同終身學習范式 、開源業(yè)界首個分布式協(xié)同 AI 基準測試套件 Ianvs 。在 Google Scholar 中，KubeEdge 相關(guān)學術(shù)論文已超過 400 篇（包括開源特性及對項目的引用）。

官網(wǎng)：https://kubeedge.io/zh/

OSPP：請簡單介紹一下你所承擔的開源項目。

林子楠：我承擔的開源項目是《基于LLM對機器人復(fù)雜任務(wù)構(gòu)建指令序列》。這個項目的主要目標是利用大語言模型（LLM）的強大能力，為機器人的規(guī)劃和執(zhí)行復(fù)雜任務(wù)提供精確的指令序列。在當今技術(shù)的不斷演進中，研究者們已經(jīng)不再滿足于將人工智能局限在虛擬環(huán)境中，他們希望AI能夠感知現(xiàn)實世界并與之進行交互。因此，越來越多的研究在進一步挖掘語義理解和任務(wù)執(zhí)行方面發(fā)揮潛在的力量，并結(jié)合LLM的能力，為機器人的任務(wù)執(zhí)行提供更多可能性。許多知名的科技公司，如Google、Microsoft和DeepMind，都在這個領(lǐng)域進行了相關(guān)的研究和開發(fā)。通過結(jié)合LLM模型的語義理解和任務(wù)執(zhí)行能力，機器人在現(xiàn)實世界中能夠執(zhí)行復(fù)雜任務(wù)的能力將有助于提升自動化、智能制造和物流領(lǐng)域的效率，甚至在醫(yī)療、農(nóng)業(yè)和教育等領(lǐng)域創(chuàng)造更多創(chuàng)新和應(yīng)用。

具體地，在我的計劃書設(shè)計中，我將系統(tǒng)分為了RoboAgent，RoboController, RobotObserver，Client幾個部分，為了更好地構(gòu)建RoboAgent在任務(wù)規(guī)劃、環(huán)境感知和推理方面的能力，并使RoboAgent能夠處理復(fù)雜的機器人指令，我們需要構(gòu)建RoboAgent和相關(guān)的工具套件，包括規(guī)劃、行動、推理和觀察。下圖說明了基于此概念構(gòu)建的系統(tǒng)體系結(jié)構(gòu)。

用戶通過Client客戶端，通過websocket通信，向ROS機器人的Node發(fā)送命令。在ROS中，創(chuàng)建一個節(jié)點或模塊來與Client通信。在收到Client的用戶請求后，RoboAgent使用LLM進行任務(wù)規(guī)劃，并生成一系列子任務(wù)。任務(wù)規(guī)劃基于用戶輸入和機器人能力，確定完成所需任務(wù)的最佳方式。RoboAgent基于子任務(wù)序列構(gòu)建要執(zhí)行的動作，并通過相關(guān)控制器執(zhí)行機器人命令。這涉及到調(diào)用ROS機器人控制器來執(zhí)行特定的動作，如移動和對象操縱。執(zhí)行單個命令后，RoboAgent執(zhí)行環(huán)境感知，觀察執(zhí)行后環(huán)境的變化。例如，到前車的距離為5米（thing，distance，x，y，z）。在接收到環(huán)境感知數(shù)據(jù)后，機器人基于其當前行為和環(huán)境感知進行下一步的推理?；谟^察到的數(shù)據(jù)，機器人參與下一個動作的推理，確定是執(zhí)行下一個子任務(wù)還是修改/更新任務(wù)計劃。如果需要修改任務(wù)計劃，RoboAgent將返回任務(wù)計劃步驟以重新生成子任務(wù)序列。重復(fù)上述控制、感知和反思的循環(huán)，直到RoboAgent確定所有子任務(wù)的完成，指示整個任務(wù)的完成并結(jié)束任務(wù)調(diào)度。

OSPP：目前項目開發(fā)進展如何？在開發(fā)過程中是否遇到了挑戰(zhàn)？你是如何應(yīng)對的？有什么收獲么？

林子楠：當前項目還在比較前期的開發(fā)工作中，就proposal來說，實際開發(fā)起來還是有一些不一樣的地方，需要不斷去調(diào)試優(yōu)化，比如在就RoboAgent的用戶輸入，在設(shè)計初期，我并沒有考慮的這個問題，于是RoboAgent的用戶輸入直接停留在了代碼側(cè)，然而在實際的場景中，機器人一般都需要接收動態(tài)的用戶輸入指令，因此我們還需要就Robot構(gòu)建一個對應(yīng)的客戶端。

OSPP：你與導(dǎo)師和社區(qū)其他成員的交流情況如何？在交流過程中，收獲到了哪些寶貴的經(jīng)驗和建議？

林子楠：社區(qū)以及導(dǎo)師們都很熱心，就我的proposal提出了很多十分有價值的建議和改進方案，從系統(tǒng)架構(gòu)到具體的實現(xiàn)邏輯上，導(dǎo)師們都給我提了很多建議，也讓我認識到了當時在系統(tǒng)設(shè)計上了一些不足之處，讓我學習到了很多。

OSPP：之后是否打算繼續(xù)參與開源社區(qū)或開源項目？為什么？

林子楠：之后也會一直參與開源社區(qū)，可以學到很多東西、認識到一群很厲害的人、一起做一些有趣的事情。

# 寄語

OSPP：你所在的高校目前是否有開設(shè)開源相關(guān)課程？你身邊同學參與開源的情況是否有了解？

林子楠：我所在的高校目前沒有針對開源相關(guān)課程的開設(shè)。這可能是因為開源開發(fā)在一些學校尚未得到足夠重視，或者缺乏專門的教學資源和資深的開源開發(fā)人員來指導(dǎo)學生。

在我身邊的同學中，只有個別人參與了開源項目的開發(fā)，且參與度也不是很高。這可能是因為他們對開源開發(fā)的了解有限，或者缺乏機會和平臺去積極參與其中。開源項目的開發(fā)需要一定的技術(shù)能力和對開源社區(qū)的熟悉程度，這對于大多數(shù)同學來說可能是一個挑戰(zhàn)。

然而，盡管在我所在的高校中開源參與度有限，我個人非常希望能夠有更多的人了解和參與到開源建設(shè)中去。開源開發(fā)不僅可以促進技術(shù)的共享和進步，還提供了學習和合作的機會。通過參與開源項目，我們可以學到更多實際的開發(fā)經(jīng)驗，了解到不同領(lǐng)域的技術(shù)和工作方式，并與開源社區(qū)的其他成員交流和合作。

OSPP：你認為參與開源之夏和社區(qū)貢獻對于在校生的學習和專業(yè)提升、就業(yè)選擇方面有哪些幫助？

林子楠：開源之夏是以課題為單位進行項目開發(fā)，因此學生需要完成從項目調(diào)研、方案設(shè)計、代碼編寫、單元測試等一整套流程，可以很好的鍛煉一個人的工程能力，另一方面，我認為參與一個優(yōu)秀的開源項目的含金量不亞于一個大廠實習，不管是能力提升、還是就業(yè)的選擇，都對在校生的是很有幫助的。所以對于想要參與開源的同學來講，沖就完了！

END

專欄編輯：大夢

校對：校大山、林子楠

制圖：GoodWhite

專欄投稿請聯(lián)系開源小助手：kaiyuanzhixia 或?qū)诰庉嫞篐ungryfish34（備注“專欄投稿”加速通過），或填寫下方專訪信息收集問卷。