本期為TechBeat人工智能社區(qū)第516期線上Talk！

北京時(shí)間7月26日(周三)20:00，?卡內(nèi)基梅隆大博士生—侯博涵的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是:?“MLC-LLM-機(jī)器學(xué)習(xí)編譯與在大語(yǔ)言模型上的應(yīng)用”，屆時(shí)將與大家探討在消費(fèi)級(jí)設(shè)備上部署大語(yǔ)言模型的原因、挑戰(zhàn)、優(yōu)化策略等方面的問(wèn)題。

Talk·信息
▼

主題：MLC-LLM-機(jī)器學(xué)習(xí)編譯與在大語(yǔ)言模型上的應(yīng)用

嘉賓：卡內(nèi)基梅隆大博士生 侯博涵

時(shí)間：北京時(shí)間?7月26日(周三)20:00
地點(diǎn)：TechBeat人工智能社區(qū)
http://www.techbeat.net/

?長(zhǎng)按識(shí)別二維碼，一鍵預(yù)約TALK！

Talk·介紹

▼

自ChatGPT發(fā)布以來(lái)，大語(yǔ)言模型（Large language model, LLM)就成了AI乃至整個(gè)計(jì)算機(jī)科學(xué)的話題中心。學(xué)術(shù)界，工業(yè)界圍繞大語(yǔ)言模型本身及其應(yīng)用展開了廣泛的討論，大量的新的實(shí)踐層出不窮。由于LLM對(duì)計(jì)算資源的需求極大，有能力部署大語(yǔ)言模型的公司和實(shí)驗(yàn)室一般通過(guò)搭建集群，然后開放API或者網(wǎng)頁(yè)demo的方式讓用戶可以使用模型。在人們紛紛發(fā)揮想象力嘗試各種prompt與模型對(duì)話的時(shí)候，我們也注意到在一些應(yīng)用場(chǎng)景中，出于定制化、個(gè)性化或者隱私性的目的，人們想要自己在各種終端設(shè)備中本地運(yùn)行大語(yǔ)言模型，不需要/不希望連接互聯(lián)網(wǎng)或者依賴于服務(wù)器，例如

• 智能汽車的終端可以對(duì)駕駛員的操作習(xí)慣定制化

• 智能家居的終端可以對(duì)戶主的生活習(xí)慣定制化

• 手機(jī)游戲，或者主機(jī)游戲中NPC的對(duì)話可以根據(jù)玩家的行為而改變

• PC端的應(yīng)用希望本地部署聊天機(jī)器人，但是用戶的顯卡可能是N卡，A卡，或者集成顯卡，安裝了CUDA/Vulkan/OpenCL驅(qū)動(dòng)

我們希望能夠讓每個(gè)人都可以開發(fā)，優(yōu)化和部署AI大模型，讓它工作在每個(gè)人都能方便獲得的設(shè)備上

Talk大綱

1、為什么我們需要在消費(fèi)級(jí)設(shè)備上本地部署大語(yǔ)言模型

2、在消費(fèi)級(jí)設(shè)備上部署大語(yǔ)言模型的挑戰(zhàn)

3、在消費(fèi)級(jí)設(shè)備上部署大語(yǔ)言模型的優(yōu)化策略

4、 MLC-LLM使用的機(jī)器學(xué)習(xí)編譯器框架：TVM Unity

5、MLC-LLM demo展示

Talk·預(yù)習(xí)資料

▼

論文鏈接：

https://arxiv.org/abs/2207.04296

repo：

https://github.com/mlc-ai/mlc-llm

https://github.com/mlc-ai/web-llm

Talk·提問(wèn)交流

▼

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問(wèn)題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

▼

卡內(nèi)基梅隆大學(xué)Catalyst實(shí)驗(yàn)室博士研究生，本科畢業(yè)于上海交通大學(xué)，研究方向包括深度學(xué)習(xí)編譯器，機(jī)器學(xué)習(xí)系統(tǒng)等。曾以第一作者身份在ASPLOS上發(fā)表相關(guān)研究。參與開發(fā)了WebLLM，MLC-LLM等開源項(xiàng)目。

個(gè)人主頁(yè):?

https://www.techbeat.net/grzytrkj?id=33082

?長(zhǎng)按識(shí)別二維碼，一鍵預(yù)約TALK！

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！