? ? ??深度學習大規(guī)模預(yù)訓(xùn)練模型的興起，以其極強的通用能力和突破性的效果，正推動通用人工智能（AGI）快速發(fā)展，并帶來了AI研發(fā)應(yīng)用新范式，逐步改變AI生態(tài)格局。近期以大規(guī)模語言模型為基礎(chǔ)的技術(shù)工作，展現(xiàn)出大模型更強大的威力和更廣闊的應(yīng)用前景。但同時，大模型也對應(yīng)著更大的計算量，對訓(xùn)練和推理都帶來了新挑戰(zhàn)，從AI芯片到AI基礎(chǔ)軟件，都在針對大模型持續(xù)優(yōu)化，助力大模型技術(shù)真正走向產(chǎn)業(yè)應(yīng)用。

? ? ??2月26日下午，百度飛槳在2023全球人工智能開發(fā)者先鋒大會（GAIDC）主辦“智領(lǐng)未來：大模型技術(shù)與應(yīng)用”論壇。本論壇由百度飛槳和上海市人工智能行業(yè)協(xié)會主辦，NVIDIA、昆侖芯科技和北京智源人工智能研究院協(xié)辦。將邀請AI大模型領(lǐng)域業(yè)內(nèi)多位知名學者專家，中外AI科技企業(yè)大模型研發(fā)方向資深工程師，從算法、硬件及AI基礎(chǔ)軟件等不同視角深入研討，介紹各領(lǐng)域預(yù)訓(xùn)練大模型的最新技術(shù)進展，以及大模型開發(fā)、訓(xùn)練和部署應(yīng)用相關(guān)的優(yōu)化和落地經(jīng)驗。

本次論壇都有哪些嘉賓蒞臨、分享前沿技術(shù)？一起來看看吧！
論壇主席

于佃海?百度飛槳總架構(gòu)師

個人介紹

? ? ??百度飛槳（PaddlePaddle）總架構(gòu)師、集團機器學習平臺TOC主席，中國計算機學會（CCF）高級會員。2008年從北京大學畢業(yè)后加入百度，長期從事機器學習相關(guān)的技術(shù)研發(fā)、平臺建設(shè)和產(chǎn)品應(yīng)用工作，相關(guān)成果在廣泛業(yè)務(wù)中發(fā)揮了重要影響。曾構(gòu)建了百度首個大規(guī)模分布式機器學習訓(xùn)練系統(tǒng)，最早將機器學習技術(shù)引入百度搜索排序，建設(shè)了百度最早的機器學習基礎(chǔ)算法庫和實驗平臺，是百度深度學習技術(shù)最早一批研究人員。參與國家“973計劃”、國家重點研發(fā)計劃和科技創(chuàng)新2030重大項目等多個國家項目課題研究。曾獲中國電子學會科技進步一等獎、北京市科學技術(shù)進步獎一等獎 、CCF杰出工程師獎。

出席嘉賓

邱錫鵬?復(fù)旦大學計算機學院教授

個人介紹

? ? ??復(fù)旦大學計算機學院教授，擔任中國中文信息學會理事、上海市計算機學會自然語言處理專委會主任等，主要研究方向為自然語言處理基礎(chǔ)技術(shù)和基礎(chǔ)模型，發(fā)表CCF A/B類論文80余篇，被引用1萬余次，獲得ACL 2017杰出論文獎（CCF A類）、CCL 2019最佳論文獎、《中國科學：技術(shù)科學》2021年度高影響力論文獎，有5篇論文入選ACL/EMNLP等會議的最有影響力論文，主持開發(fā)了開源框架FudanNLP和FastNLP，已被國內(nèi)外數(shù)百家單位使用，發(fā)布了CPT、BART-Chinese、ElasticBERT等中文預(yù)訓(xùn)練模型，在中文模型中下載量排名前列。曾獲中國科協(xié)青年人才托舉工程項目、國家優(yōu)青項目、科技創(chuàng)新2030“新一代人工智能”重大項目課題等，2020年獲第四屆上海高校青年教師教學競賽優(yōu)等獎，2021年獲首屆上海市計算機學會教學成果獎一等獎（第一完成人），2022年獲錢偉長中文信息處理科學技術(shù)獎一等獎（第一完成人）。培養(yǎng)學生多人次獲得國家一級學會優(yōu)博。

演講主題：ChatGPT能力分析與應(yīng)用

? ? ??2022年底，OpenAI公司發(fā)布了ChatGPT。ChatGPT可以根據(jù)用戶輸入的指令完成各種語言相關(guān)的任務(wù)，例如寫文章、寫代碼、回答問題、日常聊天等等，能夠極大地提高人們的生產(chǎn)力，這歸功于它所表現(xiàn)出的強大的意圖理解能力、流暢的對話能力和豐富的世界知識。ChatGPT基于千億規(guī)模參數(shù)的大型語言模型。目前，ChatGPT的技術(shù)細節(jié)及模型參數(shù)均未公開，但展現(xiàn)了基于大語言模型研發(fā)通用人工智能助手廣闊的研究和應(yīng)用前景。本報告主要圍繞ChatGPT介紹大型語言模型的能力評測、能力演化路線分析以及如何在下游任務(wù)中更高效利用大模型的能力。

伍昱?北京智源人工智能研究院研究員

個人介紹

? ? ??智源人工智能研究院自然語言和多模態(tài)研究負責人及FlagAI飛智開源項目負責人，目前專注于生成模型和多語言多模態(tài)模型研究。曾為Facebook AI Research（FAIR）初期成員之一，主導(dǎo)過通用Embedding模型StarSpace、超大規(guī)模圖模型PyTorch-BigGraph和實體鏈接模型BLINK等多個深度學習研究項目和相應(yīng)工程落地。

演講主題：多語言多模態(tài)大模型的發(fā)展和應(yīng)用

? ? ??近年來，多模態(tài)大模型技術(shù)飛速發(fā)展。語言、視覺模態(tài)的融合和對齊，使得多模態(tài)大模型在多項任務(wù)中取得了驚人的表現(xiàn)，也帶來了AIGC在研究和應(yīng)用層面的爆發(fā)。本次報告將介紹多模態(tài)預(yù)訓(xùn)練大模型發(fā)展的幾個關(guān)鍵里程碑以及智源研究院在多語言、多模態(tài)大模型方向所做的工作。同時也將介紹多模態(tài)大模型的典型應(yīng)用場景。

王井東?百度計算機視覺首席科學家

個人介紹

? ? ??百度計算機視覺首席科學家，負責計算機視覺領(lǐng)域的研究、技術(shù)創(chuàng)新和產(chǎn)品研發(fā)。加入百度之前，曾任微軟亞洲研究院視覺計算組首席研究員。研究領(lǐng)域為計算機視覺、深度學習及多媒體搜索。他的代表工作包括高分辨率神經(jīng)網(wǎng)絡(luò)（HRNet）、基于有監(jiān)督的區(qū)域特征融合（DRFI）的顯著目標檢測、以及基于近鄰圖的大規(guī)模最近鄰搜索（NGS，SPTAG）等。他曾擔任過許多人工智能會議的領(lǐng)域主席，如 CVPR、ICCV、ECCV、AAAI、IJCAI、ACM MM等。他現(xiàn)在是IEEE TPAMI和IJCV的編委會成員，曾是IEEE TMM和IEEE TCSVT編委會成員。因在視覺內(nèi)容理解和檢索領(lǐng)域的杰出貢獻，他被遴選為國際電氣電子工程師學會和國際模式識別學會會士 (IEEE/IAPR Fellow)、國際計算機協(xié)會杰出會員。

演講主題：百度文心·CV大模型VIMER：算法與應(yīng)用

? ? ??本報告將整體介紹百度文心·CV大模型，分享其中的表征預(yù)訓(xùn)練算法，包括自監(jiān)督算法Context Autoencoder、及其基于圖文模型引導(dǎo)的推廣。最后會介紹預(yù)訓(xùn)練算法及CV大模型在百度產(chǎn)品中的應(yīng)用，包括OCR、工業(yè)視覺、度目、自動駕駛數(shù)據(jù)挖掘等。

何徑舟?百度深圳自然語言處理部技術(shù)總監(jiān)

個人介紹

? ? ? 百度深圳研發(fā)中心自然語言處理部技術(shù)總監(jiān)，國家人工智能專業(yè)高級工程師。何徑舟畢業(yè)于北京大學計算機系，有10年以上人工智能技術(shù)研發(fā)和管理經(jīng)驗，主要研究領(lǐng)域包括自然語言處理、機器學習、生物計算、智能機器人等，帶領(lǐng)團隊奪得十余項國際比賽和權(quán)威榜單冠軍，5 次斬獲百度最高獎。何徑舟是 200 余項 AI 專利發(fā)明人，曾獲中國專利優(yōu)秀獎，受聘中國專利審查技術(shù)專家。何徑舟也是中國人工智能學會（CAAI）會員，中文信息學會（CIPS）青年工作委員會委員，香港人工智能與機器人學會（HKSAIR）會員，深圳國家高技術(shù)產(chǎn)業(yè)創(chuàng)新中心專家。

演講主題：百度文心·文圖生成大模型：技術(shù)與產(chǎn)品創(chuàng)新

? ? ??本報告首先介紹跨模態(tài)文圖生成技術(shù)的背景和發(fā)展脈絡(luò)，并帶來飛槳文心AI作畫大模型ERNIE-ViLG 2.0的技術(shù)解讀，最后分享AI藝術(shù)與創(chuàng)意輔助平臺“文心一格”的產(chǎn)品創(chuàng)新。

吳磊?NVIDIA GPU計算專家團隊高級經(jīng)理

個人介紹

? ? ??2008年碩士畢業(yè)于北京理工大學電子工程系。2011年開始從事基于CUDA的GPU開發(fā)工作，有超過十年的GPU加速相關(guān)產(chǎn)品研發(fā)經(jīng)驗。熟悉歷代GPU體系架構(gòu)，熟悉NVIDIA深度學習生態(tài)工具鏈。在深度學習和大模型的訓(xùn)練加速和推理優(yōu)化，以及HPC領(lǐng)域在GPU上的加速應(yīng)用方面有豐富經(jīng)驗。

演講主題：NVIDIA大模型優(yōu)化實踐與思考

? ? ??當下，大語言模型（LLM）成為行業(yè)內(nèi)外的焦點。但與此同時，大模型高昂的訓(xùn)練和推理部署成本，帶來巨大挑戰(zhàn)。作為世界領(lǐng)先的加速計算平臺公司，NVIDIA在大語言模型的訓(xùn)練優(yōu)化和推理優(yōu)化等方面積累了豐富的經(jīng)驗。本演講圍繞大模型發(fā)展趨勢和NVIDIA 在大模型訓(xùn)練和推理場景中的實踐，分享NVIDIA 對大模型（GPT-3）加速優(yōu)化的方法及效果，希望能為中國大語言模型的研究和應(yīng)用落地提供強有力的支持。

王志鵬?昆侖芯科技互聯(lián)網(wǎng)行業(yè)研發(fā)總監(jiān)

個人介紹

? ? ??現(xiàn)任昆侖芯科技互聯(lián)網(wǎng)行業(yè)研發(fā)總監(jiān)，原百度資深架構(gòu)師。碩士畢業(yè)于電子科技大學。擁有十余年互聯(lián)網(wǎng)產(chǎn)品技術(shù)研發(fā)與管理經(jīng)驗，在云計算和AI芯片行業(yè)都有多年規(guī)劃研發(fā)與落地經(jīng)驗。曾主導(dǎo)研發(fā)百度云基礎(chǔ)IAAS技術(shù)體系，支撐并擴展到上萬規(guī)模。近幾年，整體負責自研AI芯片“昆侖芯1代”和“昆侖芯2代”在國內(nèi)互聯(lián)網(wǎng)的最大規(guī)模部署，產(chǎn)品研發(fā)工作覆蓋AIGC、大語言模型以及搜索、推薦、商業(yè)等廣泛AI技術(shù)與應(yīng)用領(lǐng)域。相關(guān)工作擁有多篇技術(shù)專利。

演講主題：昆侖芯大模型推理優(yōu)化與應(yīng)用實踐

? ? ??大模型對應(yīng)的模型體積和計算量，給實際產(chǎn)業(yè)應(yīng)用的推理部署帶來嚴峻挑戰(zhàn)。昆侖芯基于飛槳框架，針對不同類型的大模型，開展了深度優(yōu)化，并實現(xiàn)了大規(guī)模應(yīng)用落地。本報告將詳細介紹飛槳+昆侖芯對大模型推理的優(yōu)化加速技術(shù)，并分享在百度搜索等大規(guī)模業(yè)務(wù)場景中的應(yīng)用實踐經(jīng)驗。

曾錦樂?百度資深工程師

個人介紹

? ? ??清華大學博士畢業(yè)，博士研究課題為機器視覺技術(shù)在工業(yè)自動化控制中的應(yīng)用?，F(xiàn)任百度資深研發(fā)工程師，研究方向涉及深度學習框架基礎(chǔ)架構(gòu)設(shè)計、大規(guī)模分布式訓(xùn)練技術(shù)、推理部署加速、Kubernetes、AutoML等多個領(lǐng)域。曾作為核心成員設(shè)計并開發(fā)飛槳靜態(tài)圖和動態(tài)圖基礎(chǔ)架構(gòu)，目前負責大規(guī)模分布式訓(xùn)練加速技術(shù)，2022年帶領(lǐng)團隊使用飛槳框架在國際權(quán)威AI基準測試榜單MLPerf Training v2.0和v2.1上獲得同等GPU配置下訓(xùn)練性能世界第一的成績。

實操講解：PaddlePaddle大模型訓(xùn)壓推全流程實戰(zhàn)

? ? ??針對大模型開發(fā)和應(yīng)用的挑戰(zhàn)，飛槳PaddlePaddle從核心框架到開發(fā)平臺提供了針對大模型訓(xùn)練、壓縮和推理部署全流程的支持。本環(huán)節(jié)將首先概要介紹飛槳框架在大模型分布式訓(xùn)練和壓縮推理上的特色技術(shù)。之后將以GPT模型為例，現(xiàn)場演示如何使用飛槳框架從單卡模型擴展出數(shù)據(jù)并行、Group Sharded、張量模型并行、流水線模型并行等不同分布式并行策略，并依托百度智能云上的飛槳開發(fā)平臺展示大模型訓(xùn)練、壓縮、推理全流程操作。

現(xiàn)場交流席位有限，報名從速~

2023年2月26日13:30-17:00
上海臨港中心?一層多功能會議室2
“智領(lǐng)未來：大模型技術(shù)與應(yīng)用”論壇
不見不散！