在人工智能時代，設(shè)計師與產(chǎn)品經(jīng)理比以往更加需要關(guān)注一個事實：那就是如何利用人工智能和數(shù)據(jù)分析技術(shù)，打造讓用戶心動的信息交互產(chǎn)品和用戶體驗，釋放人-機(jī)協(xié)同共創(chuàng)的巨大潛能，是決定設(shè)計產(chǎn)能和競爭力的關(guān)鍵。

在產(chǎn)業(yè)的巨變之下，北京郵電大學(xué)侯文軍教授聯(lián)合百度飛槳團(tuán)隊，共同設(shè)計了《從情節(jié)到交互：UX+AI，打造多模態(tài)信息交互產(chǎn)品》特色工作坊，在這個為期一周的工作坊中，在飛槳Jungle老師團(tuán)隊的帶領(lǐng)下，同學(xué)們通過學(xué)習(xí)多模態(tài)數(shù)據(jù)分析與大模型技術(shù)，以影視片為多模態(tài)信息源，逐步從圖像、聲音和文本中開展數(shù)據(jù)驅(qū)動的設(shè)計分析，最終將電影的多模態(tài)信息轉(zhuǎn)化為引人入勝的多通道交互產(chǎn)品，產(chǎn)出真實項目。

課程培養(yǎng)目標(biāo)

一、多模態(tài)人工智能技術(shù)理解與應(yīng)用能力

了解多模態(tài)人工智能技術(shù)的原理、算法和應(yīng)用，掌握如何利用這些AI技術(shù)來分析電影中的文本、圖像和聲音等多模態(tài)信息，并結(jié)合飛槳和大模型工具，轉(zhuǎn)化為交互式應(yīng)用的設(shè)計素材與流程。

二、數(shù)據(jù)分析與創(chuàng)新思維

學(xué)會使用多樣化的數(shù)據(jù)分析工具和方法，從電影數(shù)據(jù)中提取有價值的信息和洞見。培養(yǎng)創(chuàng)新思維和以用戶為中心的設(shè)計理念，發(fā)掘電影的被動式觀賞與主動式交互應(yīng)用之間的結(jié)合點，從電影情節(jié)中，策劃產(chǎn)品的獨特功能價值和交互流程。

三、交互設(shè)計能力

利用多模態(tài)的設(shè)計能力，在視覺、聽覺和觸覺等方面，設(shè)計直觀且吸引人的多感官界面，將電影元素與界面設(shè)計相結(jié)合，創(chuàng)造出令人印象深刻的交互式應(yīng)用設(shè)計，提供良好用戶體驗，有效和舒適地傳達(dá)信息和故事。

四、團(tuán)隊協(xié)作與項目管理能力

與其他參與者組成團(tuán)隊，共同合作開發(fā)一個電影交互式APP原型。學(xué)會有效的團(tuán)隊協(xié)作，包括任務(wù)分配、溝通和協(xié)調(diào)。獲得項目管理的實踐經(jīng)驗，學(xué)會規(guī)劃、執(zhí)行和監(jiān)控項目進(jìn)展。

部分課程內(nèi)容

部分課程內(nèi)容如下：

• 小學(xué)期主題及實踐任務(wù)解析

• 人工智能技術(shù)現(xiàn)狀、多模態(tài)人工智能技術(shù)與設(shè)計的結(jié)合

• 多模態(tài)與智能交互設(shè)計融合系列課程

• 項目課題：基于電影多模態(tài)信息的多通道交互產(chǎn)品設(shè)計

部分項目成果

為期5天的工作坊，時間十分緊張。在這么短的時間內(nèi)，要求同學(xué)們不僅要學(xué)習(xí)和消化全部的課程內(nèi)容，還需要高質(zhì)量完成課題項目——這對他們的學(xué)習(xí)力、創(chuàng)造力，特別是爆發(fā)力，都提出了巨大的考驗。

工作坊的57名大三同學(xué)，均來自享譽全國的北郵智能交互設(shè)計專業(yè)，該專業(yè)依托北京郵電大學(xué)的信息科技優(yōu)勢，立足“新工科”培養(yǎng)理念，培養(yǎng)“人工智能+交互設(shè)計”的復(fù)合型精英人才。57名同學(xué)，通過相互組隊，最終產(chǎn)出了25個內(nèi)容豐滿的項目。

項目示例一

楊閃、孫沛然和車皓遠(yuǎn)同學(xué)，選取電影《愛樂之城》開展多模態(tài)信息挖掘與產(chǎn)品設(shè)計。他們通過 K-Means 聚類方法，分析和提取了象征不同季節(jié)和情感階段的主題色，以及代表不同情緒風(fēng)格的音效，將其作為交互產(chǎn)品的設(shè)計素材。

在影片中，男女主角載歌載舞，洋溢著活力與優(yōu)雅，此時此刻，三位同學(xué)提出了一個問題：對不會跳舞的人，他們?nèi)绾文芟硎芨栉杷鶐淼目鞓罚?br>

借助 PP-TinyPose，產(chǎn)品可以將特定的用戶照片，轉(zhuǎn)化為電影中經(jīng)典舞蹈的視頻進(jìn)行復(fù)刻，讓用戶也能像電影中的角色，載歌載舞！

項目示例二

朱芃宇、范星蘭和程力昊同學(xué)，探索的電影是《天使愛美麗》。他們基于故事情節(jié)、畫面和聲音等多模態(tài)信息，打造了全新的照片社交產(chǎn)品——Moment。

該產(chǎn)品旨在驅(qū)動身在不同時空的用戶，為彼此拍攝一張將實體明信片與周圍環(huán)境進(jìn)行合影的照片，使用戶感到明信片與周圍風(fēng)景，都是專門為他們而拍攝的。以此通過強(qiáng)調(diào)該照片的獨特性和定制性，讓用戶在收到照片時感受到被特別重視和關(guān)注，并從此與陌生人建立一種美妙的時空關(guān)聯(lián)。

借助文心跨模態(tài)大模型 ERNIE-ViLG?的參考圖模式，用戶照片可以被產(chǎn)品進(jìn)行風(fēng)格化，這樣既避免了個人信息的泄露，又得到了更多的藝術(shù)可能性；在社交網(wǎng)絡(luò)數(shù)據(jù)提取及用戶匹配方面，團(tuán)隊選擇 ERNIE-UIE 模型，能更精準(zhǔn)地提取和匹配地理位置、機(jī)構(gòu)、建筑等信息，輔助用戶找到“遠(yuǎn)方的朋友”；在明信片內(nèi)容輔助生產(chǎn)方面，產(chǎn)品則是利用飛槳版 SAM，從攝影照片得到語義內(nèi)容，并作為 ERNIE-BOT 的文本提示詞，從而幫助用戶更快地產(chǎn)出明信片設(shè)計與文字稿。

項目示例三

侯家祺、徐瑞寧和秦一碩同學(xué)，選取的電影是《佛羅里達(dá)樂園》。通過圖像與音頻聚類，提取主題色和具有代表性的音效，而這些夢幻的色調(diào)和熱鬧的聲音，準(zhǔn)確反映了孩子們視聽世界的特征。

三位同學(xué)的產(chǎn)品定位，則是通過 AR 交互式虛擬惡作劇，來幫助用戶進(jìn)入到《弗羅里達(dá)樂園》的世界，以第一視角體驗各類惡作劇，獲得解壓。

這款多模態(tài) AR 實景交互 AR 游戲，具有極強(qiáng)的電影內(nèi)容關(guān)聯(lián)性，借助 PaddleSeg 的能力，許多現(xiàn)實元素能夠被自動分離和提取，并融入到劇情，在用戶與其交互過程中，產(chǎn)生更深層次的劇情體驗。

項目示例四

徐茗和陳珮雯同學(xué)，則是基于電影《浪矢解憂雜貨店》多模態(tài)信息，打造了一款現(xiàn)實版 AI 浪矢爺爺。他們將電影海報中的“雜貨店”，通過 ERINE-ViLG 進(jìn)行了“翻新”；并提取了浪矢爺爺?shù)幕匦盼谋荆鳛樾颖緮?shù)據(jù)集，在?AI Studio 大模型社區(qū)打造了相同“話風(fēng)”、同樣能夠進(jìn)行回信的“AI浪矢爺爺”。

項目示例五

楊若望、杜堯和劉先勝同學(xué)，從電影《阿凡達(dá)》中，提取了“冥想”的設(shè)計理念和獨特的色彩模式。利用文心跨模態(tài)大模型 ERNIE-ViLG ，團(tuán)隊的三位男生，通過簡單的 prompt，就能為自己生成特定主題且具有一定連續(xù)性的系列設(shè)計素材，成為自己產(chǎn)品中的關(guān)鍵元素加速了產(chǎn)品的創(chuàng)意表達(dá)。

由于篇幅有限，還有很多同樣優(yōu)秀精彩的團(tuán)隊項目沒有介紹，相信在未來，我們將有更多的機(jī)會和場合進(jìn)行分享。

北京郵電大學(xué)侯文軍教授表示，大模型正在真真切切地驅(qū)動企業(yè)與產(chǎn)品的代際變革，并在實際落地的過程中，產(chǎn)生真實的價值。大模型+設(shè)計，將帶來企業(yè)與產(chǎn)品變革的全新勢能，這次校企融合的實踐課程，讓同學(xué)們開展前沿科技的應(yīng)用探索，產(chǎn)生豐碩的成果，大家都獲益匪淺。當(dāng)前面向新一輪產(chǎn)業(yè)變革，更多的任何學(xué)科和產(chǎn)業(yè)，都將在大模型技術(shù)的推動下，迎來自己的“iPhone”時刻。

期待你的加入！

剛才的項目，和“創(chuàng)意”很相關(guān)。說起“創(chuàng)意”，這里，我們要歡迎創(chuàng)意無限的你，帶著夢想與技術(shù)，參加中國高校計算機(jī)大賽人工智能創(chuàng)意賽！