2022年3月31日，春至。

實(shí)在智能召開(kāi)RPA行業(yè)2022年首場(chǎng)產(chǎn)品發(fā)布會(huì)。如同007系列電影一樣，“AI你所愛(ài) 新益求新”的發(fā)布會(huì)結(jié)束語(yǔ)中已悄然埋下伏筆：

“不說(shuō)再見(jiàn)，下一次發(fā)布會(huì)，與您在更高峰相見(jiàn)！

2022年12月7日，大雪。

春去冬來(lái)，實(shí)在的承諾如約而至，憋足勁兒的“蝶變·新番”實(shí)在智能2022冬季新品發(fā)布會(huì)重磅登場(chǎng)：

“這是一場(chǎng)震撼行業(yè)的RPA發(fā)布會(huì)！

打破傳統(tǒng)，變革模式。

本次發(fā)布會(huì)從功能和體驗(yàn)兩個(gè)維度帶來(lái)了實(shí)實(shí)在在的“科技與狠活”，一言以蔽之：

“一款真正人人可用的RPA。

實(shí)在智能CEO孫林君、產(chǎn)品負(fù)責(zé)人周春照、算法負(fù)責(zé)人歐陽(yáng)小剛發(fā)布新產(chǎn)品和新技術(shù)

本次發(fā)布會(huì)已在實(shí)在RPA IPA視頻號(hào)上進(jìn)行全程回放，歡迎大家觀看。

敲黑板，劃重點(diǎn)，以下為干貨滿滿的精華實(shí)錄。

實(shí)實(shí)在在的理念，實(shí)實(shí)在在的產(chǎn)品，實(shí)實(shí)在在的技術(shù)，與您分享：

創(chuàng)業(yè)四年，作為國(guó)內(nèi)人工智能行業(yè)準(zhǔn)獨(dú)角獸的實(shí)在智能始終秉持“AI賦能商業(yè)”的初心，堅(jiān)定相信人機(jī)協(xié)同及超自動(dòng)化時(shí)代的美好未來(lái)。

凡事必作于細(xì)，也必成于實(shí)，實(shí)在智能一直致力于不斷突破傳統(tǒng)RPA的天花板，降低大眾人群上手?jǐn)?shù)字化工具的門(mén)檻，提升用戶體驗(yàn)。

12月7日，實(shí)在智能2022冬季新品發(fā)布會(huì)，以“蝶變·新番”為主題，帶來(lái)了RPA行業(yè)顛覆性、重量級(jí)、首創(chuàng)首發(fā)的：

新模式：沉浸式搭建超自動(dòng)化流程的IPA模式

新技術(shù)：智能屏幕語(yǔ)義理解技術(shù)（ISSUT）

一、一款新模式：真正人人可用的沉浸式IPA模式

相信大家正在用手機(jī)閱讀這篇文章，那么不知您是否還記得2007年蘋(píng)果公司的iPhone首次發(fā)布會(huì)。

觸屏手機(jī)的發(fā)明徹底改變了手機(jī)和消費(fèi)電子產(chǎn)品行業(yè)，大幅降低手機(jī)的使用門(mén)檻，讓手機(jī)全面普及，推動(dòng)了移動(dòng)互聯(lián)網(wǎng)時(shí)代的爆發(fā)。

這是一個(gè)用技術(shù)顛覆行業(yè)，并讓全社會(huì)受益的經(jīng)典案例。

傳統(tǒng)RPA軟件，其實(shí)是一種“專(zhuān)家模式”。即，用戶如果想配置自動(dòng)化操作，必須要先學(xué)會(huì)如何使用RPA軟件，進(jìn)而才能在RPA軟件與業(yè)務(wù)軟件之間不斷切換，逐步以“拖拉拽”或“寫(xiě)代碼”的方式，完成自動(dòng)化流程配置。

而實(shí)在RPA的IPA模式，則完全不同，簡(jiǎn)言之這是一種“小白模式”。用戶不需要額外學(xué)習(xí)使用實(shí)在RPA，也完全不需要“拖拉拽”或“寫(xiě)代碼”，按照正常流程直接操作業(yè)務(wù)軟件即可。

每當(dāng)鼠標(biāo)懸停，實(shí)在RPA會(huì)自動(dòng)推薦（并可在線學(xué)習(xí)優(yōu)化推薦）此處可以/可能進(jìn)行的自動(dòng)化操作。

每當(dāng)鼠標(biāo)點(diǎn)擊，該步操作自動(dòng)轉(zhuǎn)為自動(dòng)化流程中的一步。由此迭代，任何新手都可以迅速搭建自己的數(shù)字員工。

傳統(tǒng)RPA“專(zhuān)家模式” vs 實(shí)在RPA“IPA模式/小白模式”

實(shí)在RPA的IPA模式，類(lèi)似觸屏手機(jī)的顛覆式創(chuàng)新，徹底推平了橫亙?cè)谟脩裘媲?，?dǎo)致傳統(tǒng)RPA學(xué)習(xí)成本大、使用門(mén)檻高的三座大山——“拾取、元素和變量”，帶來(lái)了真正的人人可用，實(shí)現(xiàn)“打開(kāi)就能用、入門(mén)就上手”。

不妨來(lái)聽(tīng)聽(tīng)行業(yè)專(zhuān)家、專(zhuān)業(yè)用戶提前嘗鮮體驗(yàn)的反饋集錦：

震撼一：沉浸式的超自動(dòng)化體驗(yàn)，識(shí)別一切，操作一切

不再需要傳統(tǒng)RPA軟件的“流程畫(huà)布”，把“更大，更寬，更全面”的電腦屏幕留給用戶。

不再需要傳統(tǒng)RPA軟件的“拖拉拽”，鼠標(biāo)懸停+鼠標(biāo)點(diǎn)擊，即可完成自動(dòng)化流程配置。

不再需要傳統(tǒng)RPA軟件與應(yīng)用軟件之間所必須的頻繁切換，基于對(duì)所有屏幕元素的識(shí)別和理解，以及頂部“靈動(dòng)島” + 側(cè)邊“流程窗”的輕盈交互，實(shí)現(xiàn)在超自動(dòng)化的元宇宙中快速打造數(shù)字員工。

震撼二：所見(jiàn)即所得的操作，一看就會(huì)，一用就對(duì)

無(wú)需學(xué)習(xí)：不用理解和記憶“組件/元素/變量”，不用“拖拉拽”，不用“寫(xiě)代碼”。

無(wú)需思考：

·鼠標(biāo)懸停，馬上彈出可能的自動(dòng)化操作推薦列表

·鼠標(biāo)框選任意圖像區(qū)域后，馬上彈出可能的AI能力推薦列表（文字識(shí)別等）

支持基于場(chǎng)景和動(dòng)作的在線學(xué)習(xí)，用得越多越“聰明”，推薦越準(zhǔn)。

無(wú)需轉(zhuǎn)化：鼠標(biāo)點(diǎn)擊，馬上在“流程窗”中自動(dòng)生成自動(dòng)化流程。

為了更清晰、更全面地展示IPA模式的強(qiáng)大功能，這里用日常工作中最常見(jiàn)、使用頻率最高的Excel數(shù)據(jù)處理做個(gè)簡(jiǎn)單演示。

·任何直接對(duì)數(shù)據(jù)表的操作

不僅包括，插入行或列，寫(xiě)入單元格或區(qū)域內(nèi)容，自動(dòng)填充、數(shù)據(jù)篩選、復(fù)制行列、插入新的sheet、重命名sheet、表格里內(nèi)容的查找替換等

甚至是，復(fù)雜的數(shù)據(jù)透視操作。

都會(huì)在右側(cè)“流程窗”中自動(dòng)生成自動(dòng)化流程，并自動(dòng)忽略無(wú)效步驟，且可以直接運(yùn)行。

這種所見(jiàn)即所得的數(shù)字員工搭建方式，大幅提升數(shù)據(jù)采集和處理效率，降低了數(shù)據(jù)自動(dòng)化處理門(mén)檻。

基于以上模式，以某客戶真實(shí)場(chǎng)景的Excel自動(dòng)化操作需求為例：

·使用傳統(tǒng)RPA

相對(duì)資深的RPA開(kāi)發(fā)工程師需花4個(gè)多小時(shí)，通過(guò)50多個(gè)組件才能完成搭建。

·使用實(shí)在RPA的IPA模式

無(wú)需RPA開(kāi)發(fā)工程師，業(yè)務(wù)人員自身只需短短6分鐘左右即可完成，“流程窗”中生成的動(dòng)作只有32個(gè)，前所未有地提升了工作效率。

同時(shí)，IPA模式還支持對(duì)復(fù)雜頁(yè)面數(shù)據(jù)結(jié)構(gòu)的自動(dòng)分析，實(shí)現(xiàn)一鍵采集整個(gè)表格數(shù)據(jù)。

二、一款新技術(shù)：國(guó)產(chǎn)自研，行業(yè)首創(chuàng)的智能屏幕語(yǔ)義理解技術(shù)

被需要的智能才是實(shí)在的智能。

實(shí)在RPA創(chuàng)新IPA模式的實(shí)現(xiàn)，得益于在AI領(lǐng)域的快速持續(xù)自研迭代。

目前，實(shí)在智能已累計(jì)獲得近40項(xiàng)發(fā)明專(zhuān)利授權(quán)、獲得軟件著作權(quán)登記近200項(xiàng)，在RPA行業(yè)中實(shí)授發(fā)明專(zhuān)利數(shù)長(zhǎng)期位居TOP1。

產(chǎn)品是表，技術(shù)是里。

用心優(yōu)化，用AI改變。

本次發(fā)布會(huì)上，實(shí)在智能同時(shí)重磅發(fā)布了IPA模式背后的全自研創(chuàng)新技術(shù)——智能屏幕語(yǔ)義理解技術(shù)（ISSUT：Intelligence Screen Semantics Understanding Techonology）。

看到這里，相信大家已經(jīng)領(lǐng)略了IPA模式的神奇和驚艷，下面我們就抽絲剝繭、正式拆解一下IPA模式背后“變戲法的帽子”：

Action 1：識(shí)別屏幕

1、融合拾取3.0技術(shù)：使得“元素”皆可拾取

RPA行業(yè)中提到的“元素”，指的是屏幕上的圖標(biāo)、文字或區(qū)域。RPA要首先識(shí)別它們，然后才能自動(dòng)地點(diǎn)擊和操作它們。

實(shí)在智能在2022年3月31日“AI你所愛(ài) 新益求新”發(fā)布會(huì)中全行業(yè)首發(fā)了“融合拾取3.0”技術(shù)，高效精準(zhǔn)地解決了復(fù)雜元素的識(shí)別和操作。

在前期工作基礎(chǔ)上，本次發(fā)布的ISSUT技術(shù)，解決了“何為元素、能否識(shí)別”等問(wèn)題，只需鼠標(biāo)輕輕一移、輕輕一點(diǎn)就能完成拾取元素這個(gè)動(dòng)作。

這是實(shí)現(xiàn)智能屏幕語(yǔ)義理解的第一步，

也是實(shí)現(xiàn)RPA真正人人可用的第一步！

2、動(dòng)態(tài)元素匹配技術(shù)：使得“元素”一鍵適配

RPA行業(yè)中提到的“元素”，指的是屏幕上的圖標(biāo)、文字或區(qū)域。RPA要首先識(shí)別它們，然后才能自動(dòng)地點(diǎn)擊和操作它們。

當(dāng)文字內(nèi)容或圖標(biāo)外觀發(fā)生了改變時(shí)， RPA機(jī)器人有可能會(huì)找不到之前的元素。

這時(shí)就是動(dòng)態(tài)元素匹配技術(shù)的用武之地：

·借助AI算法，輕松處理元素變化情況

·一次識(shí)別，永久適配

Action 2：理解屏幕

1、頁(yè)面結(jié)構(gòu)分析技術(shù)：既能檢得更小，也能看得更大

舉個(gè)栗子：

當(dāng)我們使用聊天軟件的時(shí)候，人可以輕松理解軟件界面（電腦屏幕），知道哪里是消息列表，哪里是對(duì)話輸入框……

那么問(wèn)題來(lái)了，

RPA機(jī)器人如何準(zhǔn)確、快速、更好地模擬人工操作呢？

為此，我們引入了頁(yè)面結(jié)構(gòu)分析技術(shù)，使得實(shí)在RPA在“認(rèn)識(shí)屏幕”之外，更可以“理解屏幕”，并可自適應(yīng)頁(yè)面拉伸/移動(dòng)/及文字填充/位移等各種變化情況。其中包含多項(xiàng)獨(dú)創(chuàng)技術(shù)亮點(diǎn)：

·頁(yè)面圖神經(jīng)網(wǎng)絡(luò)分析

·動(dòng)態(tài)縮放自適應(yīng)

·區(qū)域內(nèi)容填充識(shí)別

2、屏幕語(yǔ)義抽取技術(shù)：隔屏取物，懂你所見(jiàn)

這項(xiàng)技術(shù)，使得IPA模式真正像人一樣理解屏幕的每一個(gè)部分，將我們的辦公直覺(jué)投射到屏幕上，實(shí)現(xiàn)真正的所見(jiàn)即所得：

在VR中，我們可以隔空取物；

在實(shí)在RPA的IPA模式中，我們可以隔“屏”取物——

即，鼠標(biāo)的每一次滑動(dòng)，背后的AI算法都將瞬間完成一次計(jì)算，分析出屏幕中元素和區(qū)域的含義并且推薦相應(yīng)的自動(dòng)化操作：

·當(dāng)鼠標(biāo)滑過(guò)一個(gè)瀏覽器圖標(biāo)，AI就知道它能用來(lái)打開(kāi)網(wǎng)頁(yè)和搜索新聞；

·當(dāng)鼠標(biāo)滑過(guò)一個(gè)對(duì)話框，AI就判斷可以輸入文字并發(fā)送消息；

·當(dāng)鼠標(biāo)框選一個(gè)包含各種文字的區(qū)域，AI就知道可以進(jìn)行文字識(shí)別及抽取。

Action 3：操作預(yù)測(cè)

1、多模態(tài)意圖預(yù)測(cè)從“頭禿想想想”到“自如點(diǎn)點(diǎn)點(diǎn)”

·對(duì)于傳統(tǒng)RPA（“專(zhuān)家模式”）

RPA開(kāi)發(fā)工程師往往需要從一堆的組件中找到一個(gè)想要的組件，通過(guò)“想想想+拖拉拽”完成自動(dòng)化流程配置；

·對(duì)于實(shí)在RPA（“IPA模式/小白模式”）

多模態(tài)意圖預(yù)測(cè)技術(shù)，可以支持通過(guò)多模態(tài)識(shí)別和序列上下文挖掘等方法，精準(zhǔn)預(yù)測(cè)用戶的每一個(gè)操作意圖，抹平了從業(yè)務(wù)場(chǎng)景操作到RPA組件之間的理解鴻溝：

用戶的每一次點(diǎn)擊就是一次拾??；

用戶的每一步操作都在配置流程。

應(yīng)用軟件操作回到臺(tái)前，RPA開(kāi)發(fā)退回到幕后，實(shí)現(xiàn)二者的真正分離。

2、業(yè)務(wù)感知推薦：理解場(chǎng)景，操作業(yè)務(wù)

結(jié)合表格檢測(cè)、場(chǎng)景預(yù)測(cè)和自然語(yǔ)言處理技術(shù)，實(shí)在RPA的IPA模式。

不僅可以，自動(dòng)推薦原子級(jí)操作（點(diǎn)擊圖標(biāo)、輸入文字、鼠標(biāo)移動(dòng)）；還可以，基于業(yè)務(wù)場(chǎng)景理解，自動(dòng)推薦業(yè)務(wù)級(jí)操作：

·打開(kāi)網(wǎng)站登錄頁(yè)面，鼠標(biāo)劃過(guò)登錄區(qū)域，自動(dòng)推薦「智能登錄」操作；

·打開(kāi)商品列表頁(yè)面，鼠標(biāo)劃過(guò)任何帶有數(shù)據(jù)區(qū)域，自動(dòng)推薦「數(shù)據(jù)采集」操作。

Action 4：在線學(xué)習(xí)

本次發(fā)布會(huì)還有一個(gè)功能彩蛋：

實(shí)在RPA的IPA模式支持在線學(xué)習(xí)和迭代優(yōu)化。

這也正是AI產(chǎn)品的魅力之所在！

根據(jù)用戶的反饋，算法模型將通過(guò)在線學(xué)習(xí)技術(shù)和自動(dòng)優(yōu)化機(jī)制，能夠記住選擇和喜好，用的越多，推薦越準(zhǔn)。

值得一提的是，所有模型算法都內(nèi)置在用戶本地辦公環(huán)境，操作習(xí)慣和數(shù)據(jù)均不會(huì)通過(guò)網(wǎng)絡(luò)上傳，并且配置有防護(hù)機(jī)制，最大限度地保護(hù)用戶數(shù)據(jù)隱私安全。

從這個(gè)意義而言，實(shí)在RPA的IPA模式：

不僅是人人可用的沉浸式超自動(dòng)化流程配置模式，更是千人千面的個(gè)性化數(shù)字員工搭建工具。

通過(guò)技術(shù)的“儀式感”，讓每個(gè)人都擁有專(zhuān)屬的、尊重?cái)?shù)據(jù)隱私的超級(jí)自動(dòng)化產(chǎn)品。

“蝶變”意味著破繭而出，羽化成蝶。

本次發(fā)布會(huì)選此作為主題，寓意著快速大量的產(chǎn)品創(chuàng)新和功能迭代為實(shí)在RPA帶來(lái)的破繭成蝶，也標(biāo)志著實(shí)在智能超級(jí)自動(dòng)化平臺(tái)正式躍入“新、廣、信、強(qiáng)”的階段。

越過(guò)山丘，IPA模式引領(lǐng)超自動(dòng)化全新時(shí)代。

開(kāi)啟IPA模式的實(shí)在RPA產(chǎn)品，疊加實(shí)在智能全國(guó)產(chǎn)、全自研、全面支持信創(chuàng)的AI產(chǎn)品矩陣，可以通過(guò)靈活式組合，輕松搭建各種超級(jí)自動(dòng)化鏈路，助力千行百業(yè)用戶打造泛場(chǎng)景的數(shù)字員工。同時(shí)，安全、穩(wěn)定、持續(xù)創(chuàng)新的技術(shù)產(chǎn)品，也會(huì)為客戶帶來(lái)實(shí)實(shí)在在的服務(wù)和支持。

這是實(shí)在智能的一小步，卻是RPA行業(yè)發(fā)展的一大步！