基于云服務(wù)器對多App應用頁面信息同步實時獲取智能分析，并與App頁面進行交互操作技術(shù)及系統(tǒng)

?

1.一種設(shè)計系統(tǒng)，其特征在于，包括：可以運行App的云系統(tǒng)和客戶端，其中云系統(tǒng)設(shè)置于網(wǎng)絡(luò)側(cè)，運行App的頁面信息實時分析、整理傳送至客戶端，用戶利用客戶端與運行在云系統(tǒng)的App進行交互。

所述App包括但不限于安卓應用、IOS應用、Windows應用、Mac應用。云系統(tǒng)部署于云服務(wù)器上，系統(tǒng)包括但不限于安卓系統(tǒng)、IOS系統(tǒng)、Windows系統(tǒng)、Mac系統(tǒng)、Linux等可以運行App的系統(tǒng)，客戶端包括但不限于手機、電腦等可顯示設(shè)備，用于接收云系統(tǒng)運行的App頁面信息及基于頁面信息處理后的信息。

2、運行App的云系統(tǒng)的設(shè)計方法，其特征在于置于服務(wù)器端的云系統(tǒng)可以同時運行多個App，并保證用戶在App應用中一直是登陸在線狀態(tài)，可以定時刷新并監(jiān)控各App頁面信息，客戶端用戶發(fā)送點擊、移動、輸入等操作命令，多個同時運行的App可以同時響應，并對命令進行執(zhí)行反饋。

3、獲取App的頁面信息的設(shè)計方法，其特征在于對正在運行的App頁面進行截圖、錄制等操作，也可對頁面進行直接讀取。

4、分析整理App的頁面信息的設(shè)計方法，其特征在于利用基于語言模型的大數(shù)據(jù)人工智能對其進行分析整理，所謂基于語言模型的大數(shù)據(jù)人工智能主要有ChatGPT、文心一言等，本文檔都簡稱為智能AI。

5、用戶對各App進行操作交互的設(shè)計方法，其特征在于當運行的App的頁面信息經(jīng)過整理后發(fā)給用戶，用戶點擊顯示界面，大數(shù)據(jù)智能AI程序根據(jù)用戶點擊的信息，根據(jù)信息的內(nèi)容和位置迅速定位到該信息來源于哪個App的哪個位置，并根據(jù)用戶的操作實時對該信息所屬App內(nèi)該處信息進行操作。

?

背景技術(shù)

目前用戶想要獲取互聯(lián)網(wǎng)信息，可以通過百度、谷歌等搜索引擎，但由于國內(nèi)各個互聯(lián)網(wǎng)公司都有自己的App，百度、谷歌等搜索引擎無法獲取App內(nèi)的信息。用戶需要下載各種App，從而獲得該App內(nèi)的信息。用戶需要大量的操作與時間與這些App進行交互，同時每個App都需要用戶管理自己的賬號密碼，這無疑耗費了用戶額外的精力，同時大量的App占用了手機大部分內(nèi)存，導致手機垃圾數(shù)據(jù)變多、運行緩慢。隨著云技術(shù)和5G的發(fā)展，在云服務(wù)器運行App，實時監(jiān)控所有正在運行的App的頁面。而智能AI的快速發(fā)展，可以利用大數(shù)據(jù)AI模型對所有頁面數(shù)據(jù)實時解析，并依靠5G的網(wǎng)速，可以快速將解析后的頁面信息呈現(xiàn)給客戶端的用戶。5G的網(wǎng)速可以大幅減少信息延遲，盡管App是在云服務(wù)器上，但仍能讓用戶有在客戶端運行App的感覺。解析后的頁面信息會更集中，更有效，更易于用戶理解。用戶在客戶端的操作，傳輸至云服務(wù)器端中的智能AI，智能AI再依據(jù)傳過來的操作指令，對正在云服務(wù)器運行的App進行操作。依靠該系統(tǒng)，未來的手機只需要一個與云服務(wù)器交互的智能AI程序，不再需要安裝其余繁多的App應用，用戶也不需要花費時間在各種App的繁雜的操作上。試想以下場景，當你對手機內(nèi)的智能AI說“今天微博有哪些新鮮事”， 智能AI立即對這句話進行解析，隨后操控云服務(wù)器內(nèi)的監(jiān)控程序，監(jiān)控程序立馬鎖定微博頁面，將微博頁面數(shù)據(jù)傳給智能AI，智能AI立即解析頁面數(shù)據(jù)，將熱點內(nèi)容篩選出來，隨后就對用戶說“今天微博上有不少趣事……”。手機廠商的精力將會放在手機的硬件上，例如更好的照相機、更清晰的顯示器。

本發(fā)明基于云服務(wù)器，所以需要一個云服務(wù)器，該云服務(wù)器支持通信連接，基本配置要滿足流暢運行操作系統(tǒng)。在該服務(wù)器中部署操作系統(tǒng)，操作系統(tǒng)包括但不限于安卓系統(tǒng)、IOS系統(tǒng)、Windows系統(tǒng)、Mac系統(tǒng)、Linux等。以安卓系統(tǒng)為例，在該系統(tǒng)上安裝所需要的App應用，運行各個App，每個App都有各自的頁面，保持所有App運行并停留在登陸界面。若一個服務(wù)器無法滿足多個App同時運行，可提升服務(wù)器的硬件性能，也可配置多臺服務(wù)器，確保所有App都能同時運行并有獨自的頁面。

再部署監(jiān)控程序，監(jiān)控程序用于監(jiān)控各個運行App的頁面，該監(jiān)控程序可以對App實現(xiàn)簡單的操作例如點擊App頁面、滑動App頁面、對App頁面進行截圖保存為圖片格式、對App頁面進行錄制保存為視頻格式。監(jiān)控程序同時可以將圖片，視頻等文件傳給服務(wù)器中的智能AI。

部署智能AI，獲取智能AI的api接口，可將用戶語音、監(jiān)控程序獲取的頁面信息通過api接口傳遞給AI，AI將會立即解析并返回相應信息。

?

1、系統(tǒng)功能實現(xiàn)

1.1、云服務(wù)器安裝云操作系統(tǒng)的技術(shù)實現(xiàn)，云服務(wù)器可由云服務(wù)商提供，也可自行搭建。云服務(wù)器可以進行網(wǎng)絡(luò)連接，其配置也可滿足操作系統(tǒng)的運行。云服務(wù)器準備妥當后即可安裝操作系統(tǒng)，操作系統(tǒng)需能安裝App應用，并流暢運行。可以一個云服務(wù)器部署一個或多個操作系統(tǒng)，具體取決于云服務(wù)器的硬件配置。

1.2、云操作系統(tǒng)顯示所有App頁面的技術(shù)實現(xiàn)，將App應用安裝至操作系統(tǒng)中，運行App應用，進入App頁面，保持App運行狀態(tài)，一直顯示App頁面。將所有需要的APP都運行顯示頁面。為了能保證每個App都能正常運行顯示，可安排一個或多個服務(wù)器部署一個或多個操作系統(tǒng)，每個操作系統(tǒng)負責運行一個或多個App，多個App頁面可進行排列，形成矩陣，如附圖圖一。

1.3、智能AI解析用戶語音的技術(shù)實現(xiàn)，用戶允許ai獲取客戶端音頻輸入輸出設(shè)備權(quán)限，用戶語音通過設(shè)備音頻輸入傳遞給智能AI的API接口，智能AI通過API接口獲取語音信息并進行解析，提取語音內(nèi)容中的關(guān)鍵詞，根據(jù)關(guān)鍵詞生成響應的操作指令，并將操作指令傳遞給監(jiān)控程序。

1.4、監(jiān)控程序監(jiān)控所有運行App頁面的技術(shù)實現(xiàn)，所有的App都運行在云操作系統(tǒng)上面。監(jiān)控程序也可以部署在云操作系統(tǒng)中，也可直接部署在云服務(wù)器上。目前主流的App頁面刷新都是通過用戶在該手機App頁面進行下滑操作實現(xiàn)。監(jiān)控程序可以對運行在云系統(tǒng)的App頁面進行下滑操作，定時下滑實現(xiàn)刷新，例如可以設(shè)定0.001秒刷新一次，也可以3秒刷新一次，每刷新一次對App進行截屏操作，通過比較兩次截屏內(nèi)容判斷App頁面是否產(chǎn)生新內(nèi)容。對某些不需要刷新操作的App頁面，監(jiān)控程序只需要定時截圖，截屏操作的頻率可自行設(shè)定，例如可以0.001秒截取一次，也可以3秒截取一次。通過這種操作可以實現(xiàn)對各個運行App頁面進行實時監(jiān)控。

1.5、監(jiān)控程序?qū)pp頁面元素進行定位技術(shù)實現(xiàn)，當監(jiān)控程序?qū)⒃葡到y(tǒng)運行的App頁面截取并傳至用戶客戶端時，用戶會對呈現(xiàn)的頁面進行點擊交互操作，記錄用戶點擊頁面位置，例如用戶用手機接收頁面，用戶對手機屏幕進行觸摸，可以建立坐標系，記錄用戶點擊頁面時的橫縱坐標，考慮到用戶顯示設(shè)備大小不一與云系統(tǒng)中App頁面大小不一致，所以將用戶點擊頁面的位置的相對橫縱坐標傳給監(jiān)控程序，監(jiān)控程序獲取坐標，對云系統(tǒng)中App頁面該處進行與用戶相同的操作。

1.6、智能AI對App頁面進行解析的技術(shù)實現(xiàn)，監(jiān)控程序?qū)⒔貓D通過API接口傳給智能AI，智能AI對傳入的圖片進行解析，獲取頁面關(guān)鍵信息。

?

2、系統(tǒng)功能實現(xiàn)

2.1、搜索功能實現(xiàn)，用戶通過輸入設(shè)備輸入需要搜索的信息，監(jiān)控程序獲取到搜索信息與搜索指令，搜索指令會定位到各App頁面上的搜索框，填入搜索信息，點擊各App頁面上搜索按鍵，當各App搜索結(jié)束后，截取App頁面，對各個App頁面進行編號，再對App頁面內(nèi)每一行進行編號，將各個App頁面信息進行去重整合處理后合成一個頁面，再將頁面發(fā)送至客戶端呈現(xiàn)給用戶，用戶瀏覽返回的頁面，點擊感興趣的內(nèi)容，頁面上每條數(shù)據(jù)都有頁面編號和行編號，根據(jù)頁面編號和行編號可以快速確定用戶點擊的內(nèi)容來源于哪個App頁面的哪一行，監(jiān)控程序迅速定位到該行，并復刻用戶點擊操作，App跳轉(zhuǎn)到另一個頁面，監(jiān)控程序再將該頁面返回至客服端呈現(xiàn)給用戶，后續(xù)可不斷重復該過程。引入智能AI可有效解析用戶的輸入信息，例如用戶對某個信息進行描述，智能AI可有效分析出關(guān)鍵點，增加搜索的準確性。智能AI也可分析監(jiān)控程序整理后的頁面，提取頁面有效關(guān)鍵信息，剔除無用信息例如廣告、虛假信息、重復信息等，極大得提升了用戶體驗。

2.2、評論功能的實現(xiàn)，用戶瀏覽社交類軟件，會發(fā)表某些言論，一般涉及日常生活、對某事某人的看法、自身的心得。當用戶通過客戶端輸入設(shè)備輸入該類信息時，智能AI會對這些言論進行潤色，使用戶的表達更加準確。針對用戶的某些具有攻擊性的言論，例如指責、謾罵，容易催生網(wǎng)絡(luò)暴力，智能AI對這類言論進行優(yōu)化讓其既能表達用戶的意思，又降低攻擊性。

2.3、賬號信息管理功能的實現(xiàn)，用戶每個下載使用的App都需要進行注冊，這導致用戶有大量的賬號密碼，當用戶在云系統(tǒng)運行的App第一次進行賬號注冊時，監(jiān)控程序會記住用戶輸入的賬號、密碼，并加密保存至服務(wù)器或用戶客戶端。智能AI會協(xié)助用戶設(shè)定更加復雜難以破解的密碼，提升用戶賬號安全性。

2.4、通過驗證碼驗證功能的實現(xiàn)，用戶登錄App時會遇到各種各樣的驗證碼，一類是短信驗證碼，一類是圖片驗證碼、滑動驗證碼。針對短信驗證碼，若云系統(tǒng)可以接收到運營商的短信，那監(jiān)控程序就會自動解析收到的短息，并將驗證碼填入驗證輸入框中完成驗證。針對非短信驗證碼，監(jiān)控程序就會將需要驗證的App頁面返回給客戶端，客戶端用戶會點擊、滑動，將用戶點擊、滑動等坐標傳給監(jiān)控程序，監(jiān)控程序根據(jù)相對坐標在需要驗證的App頁面進行與用戶相同的操作，從而完成驗證。引入智能AI，對某些非短信驗證碼，例如圖形、滑動驗證，智能AI會對該驗證圖片進行分析，生成操作指令，控制監(jiān)控程序自動完成點擊、滑動操作。

2.5、垃圾信息和騷擾電話攔截功能的實現(xiàn)，當云系統(tǒng)接入運行商，可以接收短信和接聽電話。用戶可以設(shè)定垃圾短息和騷擾電話的種類，例如將各App的推銷短信設(shè)為垃圾短信，將推銷電話設(shè)為騷擾電話，智能AI會對接收到的短息內(nèi)容進行解析，若內(nèi)容符合用戶對垃圾短信的設(shè)定，則不會通知監(jiān)控程序，將該信息推送至客戶端用戶。同樣若來電顯示號碼，智能AI將會號碼進行解析，若符合騷擾電話設(shè)定，則控制監(jiān)控程序，自動掛斷電話。同時智能AI接入公安反詐系統(tǒng)，將陌生來電號碼傳入公安反詐系統(tǒng)，若公安反詐系統(tǒng)識別為詐騙號碼，則自行掛斷電話。

?