ESP-RTC(Real-Time Communication) 音視頻通信方案，能夠?qū)崿F(xiàn)穩(wěn)定流暢、超低延時(shí)的語(yǔ)音和視頻實(shí)時(shí)通信。

ESP-RTC以ESP32-S3-Korvo-2多媒體開發(fā)板為核心。ESP32-S3-Korvo-2搭載 ESP32-S3 AI SoC，擁有雙麥克風(fēng)陣列，支持近/遠(yuǎn)場(chǎng)語(yǔ)音喚醒和語(yǔ)音識(shí)別。

它還集成了攝像頭、Micro SD 卡、LCD 等外設(shè)，支持基于 MJPEG 視頻流的處理，為用戶構(gòu)建低成本、低功耗、可聯(lián)網(wǎng)的音視頻產(chǎn)品提供了理想的開發(fā)原型。

ESP32-S3是一款低功耗的 MCU 系統(tǒng)級(jí)芯片 (SoC)，支持 2.4 GHz Wi-Fi 和低功耗藍(lán)牙 (Bluetooth? LE) 雙模無(wú)線通信。

芯片集成了 Xtensa? 32 位 LX7 雙核處理器、超低功耗協(xié)處理器、Wi-Fi 基帶、藍(lán)牙基帶、RF 模塊以及外設(shè)。

ESP32-S3 MCU增加了用于加速神經(jīng)網(wǎng)絡(luò)計(jì)算和信號(hào)處理等工作的向量指令，通過(guò)這些向量指令，可以實(shí)現(xiàn)高性能的圖像識(shí)別、語(yǔ)音喚醒和識(shí)別等應(yīng)用。

ESP-RTC方案能夠?qū)崿F(xiàn)穩(wěn)定流暢、超低延時(shí)的語(yǔ)音和視頻實(shí)時(shí)通信。ESP-RTC方案基于SIP（Session Initialization Protocol，會(huì)話初始協(xié)議）協(xié)議棧，實(shí)現(xiàn)了實(shí)時(shí)的音視頻通信。

協(xié)議棧包含傳輸層、事務(wù)層和會(huì)話層，其信令交互模塊支持 UDP、TCP 和 TLS 三種方式，媒體傳輸模塊支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透?jìng)鲄f(xié)議。

ESP-RTC 方案還在傳輸模塊中增加了弱網(wǎng)對(duì)抗算法，如 Jitter Buffer 和 PLC，有效解決了丟包、抖動(dòng)、擁塞、延時(shí)等問題，能夠充分保證音視頻通信的流暢性與實(shí)時(shí)性。

ESP-RTC 方案既可以作為 RTSP 服務(wù)器，支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器進(jìn)行點(diǎn)播；也可以作為 RTSP 客戶端，支持對(duì) EasyDarwin 等開源服務(wù)器進(jìn)行直播推流和拉流播放。

ESP-RTC 基于音頻 3A 算法 (AEC 聲學(xué)回聲消除、ANS 背景噪聲抑制、AGC 音頻自動(dòng)增益)，降低了通話中的噪音和回聲，使語(yǔ)音對(duì)講保持高質(zhì)量穩(wěn)定。

結(jié)合ESP32-S3，ESP-RTC可借助其出色的AI運(yùn)算能力，實(shí)現(xiàn)高性能語(yǔ)音喚醒與識(shí)別、圖像識(shí)別等應(yīng)用，廣泛適用于智能音箱、可視對(duì)講門鈴、智能家居控制面板、寵物監(jiān)控、車載行車記錄儀、兒童玩具等場(chǎng)景。