人們經(jīng)常求助于技術(shù)來管理他們的健康和福祉，無論是記錄他們的日常鍛煉、測量他們的心率，還是越來越多地了解他們的睡眠模式。睡眠是一個人日常健康的基礎(chǔ)，并且會受到（進(jìn)而影響）一個人生活其他方面的影響——情緒、精力、飲食、生產(chǎn)力等等。

作為我們?yōu)橹С秩藗兊慕】岛托腋Ｋ龅某掷m(xù)努力的一部分，今天我們在新的 Nest Hub 中宣布了睡眠感應(yīng)，它使用基于雷達(dá)的睡眠跟蹤以及咳嗽和打鼾檢測算法。雖然不用于醫(yī)療目的1，但睡眠感應(yīng)是一項(xiàng)可選功能，可以使用非接觸式床邊設(shè)置幫助用戶更好地了解他們的夜間健康狀況。在這里，我們描述了睡眠感知背后的技術(shù)，并討論了我們?nèi)绾卫迷O(shè)備上的信號處理以保護(hù)用戶隱私的方式啟用睡眠監(jiān)測（與其他臨床和消費(fèi)級設(shè)備相比）。

用于睡眠跟蹤的 Soli

Nest Hub 中的睡眠傳感展示了Soli的第一個健康應(yīng)用，Soli是一種微型雷達(dá)傳感器，可用于各種尺度的手勢感應(yīng)，從手指敲擊到人的身體運(yùn)動。在 Pixel 4 中，Soli 為Motion Sense 提供支持，實(shí)現(xiàn)與手機(jī)的非接觸式交互，以跳過歌曲、暫停鬧鐘和使電話靜音。我們擴(kuò)展了這項(xiàng)技術(shù)并開發(fā)了一種基于 Soli 的嵌入式算法，可以在 Nest Hub 中實(shí)施以進(jìn)行睡眠跟蹤。

Soli由毫米波調(diào)頻連續(xù)波(FMCW)雷達(dá)收發(fā)器組成，可發(fā)射超低功率無線電波并測量來自感興趣場景的反射信號。反射信號的頻譜包含場景內(nèi)物體的距離和速度的聚合表示。可以處理該信號以隔離指定的感興趣范圍，例如用戶的睡眠區(qū)域，并檢測和表征該區(qū)域內(nèi)的各種運(yùn)動，從大的身體運(yùn)動到亞厘米的呼吸。

為了利用這個信號進(jìn)行睡眠感知，有必要設(shè)計一種算法來確定一個人是否在指定的睡眠區(qū)域，如果是，那么這個人是睡著還是醒著。我們設(shè)計了一個定制的機(jī)器學(xué)習(xí) (ML) 模型來有效地處理連續(xù)的 3D 雷達(dá)張量流（總結(jié)一系列距離、頻率和時間的活動）并自動將每個特征分類為三種可能的狀態(tài)之一：不存在、清醒，然后睡著了。

為了訓(xùn)練和評估模型，我們記錄了來自數(shù)千人的超過一百萬小時的雷達(dá)數(shù)據(jù)，以及數(shù)以千計的睡眠日記、參考傳感器記錄和外部注釋。然后，我們利用TensorFlow Extended框架構(gòu)建訓(xùn)練管道來處理這些數(shù)據(jù)并生成高效的TensorFlow Lite嵌入式模型。此外，我們創(chuàng)建了一個自動校準(zhǔn)算法，該算法在設(shè)置期間運(yùn)行以配置分類器將關(guān)注的場景部分。這確保算法忽略床另一側(cè)的人或房間其他區(qū)域（例如吊扇和搖擺的窗簾）的運(yùn)動。

為了驗(yàn)證算法的準(zhǔn)確性，我們將其與33 名“健康睡眠者”（沒有嚴(yán)重睡眠問題，如睡眠呼吸暫?；蚴甙Y）的隊(duì)列中的睡眠-覺醒確定的黃金標(biāo)準(zhǔn)，即多導(dǎo)睡眠圖睡眠研究進(jìn)行了比較。廣泛的年齡范圍（19-78 歲）。睡眠研究通常在臨床和研究實(shí)驗(yàn)室進(jìn)行，以收集各種身體信號（腦電波、肌肉活動、呼吸和心率測量、身體運(yùn)動和位置以及打鼾），然后可以由訓(xùn)練有素的睡眠專家進(jìn)行解釋以確定睡眠階段并確定相關(guān)事件。為了說明不同評分者如何應(yīng)用美國睡眠醫(yī)學(xué)會的根據(jù)分期和評分規(guī)則，我們的研究使用了兩名經(jīng)過董事會認(rèn)證的睡眠技術(shù)專家，獨(dú)立注釋每晚的睡眠并建立明確的基本事實(shí)。

我們將我們的睡眠感知算法的輸出與每 30 秒時間周期的相應(yīng)groundtruth 睡眠和喚醒標(biāo)簽進(jìn)行比較，以計算標(biāo)準(zhǔn)性能指標(biāo)（例如，靈敏度和特異性）。雖然不是真正的面對面比較，但這項(xiàng)研究的結(jié)果可以與之前發(fā)表的類似隊(duì)列中使用可比方法的研究進(jìn)行比較，以便粗略估計性能。在“使用非接觸式床邊雷達(dá)睡眠傳感系統(tǒng)進(jìn)行睡眠-覺醒檢測”中，我們分享了這些驗(yàn)證結(jié)果的全部細(xì)節(jié)，證明睡眠-覺醒估計相當(dāng)于或在某些情況下優(yōu)于當(dāng)前的臨床和消費(fèi)者睡眠跟蹤設(shè)備。

了解睡眠質(zhì)量與音頻傳感

基于索利-睡眠跟蹤算法上面的描述給用戶帶來了方便，可靠的方式，看看他們有多少睡眠獲取和當(dāng)睡眠中斷發(fā)生。然而，要了解和改善他們的睡眠，用戶還需要了解他們的睡眠為什么會被打亂。為了幫助實(shí)現(xiàn)這一點(diǎn)，Nest Hub 使用其傳感器陣列來跟蹤常見的睡眠障礙，例如光線水平變化或不舒服的室溫。除此之外，咳嗽和打鼾等呼吸系統(tǒng)事件也是常見的干擾源，但人們往往不知道這些事件。

與語音或音樂識別等其他音頻處理應(yīng)用程序一樣，咳嗽和打鼾在音頻頻譜中表現(xiàn)出獨(dú)特的時間模式，如果有足夠的數(shù)據(jù)，可以訓(xùn)練 ML 模型以可靠地識別這些模式，同時忽略各種背景噪音，從嗡嗡的風(fēng)扇到過往的汽車。該模型完全使用設(shè)備上的音頻處理和隱私保護(hù)分析，沒有將原始音頻數(shù)據(jù)發(fā)送到谷歌的服務(wù)器。然后，用戶可以選擇在 Google Fit 中保存處理的輸出（聲音發(fā)生次數(shù)，例如咳嗽和打鼾的分鐘數(shù)），以便隨著時間的推移查看個人見解和他們夜間健康的摘要。

為了訓(xùn)練模型，我們組裝了一個大型手工標(biāo)記數(shù)據(jù)集，從公開可用的AudioSet研究數(shù)據(jù)集以及由數(shù)千人貢獻(xiàn)的數(shù)十萬個額外的真實(shí)世界音頻剪輯中提取示例。

當(dāng)用戶選擇在床邊 Nest Hub 上跟蹤咳嗽和打鼾時，該設(shè)備首先使用其基于 Soli 的睡眠算法來檢測用戶何時上床睡覺。一旦檢測到用戶睡著了，它就會激活其設(shè)備上的聲音感應(yīng)模型并開始處理音頻。該模型的工作原理是從音頻輸入中連續(xù)提取類似頻譜圖的特征，并通過卷積神經(jīng)網(wǎng)絡(luò)分類器提供它們，以估計在給定時刻發(fā)生咳嗽或打鼾的概率。在整個晚上對這些估計值進(jìn)行分析，以生成總體咳嗽計數(shù)和打鼾持續(xù)時間的報告，并準(zhǔn)確突出顯示這些事件發(fā)生的時間。

結(jié)論

新的 Nest Hub 具有潛在的睡眠感應(yīng)功能，是使用戶能夠使用隱私保護(hù)雷達(dá)和音頻信號了解他們夜間健康狀況的第一步。我們繼續(xù)研究環(huán)境感應(yīng)和消費(fèi)設(shè)備的預(yù)測能力可以幫助人們以保護(hù)隱私的方式更好地了解他們的日常健康狀況的其他方式。