隨著智能硬件和移動計算的快速發(fā)展，物聯(lián)網(wǎng)在多個領(lǐng)域得到廣泛應(yīng)用，例如車載自組織網(wǎng)絡(luò)（VANET）、邊緣計算、智能家居或智能設(shè)備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設(shè)施和電器等，像智能空調(diào)、冰箱和電視機(jī)等。如何以自然的方式控制它們或與它們交互成為了一個懸而未決的問題，關(guān)乎用戶體驗。

目前智能家居場景中的人機(jī)交互主要有三種解決方案。第一種是結(jié)合手機(jī)觸發(fā)控制，例如在手機(jī)上安裝相關(guān)APP控制家電。這種交互方式只是將手機(jī)作為一個遙控器，延長控制距離。第二種是利用語音識別，將人類語言轉(zhuǎn)化為機(jī)器指令，提供人機(jī)交互體驗。但是在一些特殊安靜的場景語音識別并不適用，或者有語言障礙的人無法使用這項功能。最后一種方法是使用基于相機(jī)或非基于相機(jī)的動作識別。基于攝像頭的動作識別是一種相對成熟的方式，但是隱私泄露的風(fēng)險極大地限制了其應(yīng)用。非基于相機(jī)的動作識別利用從商用MEMS傳感器（例如加速度計、陀螺儀和磁感應(yīng)器）收集的多個傳感信號來幫助智能設(shè)備了解用戶的行為意圖。

近年來，隨著科技的發(fā)展，智能設(shè)備層出不窮。一系列智能設(shè)備開始進(jìn)入人們的生活，比如智能手機(jī)、智能腕帶、智能手表和智能眼鏡等。

本文提到的智能手表預(yù)先嵌入了MEMS以外的多種傳感器，并使用了RFID相關(guān)技術(shù)。手腕的姿勢通過手表內(nèi)置的傳感器進(jìn)行識別，手指的識別主要通過柔性機(jī)械傳感器來實現(xiàn)，這些傳感器可用于檢測肌腱的運動和手腕形狀的變化。

智能手表是一種常見的可穿戴設(shè)備，通常配備陀螺儀、加速度計和磁力計等MEMS傳感器。這些傳感器可以收集與手腕和手臂運動相關(guān)的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內(nèi)置MEMS傳感器的共同特點。這對動作識別的準(zhǔn)確性非常不利。其次，智能手表內(nèi)置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個用戶佩戴多個智能手表顯然是不現(xiàn)實的。最后，手表佩戴者的手臂動作復(fù)雜多樣，即使采用各種方法對傳感器進(jìn)行標(biāo)定，采用各種算法對數(shù)據(jù)進(jìn)行去噪，動作識別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內(nèi)置 MEMS 傳感器很難在相對較大的空間內(nèi)準(zhǔn)確識別結(jié)果。

本文解決方案的主要思想是通過智能手表記錄用戶與設(shè)備的最新交互，然后猜測目標(biāo)的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計和軌跡識別。

基于攝像頭的交互動作識別

比較常用的基于相機(jī)的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測器來避免光照變化或復(fù)雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動作和交互意圖，但它們面臨著光照變化、復(fù)雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會導(dǎo)致成本過高。

研究人員使用射頻信號和內(nèi)置 MEMS 傳感器來推斷用戶的動作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動的感應(yīng)來實現(xiàn)人機(jī)交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無法實現(xiàn)與多個智能家電的復(fù)雜交互。

隨著智能手表應(yīng)用的增加，我們通過內(nèi)置 MEMS 傳感器提出了一種基于可穿戴設(shè)備的智能家居人機(jī)交互解決方案。

使用智能手表進(jìn)行動作識別

通過對人體手臂骨骼進(jìn)行數(shù)學(xué)建模，將智能手表內(nèi)置MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運動密切相關(guān)的自由度（DOF）數(shù)據(jù)，向量機(jī)（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓(xùn)練，對特定人機(jī)交互場景中的動作進(jìn)行分類識別。然后將識別結(jié)果應(yīng)用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運行識別算法并發(fā)出交互控制指令的主體。

雖然智能家居的人機(jī)交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關(guān)閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調(diào)溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標(biāo)向右移動，控制智能空調(diào)向上吹等等。對于這三種人機(jī)交互，當(dāng)智能手表識別到相應(yīng)動作時，即可進(jìn)行智能家居的交互控制。

首先，通過數(shù)學(xué)建模構(gòu)建手腕姿勢與手臂自由度到手臂骨骼的映射關(guān)系。根據(jù)人類的生理結(jié)構(gòu)，手臂的運動是由肩、肘、腕關(guān)節(jié)、下臂和上臂的兩個連接器決定的。三個關(guān)節(jié)和兩個連接器有一定的運動范圍（旋轉(zhuǎn)或位移）。為了描述手臂的運動范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨立運動。

借助人體手臂姿態(tài)估計模型，可以將智能手表內(nèi)置的MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運動密切相關(guān)的自由度數(shù)據(jù)。

交互動作識別流程圖

一般情況下，只有當(dāng)用戶在家時，才需要與智能家居產(chǎn)品進(jìn)行交互。此時，智能手表和智能家居接入同一個Wi-Fi路由器。因此，當(dāng)智能手表檢測到家庭Wi-Fi路由器的SSID時，則認(rèn)為已經(jīng)進(jìn)入動作識別場景，反之則認(rèn)為已經(jīng)離開動作識別場景。

進(jìn)入動作識別場景后，智能手表開始采集內(nèi)置的MEMS傳感器數(shù)據(jù)。接下來，我們需要從自由度數(shù)據(jù)的動作段中提取特征。這種提取方法使得識別動作更加可行。

實例驗證

我們邀請五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測試。

LG G Watch（型號W100，代號Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內(nèi)存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計/羅盤）、氣壓計和 PPG 以感知位置、姿勢、高度和心率。

每個人獨立進(jìn)行70組實驗，每組實驗包括2個觸發(fā)動作、4個歷史交互動作和1個隨機(jī)動作。然后通過 Kinect 估計的性能來分析手臂姿勢估計模型的可靠性和準(zhǔn)確性。

選取幾個基本動作進(jìn)行驗證，取一組畫圓測試數(shù)據(jù)進(jìn)行展示，測試者用他的手表在空間中任意畫一個圓圈。下圖為肘部和腕部軌跡線對應(yīng)的圖。左邊是模型估計的結(jié)果，右邊是Kinect的結(jié)果?？梢园l(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個圖形的軌跡具有相同的趨勢。

繪制圓形軌跡線的模型估計結(jié)果和Kinect觀測結(jié)果（單位：米）

一些相關(guān)的歷史交互，例如加載頂部，加載底部，穿上東西和扔?xùn)|西，它們的識別準(zhǔn)確度如下圖所示。

通過歷史交互結(jié)果可以看出，智能手表識別動作的準(zhǔn)確度很高，小于0.3m。

結(jié)論

本文的智能家居人機(jī)交互解決方案，主要包括手臂姿態(tài)估計模型和軌跡估計模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實現(xiàn)了基于細(xì)粒度動作識別的智能家居與粗粒度 MEMS 傳感器的交互。

此外，引入更高效和有效的去噪濾波算法，以應(yīng)對低成本內(nèi)置傳感器的挑戰(zhàn)。此外，我們可以將輕量級深度學(xué)習(xí)網(wǎng)絡(luò)（例如 MobileNet）移植到可穿戴設(shè)備以推斷用戶的活動。

隨著智能手表和智能商品的普及，其計算能力和品類也將迅速增加。智能家電最終會走向智能家居，人機(jī)交互是未來既定趨勢。