Intel RealSense D435i(實感技術)概（gài）覽（lǎn），本（běn）文對Intel RealSense D435i 3D麵部和動作捕捉功能做簡要介紹

前段時間CES的報道滿天飛，網上逛了幾圈，感覺料猛的還數Intel：老（lǎo）樹開新花，推出14nm的第五代酷睿處理器；在（zài）智能可穿（chuān）戴設備及物聯網上雄起；RealSense實（shí）感技術開啟未來人機交互模式。之前總聽老哥（gē）講，鼠標鍵盤這些（xiē）傳統交（jiāo）互（hù）模式統治了二三十年，目前跟蹤（zōng）識別爆火且技術趨於成熟，新的交互（hù）革命快要打響了。看RealSense這陣勢，估計（jì）不出（chū）三五年新的交（jiāo）互便會普及開來。

英特爾早在2012年左右（yòu）就著重（chóng）研發實感技術，當時叫Perceptual Computing，即感知計算，並開放英（yīng）特爾® 感知計算軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因特爾感知計算挑戰（zhàn）賽，吸引眾多開發（fā）者參與。隨著技術完善與成熟，2014年初更名為RealSense，即實感技術，而後發（fā）布了新的（de）Intel® RealSense™ SDK 2014 ，同時舉行2014英特爾（ěr）®RealSense™應用挑戰賽。

基於此技術（shù）的應（yīng）用在（zài）IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個SDK堆棧的基礎。SDK core管理I/O module和Capability modules同時組織並管理管（guǎn）線（xiàn）的執行。I/O module捕獲（huò）設備的輸入數據而後發送數據到輸出設備或Capability modules。Capability modules也（yě）叫algorithm modules，主要包括各種模式（shì）檢測和識別算法（麵部跟蹤和檢測、手部跟蹤、手勢識別、語音識別及合成等）。

各功能（néng）：手部和手指跟蹤、麵（miàn）部分析、語（yǔ）音識別、背景移除、目（mù）標跟蹤、增強現實、3D掃描。

1. 手

SDK將手抽（chōu）象出骨（gǔ）架，並從背景中剝離出來。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個點的位置和方向，如圖（tú）。左右手是區分的，因而（ér）可以雙手進行（háng）交互。

手（shǒu）勢識別（bié）：包括靜態手勢識（shí）別和動態手（shǒu）勢識別。SDK中內嵌了（le）一（yī）係列手勢如下圖。你可以用內嵌的這些手（shǒu）勢組合出新（xīn）的手勢，也可以根據手骨架上那22個點位置創建出新的手勢。

動態手勢（shì）識別：靜態手勢可（kě）以（yǐ）單獨使用，當然也可以組合使用形成一（yī）定的動作。組合時要（yào）求開始的手勢和結束的手勢都已在（zài）手勢識別係統中注冊。

SDK給出了一係列動作如下：

2．臉

臉部檢測（cè）：SDK提供準確的3D臉部檢測（cè）和跟蹤，且可以同時跟蹤4張人臉。每張人臉用長方形（xíng）來標記，你可（kě）以獲得長方形（xíng）的XYZ坐（zuò）標。與2D跟蹤相比，3D頭部跟（gēn）蹤在（zài）頭部運動方麵更（gèng）給力。

臉部（bù）識別：SDK提供識別特定（dìng）人（rén）臉的能力。特定ID對應注冊的特定人臉，並（bìng）將此人臉的信息存儲到人臉（liǎn）庫的內存中。如果同張人臉被注冊多次，那這張人臉被正確識別的（de）機會將會增大（dà）。當沒被識別的人臉出現時，識別模塊將與數據庫中的可能數據進行比對，如果（guǒ）找到匹（pǐ）配則返回此人臉對應的ID。

用戶不用（yòng）擔心自己的頭像被存儲，因為（wéi）存儲的（de）隻是算法（fǎ）從圖像（xiàng）中提（tí）取的特征的集合。

頭的運動：SDK提（tí）供（gòng）頭部運動的3D方（fāng）向：俯仰、左右轉動、左右偏轉（zhuǎn），如圖。

所以可以輕（qīng）鬆獲得用戶頭（tóu）部指向哪裏。也可以以此做粗（cū）略的眼神（shén）跟蹤，下一版將會推出更精細的眼神跟（gēn）蹤。

標記（jì）點跟蹤：SDK提供臉部（bù）78個標記點的跟蹤以提高臉部識別（bié）和分析的準確度。在圖像和坐標係中給出這78個標記點的位置。臉部（bù）標記點跟蹤支持頭像創建、臉（liǎn）部（bù）動畫、擬態及簡單（dān）的（de）表情識別。可以直接用這些點或（huò）這些點的（de）相對位置（zhì）來作分析。不管你（nǐ）有沒（méi）有劉海、戴不（bú）戴眼鏡，這種標記點跟蹤都支持。但用戶（hù）頭部在屏幕30度內效果*好。

麵部表情識（shí）別：SDK也包（bāo）括更高級的麵部表情識別。這使得你創建卡通頭（tóu）像更簡單。每一種表情有1到100的強度等級使得你做的動畫更平滑（huá）自然。SDK中表情：

情（qíng）感識別：SDK中（zhōng）的情感識別算法用的是（shì）2D RGB數據。情感模塊是獨立的（de）模塊，並非臉部模塊的一部分。為保障（zhàng）情感識別正常（cháng）工作，圖像中的人臉至少要（yào）有48×48個像素。此算法並不（bú）局限於（yú）RGB數據，灰度數據同樣可行。利用SDK，你可以（yǐ）檢測（cè）並估計以下六種原始情感的（de）強度。

頭像控製：SDK通過結合麵部表情及78個標記點提（tí）供簡單的頭像（xiàng）控製功能。SDK提供動畫角色的示例代碼，使你的應用可以（yǐ）適應任（rèn）何臉型並把用戶頭像動畫化。

應（yīng）用場景：

3. 語音

主要包括語音命令和控製、聽寫、從文（wén）字轉譯成（chéng）語音（yīn）等（děng）功能。隻支持英語，語音（yīn）識別對成年人效（xiào）果*好（hǎo）。

語音識別：分為命（mìng）令模式和聽寫模式。命令模式需提（tí）前設（shè）定命令列表，特定命令綁定特定動作。聽寫模式內（nèi）置了一個通用（yòng）的詞典（diǎn），包括50k個（gè）常用單詞。如果你覺得不夠用，也可以自己添加詞典中沒有的單詞。聽寫模式限時（shí）30秒。命令（lìng）和聽寫模式不可（kě）同時開啟。

語音分析：SDK也可以根據文本動態的生成語音，由女聲讀（dú）出（chū）。

4. 背景移除

可以實時的（de）移除背景並替換成新的（de）背景。

應用場（chǎng）景：

5. 目標跟蹤

Metaio*3D目標跟蹤模塊提供（gòng）基於光學的跟蹤技術，可以跟蹤視頻序列（liè）或場景中的目標物。Metaio工具箱可以訓練、創建並編輯3D模型，這些模型可以傳給各種目標檢（jiǎn）測（cè）及（jí）跟蹤算法。

跟蹤技術支持平（píng）麵（miàn）的2D目標（biāo）跟（gēn）蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增強現實

用音頻、視頻、圖像（xiàng）或其他信息來（lái）添（tiān）加、增強或補（bǔ）充英特爾實感技術遊戲的內容（róng）。

7. 三維掃描和打印

可以掃描、編輯、打印和分享三維物體，並與 3D Systems展開合（hé）作。

目前因特爾已（yǐ）經與騰訊合作創立遊戲創新實驗（yàn）室，推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯合創新實驗室”，推出虛擬試衣、3D物品（pǐn）展示等，使實感技術（shù）落地（dì）電商平台。同時因特爾自己也在不斷推出自己的實感技術產品。這不前兩天在北京（jīng）推出其全新的第五代酷睿處理器家族，搭（dā）載此處理器的多（duō）款產品還配備了英特爾實感技術，看來這項技術很快就會遍地（dì）開花。

隻要你的處理器是第四代及四代以後英特爾® 酷睿（ruì）™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝像頭就可以下載SDK玩起來。估計不（bú）久聯想、戴爾、華碩、宏基、惠普等等搭（dā）載第五代酷睿處理器並內嵌因特爾3D攝像頭的超很本、二合一及一（yī）體機設備就會上市，那時玩起來會更爽。

資料來源（yuán）：RealSenseSDKdesignGuidelinesGold

補（bǔ）充一點自己的實際體會：

1.基於（yú）結構光方案的深度相機，受光線影響很大，下午太陽光照進來，深度數據殘缺嚴重，這個就是所謂的激光散斑受強光淹沒掉了。

2.手勢識別中，靜態手勢，手型識別（bié）效果不錯。同時，對著深度相機（jī）方向的手勢運動，識別（bié）效果也不錯。但左右方向的運動（dòng）手勢（shì），效果（guǒ）很（hěn）差。主要是視場角小，深度數據（jù）殘缺（quē）嚴（yán）重。

3.SDK可支持多個設備同時鏈接 。采（cǎi）用一台設備，一個線（xiàn）程來管理維護（hù）。線程內部，SDK所有功能都支持。也就（jiù）是多個設備互不影響。

4.手勢，采用22點骨架模型。大致的手型是可以捕捉（zhuō）的， 但（dàn）是容易受到（dào）環境光影響，在準確獲取手部動作時還是考慮使用專業的數據手套設備，比如WONGLOVE數據手套。

5.手勢識別（bié），在20~55cm範圍內可用。其實，整體來看，隻能是小範圍運動情（qíng）況了。