手勢識別裝置實驗總結

Ⅰ 手勢輸入方式的手勢識別的原理

手勢是指在人的意識支配下,人手作出的各類動作,如手指彎曲、伸展和手在空間的運動等,可以是
收稿日期: 2000 - 05 - 15
基金項目: 行業基金項目(院編96311)
作者簡介: 曾芬芳(1940 - ) ,女,湖南益陽人,華東船舶工業學院教授。
執行某項任務,也可以是與人的交流,以表達某種含義或意圖。基於手勢識別的三維交互輸入技術,常
用的有基於數據手套的和基於視覺(如攝象機) 的手勢識別。
人手有20 多個關節,其手勢十分復雜,在VR(Virtual Reality) 中的交互過程,需分析手勢的形成並
識別其含義。如用戶以自然方式抓取環境中的物體,同時還可以對用戶產生相關的感知反饋,如對具有
力反饋的手套,就能使人感知到抓取的物體的重量,對有觸覺反饋的手套,能感知到用戶所碰到的物體
的質感,如毛毯有多粗糙等。所以計算機要能對人手運動的靈活、復雜的手勢進行識別是一項艱難而又
十分有意義的任務。
手勢的分類早在40 年代,心理學家Quek[7 ] . ,Pavlovic[8 ]等人從人機介面的角度對手勢進行研究,
按其功能分為:
手的運動
無意識的手運動
有意識的手運動(手勢
交流手勢
表動作
表符號(手語)
引用手語(如表示數字)
情態手勢
執行任務(如抓握錘) 手勢不但由骨胳肌肉驅動,而且還受人的信念、意識的驅使,它涉及到人的思維活動的高級行為。
人機交互的研究目的之一是使機器對人類用戶更方便,從用戶產生手勢到系統「感知」手勢的過程[9 ]如
圖1 所示。
圖1 系統「感知」手勢的過程
Fig. 1 Process of sensing gesture by the system
手的運動,是手勢的表現形式。用戶的操作
意圖是用戶要完成任務的內容, 即用戶心理活
動(概念手勢) G ,經過運動控制(變換) ,用手勢
運動H 表達。由經感受設備(變換Thi) 將手的
運動H 變換為系統的輸入信息I ,所以從G到I
的映射過程為:
Tgh : G → H , 即H > Tgh ( G)
Thi : H → I , 即I > Thi ( H)
Tgi : G → I , 即I > Thi ( Tgh ( G) ) > Tgi ( G)
其中, Tgh 為人體運動控制傳送函數; Thi為輸入設備傳送函數。
手勢識別的任務就是從系統輸入I 推斷、確定用戶意圖G ,顯然是以上映射的逆過程。即
G = T- 1
gi ( I) ( 1 )
H = T- 1
hi ( I) ( 2 )
G = T- 1
gh ( H) ( 3 )
其中, T- 1
gi , T- 1
hi , T- 1
gh 是Tgi , Thi , Tgh 的逆變換。
所以手勢識別可以採用H = T- 1
hi ( I) 時輸入信息I ,得到手的運動H ,再由G = T- 1
gh ( H) 手勢的表
示推斷用戶手勢的概念意圖,也可直接從G = T- 1
gi ( I) 求得概念手勢G。
手勢識別分為靜態手勢和動態手勢的識別,目前的研究大都是在線靜態手勢識別,如Lee 研究的就
是靜態孤立手勢[10 ] 。動態手勢識別難度大,一般採用關鍵幀方法,記錄每個手勢的始和終狀態及手勢的
運動軌跡,然後用內插演算法重建幀,但仍需給予限制,如Davis研究的動態手勢識別就規定開始時手必須
朝上等。 手勢的語法信息是通過手的構形、手的運動變化來傳遞。為了
給用戶提供必要的視覺反饋信息, 使其在交互過程中看到自己的手
(圖2 是用3DSMAX 繪制) ,同時也為了分析交互過程中手和虛擬對
象之間的相互作用關系,必須建立手幾何模型和運動學模型。 人手是一個多肢節系統, 由27 塊骨骼組成, 可看成由4 個相鄰
手指、一個大拇指和手掌組成, 每個手指由指段和關節組成。因此手
是一種由關節相連的結構, 隨著關節運動, 手的形狀在不斷變化。這
種變化可以通過指段和關節的狀態空間位置的變化來描述[11 ] 。
每一個手指( Ⅱ - Ⅴ) 具有四個自由度,其中手指的
基部(MP) 有兩個自由度,彎曲和旋轉,手指的中間關節處(PIP)
和末端關節處(DIP) 分別各有一個自由度,主要是彎曲運動。大拇
指除了與其他四個手指一樣具有四個自由度外, 還有一個外展運
動,所以大拇指具有五個自由度(拇指和手掌之間的一節也可不考
慮) 。外加手掌的前後左右運動二個自由度。所以手運動總共具有
23 個自由度,即狀態空間為23 維。
從上述的分析可知,除大拇指外每個手指都具有四個自由度,
從而可以建立一條鏈,以協調手指的機構及運動。整個手可以以手掌為基礎鏈接五個手指( Ⅰ - Ⅴ) ,在
指段MP 上鏈接指段PIP ,再鏈接指段DIP ,每條鏈可以獲取四個參數。從而五個手指以手掌為根節點構
成一個樹型結構,樹中的每一個節點代表一個關節,關節通過指段具有相互關聯的運動特性。
212 手勢的輸入
手勢的輸入是實現手勢交互的前提。它要求能夠有效地跟蹤手的運動, 又要方便用戶手的運動, 既
要求准確確定手的位置、方位、手指彎曲角度,又要求對手的運動限制很少。就目前而言, 手勢的輸入有
基於數據手套的和基於視覺(攝象機) 等兩種方式。
21211 基於數據手套的手勢輸入
基於數據手套的手勢輸入[12 ] ,是根據戴在手上的具有位置跟蹤器的數據手套利用光纖直接測量手
指彎曲和手的位置來實現手勢輸入的。本文使用5DT 公司生產的不帶位置跟蹤器的5th Glove 右手數據
手套,每個手指中間關節有一個感測器用於測量手指的平均屈伸度,在手腕部位還有一個2 軸傾斜感測
器測量手的轉動(繞Z 軸旋轉) 和傾斜(繞X 軸旋轉) 兩個角度,以探測手的上下擺動和旋轉。該手套共
帶有七個感測器,因此同一時刻只能讀出七個角度值。5th Glove 還提供命令、報告數據、連續數據、模擬
滑鼠等工作方式,可定義一指、二指和三指( Z 軸) 等手勢來控制虛擬手的飛行、視點、運動速度等。
5th Glove 數據手套通過串列介面與微機連接在一起,以傳送手運動信號,從而控制手動作。它能將
用戶手的姿勢(手勢) 轉化為計算機可讀的數據, 因而使手去抓取或推動虛擬物體。人手在運動過程中
會碰撞物體,所以在系統中,虛擬手的交互操作除了實現抓取和釋放物體等功能外, 還需實現了碰撞的
檢測。
21212 基於視覺的手勢輸入
基於視覺的手勢輸入是採用攝象機捕獲手勢圖象,再利用計算機視覺技術對捕獲的圖象進行分析,
提取手勢圖象特徵,從而實現手勢的輸入。這種方法使用戶手的運動受限制較少,同時用戶還可以直接
看到手的圖象。基於視覺的輸入所輸入的原始數據是手的圖象,採用重建三維模型來構建手勢圖象,調
節模型參數如手指彎曲角度的夾角等,以合成手的三維圖形。根據手生成的圖形和已獲得的手圖象匹
配,所得到的模型參數就構成了手勢。1995 年,Lee J intae 和Kunii Tosiyasv l. 研究用立體圖像數據自動
分析三維手勢[4 ] 。它用攝像機拍攝手的運動圖像,使用輪廓提取邊界特徵進行識別的方法,成功地提
取27 個交互作用手參數,實現了三維手勢的重構。其實早在1981 年, Kroeger 採用兩個攝象機實現了
一個獲取手勢的系統,它通過用戶的手在與滑鼠墊一般大小的「鏡象盒」的3D 空間中來完成交互。兩
個鏡子被放在大約與前平面成45 度角的位置上,兩個鏡子代替單個鏡子產生了一個虛擬視點,加上兩
垂直平面上的兩個攝象機共三個視點相交成直角,以提供給用戶一個確定的工作空間,在這個空間內允
許用戶與計算機交互。

Ⅱ 【手勢識別】特徵或者樣本的多次訓練是什麼意思

根據不同的場景可以按照設定特定的時間間隔取得多張圖片，分別對每張圖像進行分析。
設計圖片處理可能會將圖片二值化（按照一個顏色的閥值將像素點轉化為0和1）
而對於不同的手勢，就會有不同的0和1組成的序列，這就是特徵值。
不管是因為光線、拍照等各種環境因素，每次相同手勢得到的特徵值總有差別，所以需要一個置信度（特徵值的相似度），相似度多少就認為可信由你自己的演算法決定。
為了提高識別度，就需要提高訓練次數（就是不停的提取相同手勢的特徵值），理論上說，訓練次數越多，識別准確率就會越高。
至於訓練多少次，也要有你實際演算法決定（訓練到你覺得識別成功率足夠實用就可）。
這里涉及圖像識別，具體資料請自行谷歌網路。

Ⅲ 為什麼手勢識別技術在虛擬現實中如此重要

什麼是手勢識別
手勢能夠將物理動作描述成無聲的語言交流，它能傳遞人的想法、情緒及某些指令信息。手勢識別可以來自人的身體各部位的運動，但一般是指臉部和手的運動。在交互設計領域，人們可以使用一隻手或兩只手對相關設備進行操作，根據不同的應用目的,手勢可以分為控制手勢、對話手勢、通信手勢和操作手勢。它被認為是計算機對運動所進行的解釋，一種新的感知計算方式，通過運動感測器和加速儀運用各種編程演算法，允許人們通過手勢識別對控制設備執行命令。
手勢識別在VR中的重要性及其原因
虛擬現實是由計算機根據現實與想像空間生成的一種模擬環境，讓用戶具有身臨其境的沉浸感，通過各種交互行為刺激用戶的視覺、觸覺、聽覺等感知系統，從而建立全方位的感官體驗。
目前，人們的體驗常常受制於VR頭顯和不夠自然的交互方式。相比之下，手勢識別能夠在虛擬環境中，賦予人們貼近現實生活的手勢導航和控制能力，建立最直接的人機交互方式。
將手勢識別技術應用於虛擬現實
虛擬現實環境想要具備完全的沉浸感，就這意味著需要在計算機創造的空間內精確的模擬現實世界中最細微的動作、振動及變化。這其中發揮首要作用的就是感測器技術。

Ⅳ 什麼是手勢識別

在計算機科學中，手勢識別 是通過數學演算法來識別人類手勢的一個議題。手勢識別可以來自人的身體各部位的運動，但一般是指臉部和手的運動。

Ⅳ 手勢識別技術是什麼都可以應用到什麼產品中

打個比方
，電視如果有
手勢識別技術
，你的手就可以當遙控器了。YS4004是匯春自主研發的第一款低功耗、高性能
隔空
手勢控制
晶元，可實現3D手勢檢測感應及方案控制應用。

Ⅵ 手勢識別到底有哪些用處

手勢識別一般用在智能設備控制 可以想像下用手來控制設備進行操作 比如說智能家居 智能汽車駕駛手勢調控

Ⅶ 手勢識別的真正意義是什麼什麼公司做的不錯

就是在不碰到設備的情況下，通過簡單的手勢來控制設備。目前內匯春科技的YSPRING手勢識別技術容能完成對手部的成像，並對手勢進行識別和跟蹤，應用於電視等職能家庭設備的控制還有就是VR、AR設備的自然交互。

Ⅷ 手勢識別技術是什麼

手勢識別技術是利用攝像頭等感應元件，捕捉不同的手勢，根據手勢的形狀等，用晶元運算識別，能智能識別出相應的指令，我們能用一個手勢或多個手勢，進行發出指令，替代了很多傳統的按鍵，是未來的發展趨勢，例如市面上有一款匯春科技的抽油煙機，我們可以通過向左撥動手勢，發出開機指令，手部不再接觸油膩的機身。

Ⅸ 三軸加速度感測器 怎麼手勢識別

針對手勢交抄互中手勢信號的相似性襲和不穩定性，設計實現一種基於三軸加速度感測器的手勢識別方案。採用MMA7260加速度感測器採集主手腕的手勢動作信號，根據手勢加速度信號的特點，進行手勢動作數據窗口的自動檢測、信號去噪和重采樣等預處理，通過提取手勢動作的關鍵特徵，構造離散隱馬爾可夫模型，實現手勢動作識別。實驗結果證明該方案的識別精度較高。