機械手臂自動抓取定位裝置

1. 自動抓取機械手

你看看搬磚工人用的手動抓取磚頭的工具，或許會有啟發

2. 哪一種動作捕捉設備可以完美實現機械臂自主抓取的需求

推薦Nokov的產品，我企實驗室就在應用中，此產品性價比很高，精度准，跟國際水專平有得一比，值得一試。屬這個動捕設備採用被動式光學動作捕捉技術，這種技術原理在所有動捕技術中是精度最高的，對機械臂自主抓取的定位準確度高，採集頻率好，技術很成熟。此廠家售後服務到位，是我企業的合格供方。

3. 怎麼讓我的一隻機器人手臂,能夠和視覺系統(ccd攝像頭)配合,抓取物...

機器視覺與運動控制結合，所謂的視覺引導。利用視覺系統獲取分析圖像，定位所要抓內取物體在圖像中的位置。容通過標定將圖像中的位置數據轉換為運動控制系統的坐標中，機械手定位抓取。大概是以上步驟，實際應用可能要復雜的多，包括要考慮CCD的安裝，固定式或裝在機械手上，鏡頭畸變所引入的誤差等等。

4. 單片機編程能否控制一個機械手臂自動抓取物品

當然可以！還得加上各種感測器、電機等硬體設備來實現

5. 有沒有可以控制機械手自動跟隨流水線上產品的視覺定位跟隨系統謝謝！

瑞達機械手能模仿人手和臂的某些動作功能，用以按固定程序抓取、搬運物件或操作工版具的自動操作裝置。權機械手是最早出現的工業機器人，也是最早出現的現代機器人，它可代替人的繁重勞動以實現生產的機械化和自動化，能在有害環境下操作以保護人身安全，因而廣泛應用於機械製造、冶金、電子、輕工和原子能等部門。

6. 基於三菱PLC機械手自動抓取設備的設計

呵呵，本人經常搞這些小非標電氣設計，都是用三菱PLC的

7. 怎麼讓機械臂根據超聲波感測器自動抓取物體

超聲波感測器檢測到物體後輸出一個信號給機械臂控制單元，然後機械臂就抓取

8. 機械手怎麼確保精確定位

各關節伺服電機的驅動是可以做到定位精確的，機械部分的精準程度是關鍵。所以各關節的機械部件製造精度（如變速箱）必須保證。

一般桁架搬運機械手是採用PLC脈沖輸出的信號來控制步進電機沿著X、Y軸運動，通過發送脈沖的個數實現精確定位的功能。關節型的全自動搬運機械手除了PLC 的脈沖還有伺服電機的驅動可以實現定位精準的。

一般的控制器都能確保定位精確（前提是工人的裝配精度要保證）。

(8)機械手臂自動抓取定位裝置擴展閱讀：

沖壓機械手在選取夾具的定位元件為錐體結構，需保證工件有較高的對中性，並確保工件在夾緊時能很好地進行自定位(工件外面類似球形)。

工件徑向階梯孔 的周向位置精度由轉位夾具予以保證。工件安裝在框架下工作檯面的夾具中，沖床機械手吊裝在框架上面的滑軌上，每個工件都要經過機械手12次搬運才能完成全部工藝過程，所以機械手的抓取精度在設計中十分重要。

精度設計要求工件定位準確，抓取精度高，重復定位精度和運動穩定性好，並有足夠的抓取能力。沖床機械手能夠被各個行業廣泛應用得益於能夠高效代替人工，在大幅度提高生產效率的同時還能夠穩定產品質量。

未來確保沖壓機械手能夠生產出穩定的產品質量，需要對精度設計進行把握。

9. 機器人抓取時怎麼定位的用什麼感測器來檢測

機器人家上了解到，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的信息。所以，機器視覺的研究大概有這幾塊：
物體識別（Object Recognition）：在圖像中檢測到物體類型等，這跟 CV 的研究有很大一部分交叉；
位姿估計（Pose Estimation）：計算出物體在攝像機坐標系下的位置和姿態，對於機器人而言，需要抓取東西，不僅要知道這是什麼，也需要知道它具體在哪裡；
相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機坐標系下的坐標，我們還需要確定相機跟機器人的相對位置和姿態，這樣才可以將物體位姿轉換到機器人位姿。

當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。

由於視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：

0. 相機標定

這其實屬於比較成熟的領域。由於我們所有物體識別都只是計算物體在相機坐標系下的位姿，但是，機器人操作物體需要知道物體在機器人坐標系下的位姿。所以，我們先需要對相機的位姿進行標定。 內參標定就不說了，參照張正友的論文，或者各種標定工具箱； 外參標定的話，根據相機安裝位置，有兩種方式：

Eye to Hand：相機與機器人極坐標系固連，不隨機械臂運動而運動

Eye in Hand：相機固連在機械臂上，隨機械臂運動而運動 兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）

只需在機械臂末端固定一個棋盤格，在相機視野內運動幾個姿態。由於相機可以計算出棋盤格相對於相機坐標系的位姿 、機器人運動學正解可以計算出機器人底座到末端抓手之間的位姿變化 、而末端爪手與棋盤格的位姿相對固定不變。 這樣，我們就可以得到一個坐標系環

而對於眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個棋盤格（與機器人基座固連），然後讓機械臂帶著相機走幾個位姿，然後也可以形成一個 的坐標環。

1. 平面物體檢測

這是目前工業流水線上最常見的場景。目前來看，這一領域對視覺的要求是：快速、精確、穩定。所以，一般是採用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩定性、一般會通過主要打光源、採用反差大的背景等手段，減少系統變數。

目前，很多智能相機（如 cognex）都直接內嵌了這些功能；而且，物體一般都是放置在一個平面上，相機只需計算物體的 三自由度位姿即可。 另外，這種應用場景一般都是用於處理一種特定工件，相當於只有位姿估計，而沒有物體識別。 當然，工業上追求穩定性無可厚非，但是隨著生產自動化的要求越來越高，以及服務類機器人的興起。對更復雜物體的完整位姿 估計也就成了機器視覺的研究熱點。

2. 有紋理的物體

機器人視覺領域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬於這一類。 當然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實際機器人操作過程中，環境會更加復雜：光照條件不確定（光照）、物體距離相機距離不確定（尺度）、相機看物體的角度不確定（旋轉、仿射）、甚至是被其他物體遮擋（遮擋）。

幸好有一位叫做 Lowe 的大神，提出了一個叫做 SIFT （Scale-invariant feature transform）的超強局部特徵點： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具體原理可以看上面這篇被引用 4萬+ 的論文或各種博客，簡單地說，這個方法提取的特徵點只跟物體表面的某部分紋理有關，與光照變化、尺度變化、仿射變換、整個物體無關。 因此，利用 SIFT 特徵點，可以直接在相機圖像中尋找到與資料庫中相同的特徵點，這樣，就可以確定相機中的物體是什麼東西（物體識別）。

對於不會變形的物體，特徵點在物體坐標系下的位置是固定的。所以，我們在獲取若干點對之後，就可以直接求解出相機中物體與資料庫中物體之間的單應性矩陣。 如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特徵點的 3D 位置。那麼，直接求解這個 PnP 問題，就可以計算出物體在當前相機坐標系下的位姿。

↑ 這里就放一個實驗室之前畢業師兄的成果 當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點雲分割和歐氏距離去除背景的影響、選用特徵比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。 而且，除了 SIFT 之外，後來又出了一大堆類似的特徵點，如 SURF、ORB 等。

3. 無紋理的物體
好了，有問題的物體容易解決，那麼生活中或者工業里還有很多物體是沒有紋理的：

我們最容易想到的就是：是否有一種特徵點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？ 不幸的是，據我了解，目前沒有這種特徵點。 所以，之前一大類方法還是採用基於模板匹配的辦法，但是，對匹配的特徵進行了專門選擇（不只是邊緣等簡單特徵）。

簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特徵，與資料庫中的模板進行匹配。 由於資料庫中的模板是從一個物體的多個視角拍攝後生成的，所以這樣匹配得到的物體位姿只能算是初步估計，並不精確。 但是，只要有了這個初步估計的物體位姿，我們就可以直接採用 ICP 演算法（Iterative closest point）匹配物體模型與 3D 點雲，從而得到物體在相機坐標系下的精確位姿。

當然，這個演算法在具體實施過程中還是有很多細節的：如何建立模板、顏色梯度的表示等。另外，這種方法無法應對物體被遮擋的情況。（當然，通過降低匹配閾值，可以應對部分遮擋，但是會造成誤識別）。 針對部分遮擋的情況，我們實驗室的張博士去年對 LineMod 進行了改進，但由於論文尚未發表，所以就先不過多涉及了。

4. 深度學習
由於深度學習在計算機視覺領域得到了非常好的效果，我們做機器人的自然也會嘗試把 DL 用到機器人的物體識別中。

首先，對於物體識別，這個就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學習融入機器人領域的嘗試？有哪些難點？ - 知乎 這個回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊伍都採用了 DL 作為物體識別演算法。 然而， 在這個比賽中，雖然很多人採用 DL 進行物體識別，但在物體位姿估計方面都還是使用比較簡單、或者傳統的演算法。似乎並未廣泛採用 DL。 如 @周博磊 所說，一般是採用 semantic segmentation network 在彩色圖像上進行物體分割，之後，將分割出的部分點雲與物體 3D 模型進行 ICP 匹配。

當然，直接用神經網路做位姿估計的工作也是有的

它的方法大概是這樣：對於一個物體，取很多小塊 RGB-D 數據（只關心一個patch，用局部特徵可以應對遮擋）；每小塊有一個坐標（相對於物體坐標系）；然後，首先用一個自編碼器對數據進行降維；之後，用將降維後的特徵用於訓練Hough Forest。

5. 與任務/運動規劃結合
這部分也是比較有意思的研究內容，由於機器視覺的目的是給機器人操作物體提供信息，所以，並不限於相機中的物體識別與定位，往往需要跟機器人的其他模塊相結合。

我們讓機器人從冰箱中拿一瓶『雪碧』，但是這個 『雪碧』 被『美年達』擋住了。 我們人類的做法是這樣的：先把 『美年達』 移開，再去取 『雪碧』 。 所以，對於機器人來說，它需要先通過視覺確定雪碧在『美年達』後面，同時，還需要確定『美年達』這個東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。 當然，將視覺跟機器人結合後，會引出其他很多好玩的新東西。由於不是我自己的研究方向，所以也就不再班門弄斧了。

10. 想做機械臂視覺定位抓取，現在做完了運動學逆解，正開始視覺

51內核，攝像抄頭讀和傳出數據都是問題，更別提解析數據的速度了；
51最多控制個簡單的io，最低的stm32f103zet6的入門板，接攝像頭，加個屏幕
你想簡單的可以直接用pc識別的，結果傳送給51坐標，就好，大半計算留給pc，