Please use this identifier to cite or link to this item: http://hdl.handle.net/11527/5228
Title: Derinlik Kamera Bilgisini Kullanarak İnsansi Robot Ta Görsel Servo-kontrol Uygulaması
Other Titles: Visual Servo-control Application In A Humanoid Robot Using Depth-camera Information
Authors: Ergenç, Ali Fuat
Rahimi, Arezou
10030025
Kontrol ve Otomasyon Mühendisliği
Control and Otomation Engineering
Keywords: Görsel servo-kontrol
İnsansi robot
derinlik kamera
visual servo control
humanoid robot
depth camera
Issue Date:  14
Publisher: Fen Bilimleri Enstitüsü
Institute of Science and Technology
Abstract: Insan hayatını kolaylastırmak ve yeni imkânlar sunmak amacıyla günden güne artan bilgisayar teknolojisindeki arastırmaların büyük bir kısmı, insan müdahalesi olmadan kendi kendine hareket edebilen akıllı makineler gelistirmekle ilgilidir. Insanoglu, hayatını kolaylastırmak amacıyla teknolojik alanda birçok atılımlar yapmıstır. Robot fikri de gerçeklestirilen ve hala güncelligini koruyan bu atılımlardan biridir. Robotlar, endüstride, tıpta, haberlesmede ve daha birçok alanda kullanılmaktadır. Ayrıca, askeri uygulamalarda da robot kullanımı yaygındır. Robot teknolojisi, çağımız gelişim süreci içinde gelişen birçok bilimsel ve teknolojik olguların, robot adını verdiğimiz teknolojik ürünler üzerinde bütünleşmesi ve uygulamasını içerir. İnsansı robotlar, şekil olarak insana benzemekle beraber, çoğu zaman insanların bulunduğu ortamlarda çalışmaları için tasarlanmış robotlardır. Bu durum insan-robot etkileşimini ve robotun daha önceden bilmediği ortamlarda çalışmasını gerektirir. Genelde endüstriyel robotlar fabrikaların önceden belirlenmiş ortamlarında ve tanımlanmış işler üzerinde çalışmaktadır. Buna karşın günlük hayatımızda kullanabileceğimiz robotlar için önceden tanımlanmış ortamlar yoktur. Robotların gündelik hayatımızda kullanımını sağlamak için robotların bulundukları ortamı görmeleri ve tanımaları gerekmektedir. Örnek vermek gerekirse, bir insanın daha önceden bilmediği bir masa üzerinde bulunan bir objenin, bu noktadan başka bir noktaya taşınması insanda bulunan görme yetisi sayesinde mümkün olmaktadır. Böyle bir uygulamanın robot üzerinde gerçeklenmesi de yapay bir görü sistemi kullanımı ile elde edilebilir. Bu durumda, endüstriyel robotlardan farklı olarak, robotun kolunu uzatacağı objenin cinsini ve yerini tahmin etmesi, bu koordinatlara doğru eklem açılarını kullanarak uzanması ve objeyi kavraması gerekir. Yapay görme veya görüntü işleme teknolojisi, bir kameranın sensör olarak kullanımı ile dış dünya ile robot arasındaki bilgi akışının sağlanmasıdır. Bu noktada, bilginin görüntüden çıkarımı için belirli işlemlerin uygulanması gerekmektedir. Bu işlemler görüntü işleme algoritmaları olarak adlandırılır. Görüntü isleme algoritmalarının robot gibi akıllı makineler ile birlikte kullanılması, insan yasamını daha da kolaylaştırdığı için günümüz teknolojik gelişmeleri arasında önemli bir yer tutmuştur. Bir sensör olarak kamera, diğer algılayıcı teknolojilerinden farklı olarak ucuzdur, hafiftir, ve kapladığı alana oranla yüksek miktarda bilgi verir. Benzer şekilde insan üzerinde bulunan 5 duyu organından biri de gözdür ve temel olarak robotlarda, yapay görü ve görüntü işleme uygulamaları insan gözünü taklit etmeye yöneliktir. Renk algılama, nesne tanıma, hareket algılama, şekil algılama gibi uygulamaların dışında, bir nesnenin derinliğinin algılanması da görüntü işleme algoritmaları tarafından gerçeklenebilir. Bugüne kadar derinlik algılayabilmek için en az iki kameralı sistemler kullanılırken, gelişen teknoloji ile derinlik algılayıcı sensör ve kameranın entegre çalıştığı sistemler gerçekleştirilmiştir. Bu tez kapsamında, UMAY (uyarlamalı mekanik ara yüz) projesi için tasarlanan 6 serbestlik dereceli kol ve gövde benzetim ortamında kullanılmıştır. UMAY projesi otistik çocukların eğitim ve rehabilitasyon süreçlerinde kullanılmak üzere geliştirilen bir insansı robot projesidir. UMAY projesi ile ilgili çalışmalar İstanbul Teknik Üniversitesi bünyesinde faaliyet gösteren Mekatronik Eğitim ve Araştırma Merkezi Laboratuvarları’nda yapılmakta olup, proje ile ilgili çalışmalar halen devam etmektedir. Bu tez kapsamında, bir insansı robot projesi olan UMAY’ın 6 serbestlik dereceli kolu ve Kinect derinlik algılayıcı sensör ve kamera sistemi kullanılarak görsel servo kontrolü benzetim ortamında yapılmıştır. Görse servo kontrol yardımı ile robot kolu kontrolünde literatürde pek çok uygulama mevcuttur. Bunlar; sistem hata sinyali (system error signal based), kamera robot entegre düzeneği (camera-robot setup based) ve kamera sayısı tabanlı (number of cameras based) çalışma başlıkları altında incelenebilir. Sistem hata sinyali tabanlı çalışmalar iki başlık altında toplanabilir: Konum bazlı ve görüntü bazlı. Konum bazlı uygulamalar, görüntülerden özniteliklerin çıkarımı (feature extraction), hedef nesnenin konum ve oryantasyonun kestirimi, konum ve oryantasyondaki kestirim hatasının geri besleme yardımıyla azaltılmasını sağlayacak hesaplamalar olarak gösterilebilir. Görüntü bazlı uygulamalar ise, görüntülerden özniteliklerin çıkarılması ve bu öznitelikler üzerinden kontrol değerlerinin hesaplanması olarak karşımıza çıkar. Bu uygulamalar iki boyutlu olduğu için kalibrasyon hataları daha az karşılaşılır. Kamera robot entegre düzeneğinde iki yaklaşım bulunmaktadır. Bunlar, kameranın robot koluna monte edildiği (eye-in-hand) ve kameranın robot kolu ve hedef nesneleri beraber görebileceği (eye-to-hand) şekilde kameranın konumlandırılmasını sınıflandırmaktadır. Bu kontrol yapılarında açık (EOL) ve kapalı (ECL) kontrol teknikleri uygulanmaktadır. Kamera kol üzerine monte edildiğinde sadece nesne görülebildiği için açık çevrim kontrol kullanılabilir. Buna karşın kamera kolu ve hedef nesneyi kontrol işlemi süresince görebilecek bir konuma yerleştirildiği takdirde, kapalı çevrim kontrol uygulanabilir olur. Kamera sayısı tabanlı çalışmalar, tek kamera (monocular), çift kamera (binocular) veya ikiden fazla kameranın kullanıldığı yaklaşımlar şeklinde sıralanabilir. Tek kameralı sistemler, görsel bilgiyi çıkarımı için gerekli işlem zamanını en aza indirir. Nitekim nesne modeli bilinmediği için derinlik bilgisinin kaybolması görsel servo ile kontrol işlemini kısıtlar ve kontrol sistemi tasarımını karmaşık hale getirir. Çift kameralı sistemler ise, nesne ve sahne ile ilgili 3 boyutlu bilgiyi sağlar. Bu metot iki farklı görüntüleme cihazı kullandığı için stereo görüntü sistemleri tek kameralı sistemlere göre iki kat daha fazla işlem yüküne sahiptir. Bu çalışmada, görüntü temelli servo kontrolü kapalı bir kontrol çevrimi içerisinde kullanılarak, benzetim ortamında 6 serbestlik dereceli bir kolun, daha önceden tanımlanmamış bir masa üzerinde bulunan bir objeye ulaşması sağlanmıştır. Masa üzerinde bulunan nesneye erişmek için tahmin edileceği üzere hedef nesnenin mutlak koordinatlarda derinliğinin saptanması çok büyük önem arz etmektedir. Görsel etkileşim matrisi olarak isimlendirilen matrisin hesaplanmasında derinlik bilgileri kullanılır. Literatürde bulunan çalışmaların aksine, bu çalışmada stereo ve tek kamera kullanımının dezavantajları bulunması nedeniyle, yeni bir yöntem ile Kinect sistemi kullanılmıştır. Bunun sonucunda, derinlik hesaplamasında işlem zamanı literatürde verilen çalışmalara oranla bir düşüş göstermiştir. Kapalı çevrim kontrol uygulanabilmesi için Kinect robot gövdesi üzerine yerleştirilmiştir. Bu sayede hem hedef nesne, hem de robot kolu işlem boyunca Kinect tarafından görülebilir, bu durum kameranın el üzerine konulduğu durumların aksine işlem süresi içerisinde hedef nesnenin görüntüden çıkması problemini engeller. Alışılmışın aksine, görsel etkileşim matrisi bu uygulamada kapalı çevrim kontrol içerisinde kullanılmaktadır. Benzetim için Ubuntu işletim sistem ile çalışan i5 işlemcili 4 GB belleği olan bir bilgisayar kullanılmıştır. Solidworks ortamında üç boyutlu tasarımı yapılan robot ve kol modeli, URDF (universal robot description format) formatına çevrilerek benzetim ortamına aktarılmıştır. Kontrol algoritmaları ve robot modelinin dinamik simülasyonu robot işletim sistemi ROS (Robot Operating System) groovy versiyonu ve gazebo programı (1.5 versiyonu) kullanılarak yapılmıştır. Görüntü işleme için OpenCv kütüphanesi kullanılmıştır. Kontrol uygulaması python 2.7 ve C++ programlama dillerinde yazılmıştır. Kinect sistemi yardımıyla benzetim ortamında derinlik algılanması ve nesnelerin tanımlanması sağlanmıştır. Literatürde kullanılan derinlik algılama yöntemleri arasında reflektif yöntemler içerisinde bulunan optik aktif ve pasif yöntemler bulunmaktadır. Stereo görüntü işleme pasif bir yöntem iken, Kinect, aktif bir şekilde ışık kodlaması ile üçgenleştirme metodunu kullanarak derinlik tespiti yapar. Bu sensör, içerisinde bir adet kızılötesi kamera, bir RGB (kırmızı yeşil mavi) kamera ve bir adet de kızılötesi projektör bulundurur. Bu çalışmada; sabit derinlik, değişken derinlik ve bunların kombinasyonları kullanılarak, yukarıda ifade edilen benzetim şartlarında robotun kolun uç eyleyicisinin masa üzerine konulan hedef nesneye ulaşması başarıyla sağlanmıştır. Burada sabit derinlik olarak uç eyleyicinin başlangıç pozisyonunda hedef nesneye olan uzaklığın tüm benzetim boyunca sabit olarak kullanılması şeklindedir. Bu nedenle tüm benzetim boyunca uç eyleyicinin üç boyutlu uzaydaki hızı sabit kalmaktadır. Diğer yöntemlerde her iterasyonda uç eyleyici ile hedef nesne arasındaki derinlik bilgileri tekrar algılanmış ve bu bilgiler ışığında kontrol gerçekleştirilmiştir. Burada uç eyleyici için değişken hızlar elde edildiği görülmüştür. Burada kullanılan iki yöntem MPJ (mean of pseudo-inverse Jacobian) ve PMJ (pseudo-inverse of mean Jacobian) olarak adlandırılır ve benzetimler göstermiştir ki MPJ kullanımı bu uygulama için daha iyi sonuçlar vermektedir.
Robotic systems have been increasingly employed in various industrial, urban, medical, military and exploratory applications during last decades. To enhance the robot control performance, vision data are integrated into the robot control systems. Using visual feedback has a great potential for increasing the flexibility of conventional robotic and mechatronic systems to deal with changing and less-structured environments. How to use visual information in control systems has always been a major research area in robotics and mechatronics. Visual servoing methods, which utilize direct feedback from image features to motion control, have been proposed to handle many stability and reliability issues in vision-based control systems. Visual control is one of the key tools used by human beings to control their body motions to perform activities such as grabbing a cup of coffee and placing it on a table. Similarly, in the field of robotics it is often desirable to make use of visual data obtained from an imaging system to control the motion of a robotic manipulator in order to grab an object or to place the end effector tool in a certain position with respect to an object. To accomplish these tasks in a closed-loop manner, researchers have developed a number of visual servo control techniques that can provide a high degree of accuracy. In the following work an overview of the different visual servo control techniques reported in the literature is given, highlighting their main advantages and drawbacks. This thesis introduces Image-based Visual Servoing (IBVS) (to the contrary Position-based Visual Servoing (PBVS)) with eye‐to‐hand configuration that is able to reach an desired object. Humanoid robots have a broad range of applications and a common attribute of all these applications is that the robot needs to operate in unstructured environments rather than structured industrial work cells. Motion control and trajectory planning for robots in unstructured environments face significant challenges due to uncertainties in environment modeling, sensing modalities, and robot actuation. This thesis attempts to solve a subset of these challenges. This thesis focuses on visual servoing (VS) control systems, particularly on image-based visual servoing (IBVS) control structures. In IBVS, the error signal is computed in the image plane and the regulation commands are generated with respect to such error by means of a visual Jacobian. The Image based visual servoing scheme is adapted for an eye-to-hand configuration and implemented with a 6 DOF Humanoid robot; depth camera (Kinect) instead of monocular or stereo vision methods is used to control the end effector of UMAY. Different formulations of the jacobian of the system are implemented and the performance of the system is tested through simulation environment.
Description: Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014
Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2014
URI: http://hdl.handle.net/11527/5228
Appears in Collections:Kontrol ve Otomasyon Mühendisliği Lisansüstü Programı - Yüksek Lisans

Files in This Item:
File Description SizeFormat 
14416.pdf3.27 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.