Embedded vision system designed on a heterogeneous computing platform and applied to semen analysis

Abstract

Image and video inspections in the medical field require intelligent systems in addition to microscopes for more accurate and detailed analyses. In this study, a reliable, reconfigurable, and compact intelligent analyzer system is proposed using a hybrid platform comprising a field programmable gate array (FPGA) and central processing unit (CPU) as the embedded video processing system. Computer assisted semen analysis (CASA) is then developed as an application on the proposed system. The developed system architecture can also be utilized in biological imaging and video applications, which require accurate and detailed analysis. Relevant semen analysis algorithms were constructed specially for the proposed architecture; however, the algorithms may also be used with similar existing embedded system platforms and newly developed hardware. As the speeds and performances of CPUs have approached their technological limits, a newer trend has evolved toward parallel computing; more recently, the use of heterogeneous computing platforms have also increased as they have attracted the interest of scientists and system developers owing to their operating performances. They surpass conventional general-purpose CPU-based architectures in terms of capacity, speed, and performance characteristics. The proposed system utilizes a heterogeneous computing platform combining the CPU and FPGA, thereby providing enhanced performance compared to conventional systems. Using a high-definition camera, actual sperm movements could be traced with high fidelity. The FPGA provides very high execution speeds necessary for recursive and expensive image preprocessing tasks. The CPU connects the camera to the devised system and is also responsible for performing calculations. The processing algorithms are executed mainly on the CPU, and the embedded system provides compact structure; moreover, the physical footprint of the system is smaller, which is advantageous in laboratory environments. Consequently, the proposed architecture is considered to be a step ahead of third-generation CASA systems, which is the primary novelty of this work. The proposed semen analysis system is implemented on a real-time operating system (RTOS) that also manages the embedded system with reconfigurable hardware for preprocessing and CPU for processing the executable parts of the algorithm. For sperm detection and tracking, the multiple moving object tracking system (MMOTS) algorithm is developed, which is the second novelty of this work. In terms of object detection, the background subtraction method is used for segmentation in MMOTS. The MMOTS approach is suitable for the selected architecture and imposes less computing load to achieve fast responses, which are crucial for real-time processing. Cellular neural network templates are used and experimented in the preprocessing part of the proposed system, where image-processing steps such as convolution, segmentation, and point representation are applied. This thesis begins with a brief introduction to sperm biology, semen analysis, sperm morphology and motility, and evolution of CASA systems. While the proposed work addresses motility analysis, the developed software also allows segmentation of static images to specify the head, nucleus, mitochondrial part, head shape, and size of the sperm as medical parameters. The algorithms, which are designed by considering computations on heterogeneous computing platforms, was next implemented on recent and state-of-the-art reconfigurable hardware. These hardware are commercially available and contain up-to-date components with reasonable prices. The complete system was realized on an NI CompactRIO 9030 hardware integrated with a microscope and available for medical tests as a prototype. The experimental work on human sperm samples were conducted at the Ege University Faculty of Medicine, İzmir, Turkey and Gelişim Tıp Laboratory, İstanbul, Turkey. The existing CASA system in Gelişim Tıp Laboratory was examined, and some experiments were carried out; the videos of these samples were obtained and examined in our preliminary and simulation studies. With respect to Ege University, the results of the proposed system are compared with those from manual inspections. In the manual assessments, the classifications were performed using the Makler camara (counting chamber), and the results of the proposed system were found to be 100% similar to those from manual assessments. The motility parameters, such as average progressive velocity VAP and curvilinear velocity VCL, can only be estimated roughly from manual assessments, but the results from the proposed system were deemed to be acceptable by the biologists in the laboratory. Experimental investigations were also performed on animal sperm samples at İstanbul University's Faculty of Veterinary Medicine, and the results of the proposed system were found to be approximately 80% compliant with those of the existing system in the laboratory. These variations are attributed to parameter settings; the parameters were roughly set to enable inspection of the effects of parameter values on the results, besides test result comparisons. The proposed system is flexible and hardware-based, so that different biological imaging applications could be deployed on it in the future. Eventually, the goal of this study is to achieve an intelligent biological analysis system.

Günümüzde tıbbi alanlarda mikroskop ile yapılan görüntü ve video gözlemleri giderek daha çok doğruluk ve ayrıntılı analiz gerektirmektedir. Mikroskop ile yapılan gözlemlerde işlemler akıllı algoritmalarla desteklenerek daha ayrıntılı, hızlı ve doğru analizler yapılabilir. Günümüzde bu amaçla sayısal kameralar, görüntü işleme sistemleri ve bilgisayarlardan yararlanılmaktaddır. Teknolojideki gelişmeler doğrultusunda bilgisayarların yanında ayrışık bilgiişlem platformları gittikçe daha fazla uygulama alanında popülerlik kazanmakta ve bilgisayarların teknolojik sınırına gelmiş olan hız ve enerji sınırlamaları karşısında bu sistemler daha fazla hız gerektiren işlemlerde bilgisayar sistemleri yerine kullanılmaktadır. Bu tezde bir gömülü sistem olarak Alan Programlanabilir Kapı Dizisi (APKD) ve Merkezi İşlem Birimi (MİB) içeren hibrid bir platform üzerinde tasarlanmış güvenilir, yeniden yapılandırılabilir, ve kompakt bir akıllı analizör önerilmektedir. Günümüzde MİB (CPU) lerinin hız ve performansları teknolojik sınırlara yaklaştıkça, paralel işlemcilere ve ardından ayrışık bilgiişlem platformlarına ilgi artmıştır. Bu yapılar yüksek hızları ve performansları ile mevcut MİB içeren mimarilere üstünlük sağlamaktadır. Bu tezde önerilen sistem MİB+APKD (CPU+FPGA) den oluşan bir ayrışık bilgiişlem platformu üzerine tasarlanan bir akıllı mikroskop uygulamasıdır. Bu sistemde uygulama olarak "Bilgisayar Destekli Semen Analizi (BDSA)" seçilmiş, tasarlanmış ve gerçeklenmiştir. Geliştirilen sistem mimarisi aynı zamanda hassas ve ayrıntılı analiz gerektiren diğer benzer biyolojik görüntüleme ve video uygulamalarında da kullanıma uygundur. Ilgili semen analiz algoritmaları özellikle bu yapı için oluşturulmuştur; bununla birlikte önerilen algoritmalar benzer gömülü sistem platformlarında ve yeni geliştirilmiş ayrışık bilgiişlem platformları üzerinde de çalıştırılabilir. Semen Analizinin Ayrışık (heterogeneous) Bilgiişlem Platformu üzerinde gömülü sistem olarak tasarımı tezin birinci katkısıdır. Sperm hareketlilik (motility) analizi bir çok nesneli hareket izleme metodu gerektirir. Varolan nesne izleme metodları boyutsal ve istatistiksel metodlardır. Bu metodlardan ve algoritmalardan sperm motilite analizine uygun olan Temel Bileşen Analizi – principal component analysis-PCA, Tekil Değer Ayrışımı – singular value decomposition-SVD, çekirdek izleme algoritmaları gibi yöntemler incelenmiştir. Bu tip yöntemler büyük miktarda veri işlem gerektirdiği için gerçek-zamanlı sistemlere uygun görülmemiş, daha hızlı çalışabilen bir yöntem araştırılmıştır ve sonuç olarak sperm algılama ve izleme için Çoklu Hareketli Nesne İzleme Sistemi – MMOTS geliştirilmiştir ve bu da tezin ikinci katkısıdır. MMOTS algoritması alınan sperm videosundaki ard arda gelen resim karelerinde her bir spermin belirli bir komşuluk içinde bir sonraki resim karesindeki aday spermler arasında aldığı yol ve yaptığı açı değerlerinden çıkartılan bir maliyet işlevi ile bir sonraki karedeki spermin seçilmesii ile çalışır. MMOTS algoritmasında nesne algılama için arkaplan düzeltme metodu – background correction algorithm-BCA ile ikili bölütleme-binary segmentation kullanılmıştır. Arkaplan düzeltme algoritması hem her bir piksel değerinin bir pencere içinde ortalama ışık değerinden çıkarılması alan işlevi hem de istatistiksel maksimum intervaryans yöntemini kullanır. Bu algoritma seçilen donanıma, gömülü sisteme çok uygundur ve gerçek-zamanlı çalışma için önemli olan hızlı tepki için daha hafif bir işlem yükü içerir. Önerilen sistemin ön-işlem bölümündeki görüntü işleme algoritmaları, konvolusyon, bölütleme (segmentation) ve nokta ile gösterim gibi işlevler hücresel sinir ağı (HYSA) ile APKD geliştirme platformlarında gerçeklenmiştir. Tezin ikinci bölümünde sperm biyolojik bilgileri, yapısı, mikroskop görüntüsü, spermi oluşturan kısımlar kısaca anlatılmıştır. Semen analizi, sperm yapı analizi (morphology), sperm hareketlilik analizi (motility) ve BDSA (CASA) sistemleri gözden geçirilmiş, anlatılmıştır. Tezde sperm morfolojisi de çalışılmış ve deneyler yapılmıştır. Bu çalışma sperm motilite analizine odaklanmakla birlikte geliştirilen sistem statik görüntülerde de morfoloji parametreleri olan çekirdek alanı, baş alanı, mitokondrial kısım, baş şekli ve büyüklüğü gibi parametreleri hesaplayabilmektedir. Bu işlemler statik görüntü işleme algoritmaları ile gerçeklenmektedir. Tezin üçüncü bölümünde gömülü sistem mimarisi, gömülü görüntü sistemi yapısı, geliştirilen ve kullanılan metod ve algoritmalar anlatılmıştır. Sistem blok şeması verilmiş ve bu şema farklı açılardan ele alınarak açıklanmıştır. Önerilen sistemin önce bilgisayarda benzetimi elde edilmiş, sonra farklı yöntemlerle bölümler şeklinde MİB ve APKD ile oluşturulmuş ayrışık bilgiişlem platformları üzerinde gerçeklenerek performansları incelenmiştir. Yapılan bu çalışmalar ve elde edilen sonuçlar bu bölümde verilmiştir. Bu çalışmada ikili eşikleme-binary segmentation metodu olan arka plan düzeltme metodu kullanılmıştır. Bu sayede mikroskoptan gelen görüntünün farklı aydınlanma alanları eşitlenerek nesne algılama ve eşikleme işleminin nasıl yapıldığı benzer metodlar olan Otsu ve Niblack metodları ile birlikte anlatılmıştır. Sperm analizi sezgisel kuralları çıkarılmış, analizdeki zorluklar belirlenmiş, bu kurallar yardımıyla doğru bir sperm hareketi izlemenin nasıl yapılabileceği tartışılmıştır. Sistemde erozyon, dilasyon, medyan filtre, nesne nokta gösterimi gibi işlemler HYSA (CNN) algoritmaları ile ve uygun hücresel yapay sinir ağları- HYSA şablonları kullanılarak alan programlanabilir kapı dizileri-APKD (FPGA) geliştirme setleri üzerinde çalışılmıştır, elde edilen deneysel sonuçlar anlatılmıştır. Altera Stratix IV üzerindeki çalışmalar, CNN ile görüntü uygulamaları, gerçek zamanlı uygulamalar konularında literatür taranarak seçilen algoritmalar uygulanarak yapılmıştır. Önerilen semen analiz sistemi algoritmaları ve yöntemleri, PC bilgisayar, FPGA kartı ve heterogen hesaplama platformu CompactRIO üzerinde denenmiştir. Bu donanımlar uygun bedellerle ticari olarak varolan güncel kartlardır. Yapılan çalışmalar ve deneyler sonunda sistemin altyapı donanımı olarak National Instruments CompactRIO 9030 donanımı seçilmiş, tüm sistem bu donanım üzerinde gerçeklenmiş ve mikroskop ile entegre biçimde prototip olarak medikal testlere hazır duruma getirilmiştir. Tezin dördüncü bölümü deneysel çalışmalara ayrılmıştır. Deneysel çalışmalar semen analizi yapılan merkezlerde biyologlarla birlikte çalışılarak ve o laboratuvarda kullanılan semen analizi yöntemleri ile önerdiğimiz sistem ve bu sistem üzerinde önerdiğimiz algoritmalar aynı örnekler üzerinde test edilip karşılaştırılmıştır. İnsan spermleri üzerindeki deneyler Ege Üniversitesi Tıp Fakültesi Ana ve Çocuk Sağlığı Tüp Bebek merkezindeki laboratuvarlarda ve Gelişim Tıp Laboratuvarında yapılmıştır. Gelişim Tıp Laboratuvarında bulunan ve sperm analizinde kullanılmakta olan CASA sistemi incelenmiş, uygulamada sperm analizi raporlarının nasıl elde edildiği incelenmiş ve laboratuvarda bulunan semen örneklerinden çalışmalarımızda kullanılmak üzere görüntü ve video alınarak denemeler yapılmıştır. Alınan bu örnek videolar ön çalışmalarımızda ve simülasyon çalışmalarında kullanılmıştır. Ege Üniversitesi Tıp Fakültesi laboratuvarlarında da önerilen sistem ile birçok analiz çalışması yapılmış ve elde edilen sonuçlar manuel gözlem sonuçları ile karşılaştırılarak sistemin performansı ve doğruluğu test edilmiştir. Manuel gözlem ve değerlendirmede sperm motilite sınıflaması sperm görüntülerinin Makler Kamara (counting chamber-sayma odacığı) kullanılarak gözlenmesi ile yapılmaktadır. Bu değerlendirme doğal olarak tam doğru olmamakla birlikte deney numunesi hakkında fikir vermektedir. Yapılan karşılaştırmalarda sonuçlar manuel yöntemle 100% uyumlu çıkmıştır. Manuel gözlemlerde VAP, VCL gibi parametreler yalnızca kabaca kestirilebilmektedir fakat buna rağmen önerilen sistemle elde edilen sonuçlar laboratuvardaki biyologlar tarafından kabul edilebilir bulunmuştur. Hayvan spermleri üzerindeki deneyler ise İstanbul Üniversitesi Veterinerlik Fakültesi laboratuvarlarında gerçekleştirilmiştir. Burada bulunan dondurulmuş at, boğa ve koç spermlerinden örnekler laboratuvarda kullanılmakta olan IVOS sisteminde analiz edilmiş, hemen ardından bizim sistemimizde de analiz edilerek sonuçlar tartışılmıştır. Önerilen sistemle elde edilen sonuçlar, laboratuvarda bulunan CASA sistemi ile %80 uyumlu çıkmıştır. Aradaki farklılık sistemin parametre ayarlarından kaynaklanmaktadır. Sistemimizde parametre değerlerinin sonuçlara etkisini incelenmek amacıyla farklı parametre değerleri kullanılmış ve test sonuçları bu şekilde karşılaştırılmıştır. Önerilen sistem bilgisayar ve bilgisayar yazılımları ile çalışan üçüncü nesil BDSA sistemlerinden bir adım önde bir tasarımdır. Sistem aynı zamanda esnek ve donanım tabanlıdır ve farklı biyolojik görüntüleme uygulamaları da önerilen donanım yardımıyla işlenebilir. Sonuç olarak ayrışık bilgiişlem platformu üzerinde akıllı mikroskop analiz sistemi gömülü görüntü sistemi olarak tasarlanmış, gerçeklenmiş ve semen analizi uygulamasında gerçek görüntüler üzerinde laboratuvar ortamında test edilmiş ve alternatifi donanımlarla performansı karşılaştırılmıştır.