Fully supervised and semi-supervised semantic segmentation of cardiac MR using deep learning

Abstract

Heart diseases are one of the primary causes of death worldwide. A key factor to accurately and effectively treating heart diseases is to have quantified measures like high-quality images of the organ. When we provided physicians with medical scans, they can pinpoint the kind of abnormality in the heart. Cardiac Ultrasound, CT, and MRI scans are some of the modalities that we can leverage, while each modality has both advantages and disadvantages. Depending on the situation and the patients' condition, we can choose a preferred modality. We concentrate on cardiac MRI, which is a non-ionizing modality that constructs high-quality images. Segmentation of different heart areas in CMR scans such as myocardium mass, wall thickness, left ventricle (LV), right ventricle volume, and ejection fraction (EF) is a quantitative measure that assists cardiologists in diagnosing cardiac failures. Thanks to computer-aided detection (CAD) advancements, the automatic segmentation of the heart cavity for diagnosis purposes alleviates the burden of quantitative interpretation of large numbers of cardiac scans for cardiologists. The ultimate goal of training an automatic model is to predict correctly on unseen data. Therefore, we need a large number of labeled data which is a tedious and expensive task. However, the variation of CMR data acquisition from different centers or vendors demands us to have training data from almost all centers and vendors for a robust model, which is almost impossible. To address this issue, this thesis proposes a semi-supervised segmentation setup to leverage unlabeled data to segment the left ventricle, right ventricle, and myocardium regions. We utilize an enhanced version of residual U-Net architecture on a large-scale cardiac MRI dataset. Handling the class imbalanced data issue using dice loss, the improved supervised model can achieve better dice scores than a vanilla U-Net model. We applied standard augmentation techniques as well as histogram matching techniques to increase the performance of our model in the multi-domain setup. Also, we introduce a simple but efficient semi-supervised segmentation method to improve segmentation results without the need for extensive labeled data. Finally, we applied our approach to two benchmark datasets, STACOM LVQuan 18 and M\&Ms 2020 challenges, to show the potency of the proposed model. The quantitative results demonstrate the effectiveness of our proposed model. The model achieves average dice scores of 0.926, 0.933, and 0.892 for the left ventricle, right ventricle, and myocardium respectively.

Dünya Sağlık Örgütü'ne (WHO) göre kalp hastalıkları dünya çapında başlıca ölüm nedenlerinden biridir. Kalp hastalıklarını doğru ve etkili bir şekilde tedavi etmenin kilit bir faktörü, organın yüksek kaliteli görüntüleri gibi nicel ölçümlere sahip olmaktır. Doktorlara tıbbi taramalar sağladığımızda, kalpteki anormalliğin türünü saptayabilirler. Kardiyak Ultrason, BT ve MRI taramaları, yararlanabileceğimiz yöntemlerden bazılarıdır, ancak her bir yöntemin hem avantajları hem de dezavantajları vardır. Duruma ve hastanın durumuna göre tercih edilen bir yöntem seçebiliriz. Yüksek kaliteli görüntüler oluşturan iyonlaştırıcı olmayan bir modalite olan kardiyak MRG'ye odaklanıyoruz. Segmentasyon, bilgisayarlı görü alanındaki en zorlu süreçlerden biridir. Aynı grupta, görüntü piksellerini doku, mesafe, renk ve yoğunluk gibi benzer faktörlere dayalı olarak kategorize etmeliyiz. Bu durumda her gruba bir segment diyebiliriz. Miyokard kütlesi, duvar kalınlığı, sol ventrikül (LV), sağ ventrikül hacmi ve ejeksiyon fraksiyonu (EF) gibi CMR taramalarında farklı kalp alanlarının segmentasyonu, kardiyologlara kalp yetmezliği teşhisinde yardımcı olan nicel bir ölçüdür. Bilgisayar destekli algılama (CAD) gelişmeleri sayesinde, teşhis için kalp boşluğunun otomatik olarak segmentasyonu, kardiyologlar için çok sayıda kardiyak taramanın kantitatif yorumlanmasının yükünü hafifletir. Derin öğrenme yaklaşımlarının ortaya çıkmasından önce yaygın olarak kullanılan makine öğrenimi tabanlı yöntemler, nicelleştirilmiş ilgi alanını başarılı bir şekilde tanımlayabiliyordu. Bununla birlikte, bu yöntemler, veriler ve ağır özellik mühendisliği prosedürleri hakkında önceden bilgi sahibi olmayı gerektiriyordu. Öte yandan, derin öğrenme yöntemleri, doğrudan verilerden basit ve karmaşık özellikleri otomatik olarak öğrenir. Ve GPU kapasitesindeki artış ve veri kullanılabilirliğinde bir artış olmazsa, derin öğrenme algoritmalarının yaygın kullanımı elde edilemezdi. Derin öğrenme algoritmaları kullanarak otomatik bir model yetiştirmenin nihai amacı, görünmeyen verileri doğru bir şekilde tahmin etmektir. Bu nedenle, özellikle tıbbi veriler söz konusu olduğunda, açıklama için tıbbi uzmanlara ihtiyaç duyulduğundan, sıkıcı ve pahalı bir iş olan birçok etiketli veriye ihtiyacımız var. Ancak, farklı merkezlerden veya satıcılardan alınan CMR verilerinin varyasyonu, neredeyse tüm merkezlerden ve satıcılardan sağlam bir model için eğitim verileri almamızı gerektiriyor ki bu neredeyse imkansız. Sınırlı sayıda etiketlenmiş veriyle derin bir modelin eğitilmesi, fazla uydurmaya neden olabilir. Bu durumda model, test ve görünmeyen verilerde başarısız olurken eğitim verilerini doğru bir şekilde tahmin edebilir. Bu araştırmada ilk olarak etiketli konserve yöntemiyle bazı standart büyütme tekniklerini uyguluyoruz. Veri büyütme, bir dereceye kadar aşırı uyumun üstesinden gelebilir. Bu konuyu ele almak için bu tez, sol ventrikül, sağ ventrikül ve miyokard bölgelerini segmentlere ayırmak için etiketlenmemiş verilerden yararlanmak için yarı denetimli bir segmentasyon kurulumu önermektedir. Bildiğimiz gibi, etiketlenmemiş tıbbi veriler bol ve ucuzdur. Sınırlı etiketli verilere sahip olduğumuzda, bu verileri kullanarak daha iyi tahminler elde etmek için modelimizi geliştirebiliriz. Bu nedenle, farklı merkezlerden etiketlenmemiş verileri ve farklı zaman dilimlerinden etiketlenmemiş görüntü taramalarını içeren bir veri seti kullanıyoruz. Ek açıklamaların çoğu sistol sonu ve diyastol sonu zaman çerçevelerini içerirken diğer zaman çerçeveleri için açıklamalardan yoksundur. Sonuç olarak, önerilen modelimizin sağlamlığını güçlendirebiliriz. Büyük ölçekli bir kardiyak MRI veri setinde artık U-Net mimarisinin geliştirilmiş bir sürümünü kullanıyoruz. Bahsedilen mimariyi seçmek için, her birinin performansını değerlendirmek için iki farklı derin mimariyi karşılaştırıyoruz. Ayrıca dikkat modülünün takılması modele resimlerde nereye bakacağı konusunda yardımcı olacaktır. Bu dikkat modülü, kardiyak MR taramalarında ilgi alanının arka plana kıyasla küçük olması bakımından etkilidir. Bu dengesizlik sorunu da ele alınmalıdır. Zar kaybı kullanarak sınıf dengesiz veri sorununu ele alan geliştirilmiş denetimli model, çapraz entropi kaybı işlevi göz önüne alındığında vanilya U-Net modelinden daha iyi zar puanları elde edebilir. Döndürme, çevirme ve elastik dönüşüm gibi standart veri büyütme tekniklerini uyguladık. Bu büyütme teknikleri, etiketli koruma yaklaşımlarına dayanmaktadır, böylece eğitim verilerinin sayısını artırmak için etiketli verileri yapay olarak artırabiliriz. Ek olarak, verilerimiz farklı merkezlerden veya satıcılardan geldiğinde veri değişkenliğini ele almak için etki alanı uyarlama teknikleri gereklidir. Histogram eşleştirme teknikleri, çok alanlı kurulumda modelimizin performansını artırmak için alan uyarlama tekniklerinden biridir. Ayrıca, kapsamlı etiketlenmiş verilere ihtiyaç duymadan segmentasyon sonuçlarını iyileştirmek için basit ama verimli bir yarı denetimli segmentasyon yöntemi sunuyoruz. Veri büyütme ile zar kaybını göz önünde bulundurarak Artık U-Net mimarisini uygulayan son denetimli modelimiz ile başlıyoruz. İlk olarak, eğitilmiş, denetlenen modeli kullanarak ES ve ED zaman çerçevelerindeki etiketlenmemiş veriler için segmentasyon maskesini tahmin ediyoruz. Düşük kaliteli ek açıklamaları kullanmaktan kaçınmak için, bu tahminlerin gürültülü olup olmadığını kontrol etmek için tahmini bir döngü boyunca değerlendirir ve eğitilmiş, denetlenen model tarafından bunları göz ardı ederiz. Başka bir deyişle, tahminlerin kalitesini yinelemeli bir şekilde inceliyoruz ve düşük kaliteli ek açıklamaları kaldırıyoruz. Ardından, iki veri kümesi, manuel olarak etiketlenen veriler ve sözde etiketli veriler birleştirilir. Bu yöntemin kullanılması, modelin farklı satıcılardan veya merkezlerden gelen görüntüler üzerinde eğitim almasına olanak tanır. Ayrıca modelimiz için hiper parametre ayarlama kurulumunu da açıklıyoruz. Derin bir modeli eğitmek için anahtar parametrelerden biri Öğrenme oranıdır. Kayıp gradyanı ile ilgili olarak eğitim modelimizin ağırlık ayarlama miktarını kontrol eder. En iyi sonuçları elde etmek için uyarlanabilir bir öğrenme oranına ihtiyacımız var, böylece RMSprop ve Momentum ile Stokastik Gradient Descent'in bir kombinasyonu olan Adam optimizer'ı kullandık. Bu optimize edici, farklı parametreler için uyarlanabilir öğrenme oranı yöntemi olarak bilinir. bireysel öğrenme oranlarını hesaplar. Bu nedenle, uygulamamızda Adam optimizer kullanıyoruz. Ayrıca, hem test hem de eğitim tahminlerinde en iyi doğruluğu elde etmek için erken durdurma yöntemini kullandık. Son olarak, önerilen modelin gücünü göstermek için yaklaşımımızı iki kıyaslama veri kümesine, STACOM LVQuan 18 ve M\&Ms 2020 zorluklarına uyguladık. Önceki veri kümesi, A, B ve C olmak üzere üç farklı satıcıdan gelen verileri içerir. Satıcı A ve B etiketlenirken satıcı C etiketlenmez. Satıcı C'den alınan verileri yarı denetimli yöntem için etiketlenmemiş veriler olarak değerlendirdik. Nicel sonuçlar, önerilen modelimizin etkinliğini göstermektedir. Model, sol ventrikül, sağ ventrikül ve miyokard için sırasıyla 0,926, 0,933 ve 0,892 olan ortalama zar puanlarına ulaşır.