Multi-modal neuroimaging data prediction: Estimation of connectional brain template and multigraph classification with application to gender fingerprinting

Abstract

The work developed in this Ph.D. thesis concerns the design of machine learning and geometric deep learning models that estimate a holistic representation of a population of multigraph brain connectivity and use the learnable integration networks for classification tasks with application to gender fingerprinting. Male and female brains are demonstrated to be highly distinguishable. Understanding sex differences in the brain has implications for elucidating variability in the incidence and progression of the disease, psychopathology, and differences in psychological traits and behavior. Decoding the brain construct using diverse neuroimaging techniques seems to be the ultimate pursuit of neuroscientists as well as brain-imaging analysts to extract the difference in genders' brains, thus boosting the neurological disorder diagnosis and prognosis related to sex. Currently, where an increasing number of brain imaging is being collected to investigate both women and man brains at their different modalities, more advanced analytical tools are required to meet new challenges revealed by large, complex, and multi-source sets of brain networks. On one hand, the estimation of a connectional brain template (CBT) integrating a population of brain networks while capturing shared and differential connectional patterns across individuals remains unexplored in gender fingerprinting. On the other hand, multigraphs with heterogeneous views present one of the most challenging obstacles to classification tasks due to their complexity. Several works based on feature selection have been recently proposed to disentangle the problem of multigraph heterogeneity. However, such techniques have major drawbacks. First, the bulk of such works lies in the vectorization and the flattening operations, failing to preserve and exploit the rich topological properties of the multigraph. Second, they learn the classification process in a dichotomized manner where the cascaded learning steps are pieced in together independently. Hence, such architectures are inherently agnostic to the cumulative estimation error from step to step. To overcome these drawbacks, in this thesis, we propose a medical computer-aided diagnosis tool enabling us to address the key challenges related to brain networks collected from multiple sources/modalities. First, we proposed how to estimate representative and centered brain network atlases, which can be leveraged to identify discriminative brain connectivities between male and female populations across heterogeneous datasets. Perhaps one of the greatest scientific challenges is to create a representative map of a brain network population acting as a connectional fingerprint. A very recent concept -connectional brain template (CBT), presents a powerful tool for capturing the most important and discriminative traits of a specific population while preserving its topological patterns. The idea of a CBT is to integrate a population of heterogeneous brain connectivity networks into a unified representation. Specifically, we present the first study to estimate gender-specific CBTs using multi-view cortical morphological networks (CMNs) estimated from conventional T1-weighted magnetic resonance imaging (MRI). Specifically, each CMN view is derived from a specific cortical attribute (e.g. thickness), encoded in a network quantifying the dissimilarity in morphology between pairs of cortical brain regions. To this aim, we propose Multi-View Clustering and Fusion Network (MVCF-Net), a novel multi-view network fusion method, which can jointly identify consistent and differential clusters of multi-view datasets in order to capture simultaneously similar and distinct connectional traits of samples. Our MVCF-Net method estimates a representative and well-centered CBTs for male and female populations, independently, to eventually identify their fingerprinting regions of interest (ROIs) in four main steps. First, we perform multi-view network clustering model based on manifold optimization which groups CMNs into shared and differential clusters while preserving their alignment across views. Second, for each view, we linearly fuse CMNs belonging to each cluster, producing local CBTs. Third, for each cluster, we non-linearly integrate the local CBTs across views, producing a cluster-specific CBT. Finally, by linearly fusing the cluster-specific centers we estimate a final CBT of the input population. MVCF-Net produced the most centered and representative CBTs for male and female populations and identified the most discriminative ROIs marking gender differences. The most two gender-discriminative ROIs involved the lateral occipital cortex and pars opercularis in the left hemisphere and the middle temporal gyrus and lingual gyrus in the right hemisphere. Second, to address the major issues in classifying complex data, we put forward an integration learning which fuses multigraphs brain connectomes with the aim to boost classification performance using the integrated networks. Specifically, we introduce Multigraph Integration and Classifier Network (MICNet), the first end-to-end graph neural network-based model for multigraph classification. First, we learn a single-view graph representation of a heterogeneous multigraph using a GNN based integration model. The integration process in our model helps tease apart the heterogeneity across the different views of the multigraph by generating a subject-specific graph template while preserving its geometrical and topological properties. Second, we classify each integrated template using a geometric deep learning block which enables us to grasp the salient graph features of a specific population. We train, in end-to-end fashion, these two blocks using a single objective function to optimize the classification performance. We evaluate our MICNet in gender classification using brain multigraphs derived from different cortical measures. We demonstrate that our MICNet significantly outperformed its variants thereby showing its great potential in multigraph classification. Finally, we review current graph integration methods that estimate well-centered and representative brain connectional templates (CBTs) for populations of single-view and multigraph brain networks. Then, we conducted a comparison study on these generated CBTs by single-view and multigraph fusion methods to evaluate their performances, separately, based on the following criteria: centeredness, discriminability (biomarker-reproducibility), and topological soundness (node-level similarity, global-lever similarity, and distance-based similarity). We demonstrate that deep graph normalizer (DGN) method significantly outperforms other multi-graph and all single-view integration methods for estimating CBTs using a variety of healthy and disordered datasets in terms of centeredness, discriminability (i.e., graph-derived biomarkers reproducibility that disentangle the typical from the atypical connectivity variability), and preserving the topological traits at both local and global graph-levels.

Bu doktora tezinde geliştirilen çalışmada, çoklu grafik beyin bağlantısı popülasyonunun bütünsel bir temsilini tahmin eden ve cinsiyet parmak izine uygulama ile sınıflandırma görevleri için öğrenilebilir entegrasyon ağlarını kullanan makine öğrenimi ve geometrik derin öğrenme modellerinin tasarımı ile ilgilidir. Erkek ve kadın beyinlerinin son derece ayırt edilebilir olduğu gösterilmiştir. Beyindeki cinsiyet farklılıklarını anlamak, hastalığın görülme sıklığı ve ilerlemesindeki değişkenliği, psikopatolojiyi ve psikolojik özellikler ve davranışlardaki farklılıkları aydınlatmak için çıkarımlara sahiptir. Çeşitli nörogörüntüleme tekniklerini kullanarak beyin yapısını deşifre etmek, sinirbilimcilerin yanı sıra beyin görüntüleme analistlerinin cinsiyetlerin beyinlerindeki farkı ortaya çıkarmak için nihai arayışı gibi görünüyor, böylece nörolojik bozukluk teşhisini ve cinsiyetle ilgili prognozu güçlendiriyor. Şu anda, hem kadın hem de erkek beyinlerini farklı modalitelerinde araştırmak için artan sayıda beyin görüntülemenin toplandığı yerde, büyük, karmaşık ve çok kaynaklı beyin ağları setlerinin ortaya çıkardığı yeni zorlukların üstesinden gelmek için daha gelişmiş analitik araçlara ihtiyaç duyulmaktadır. Bir yandan, bireyler arasında paylaşılan ve farklı bağlantı kalıplarını yakalarken bir beyin ağları popülasyonunu bütünleştiren bir bağlantısal beyin şablonunun (CBT) tahmini, cinsiyet parmak izinde keşfedilmemiş kalır. Öte yandan, heterojen görünümlere sahip çoklu grafikler, karmaşıklıkları nedeniyle sınıflandırma görevlerinin önündeki en zorlu engellerden birini sunar. Son zamanlarda, çoklu grafik heterojenliği sorununu çözmek için öznitelik seçimine dayalı birkaç çalışma önerilmiştir. Bununla birlikte, bu tür tekniklerin önemli dezavantajları vardır. İlk olarak, bu tür çalışmaların büyük kısmı vektörleştirme ve düzleştirme işlemlerinde yatmakta olup, çoklu grafiğin zengin topolojik özelliklerini koruyamamakta ve kullanamamaktadır. İkinci olarak, kademeli öğrenme adımlarının bağımsız olarak bir araya getirildiği, sınıflandırma sürecini ikiye bölünmüş bir şekilde öğrenirler. Bu nedenle, bu tür mimariler, adım adım kümülatif tahmin hatasına doğal olarak agnostiktir. Bu dezavantajların üstesinden gelmek için, bu tezde, birden fazla kaynaktan/modaliteden toplanan beyin ağlarıyla ilgili temel zorlukları ele almamızı sağlayan tıbbi bilgisayar destekli bir teşhis aracı öneriyoruz. İlk olarak, heterojen veri kümelerinde erkek ve kadın popülasyonları arasındaki ayrımcı beyin bağlantılarını belirlemek için kullanılabilecek temsili ve merkezlenmiş beyin ağı atlaslarının nasıl tahmin edileceğini önerdik. Belki de en büyük bilimsel zorluklardan biri, bağlantı parmak izi görevi gören bir beyin ağı popülasyonunun temsili bir haritasını oluşturmaktır. Çok yeni bir kavram olan bağlantısal beyin şablonu (CBT), belirli bir popülasyonun topolojik modellerini korurken en önemli ve ayırt edici özelliklerini yakalamak için güçlü bir araç sunar. Bir BDT fikri, heterojen beyin bağlantı ağlarından oluşan bir popülasyonu birleşik bir temsile entegre etmektir. Spesifik olarak, geleneksel T1 ağırlıklı manyetik rezonans görüntülemeden (MRI) tahmin edilen çok görüntülü kortikal morfolojik ağları (CMN'ler) kullanarak cinsiyete özgü CBT'leri tahmin eden ilk çalışmayı sunuyoruz. Spesifik olarak, her CMN görünümü, kortikal beyin bölgeleri çiftleri arasındaki morfolojideki farklılığı ölçen bir ağda kodlanmış belirli bir kortikal öznitelikten (örn. kalınlık) türetilir. Bu amaçla, aynı anda benzer ve farklı bağlantı verilerini yakalamak için çoklu görünüm veri kümelerinin tutarlı ve farklı kümelerini ortaklaşa tanımlayabilen yeni bir çoklu görünüm ağ füzyon yöntemi olan Çoklu Görünüm Kümeleme ve Füzyon Ağı (MVCF-Net) öneriyoruz. örneklerin özellikleri. MVCF-Net yöntemimiz, erkek ve kadın popülasyonları için temsili ve iyi merkezli CBT'leri bağımsız olarak tahmin ederek, parmak izi alan ilgi bölgelerini (ROI'ler) dört ana adımda tanımlar. İlk olarak, CMN'leri paylaşılan ve diferansiyel kümeler halinde gruplandırırken görünümler arasındaki hizalarını koruyan manifold optimizasyonuna dayalı bir çoklu görünüm ağ kümeleme modeli gerçekleştiriyoruz. İkinci olarak, her görünüm için, yerel CBT'ler üreterek, her kümeye ait CMN'leri doğrusal olarak birleştiririz. Üçüncüsü, her küme için, kümeye özgü bir CBT üreterek yerel CBT'leri görünümler arasında doğrusal olmayan bir şekilde bütünleştiririz. Son olarak, kümeye özgü merkezleri doğrusal olarak birleştirerek, girdi popülasyonunun nihai bir CBT'sini tahmin ederiz. MVCF-Net, erkek ve kadın popülasyonları için en merkezli ve temsili CBT'leri üretti ve cinsiyet farklılıklarına işaret eden en ayrımcı ROI'leri belirledi. Cinsiyete dayalı en fazla iki ROI, sol hemisferde lateral oksipital korteks ve pars opercularis ve sağ hemisferde orta temporal girus ve lingual girus ile ilgiliydi. İkinci olarak, karmaşık verilerin sınıflandırılmasındaki ana sorunları ele almak için, entegre ağları kullanarak sınıflandırma performansını artırmak amacıyla çoklu grafik beyin bağlantılarını birleştiren bir entegrasyon öğrenimi ortaya koyduk. Spesifik olarak, çoklu grafik sınıflandırması için ilk uçtan uca grafik sinir ağı tabanlı model olan Multigraph Integration and Classifier Network'ü (MICNet) tanıtıyoruz. İlk olarak, GNN tabanlı bir entegrasyon modeli kullanarak heterojen bir çoklu grafiğin tek görünüşlü bir grafik temsilini öğreniyoruz. Modelimizdeki entegrasyon süreci, geometrik ve topolojik özelliklerini korurken konuya özel bir grafik şablonu oluşturarak çoklu grafiğin farklı görünümleri arasındaki heterojenliği ayırmaya yardımcı olur. İkinci olarak, belirli bir popülasyonun göze çarpan grafik özelliklerini kavramamızı sağlayan bir geometrik derin öğrenme bloğu kullanarak her bir entegre şablonu sınıflandırıyoruz. Sınıflandırma performansını optimize etmek için tek bir amaç fonksiyonu kullanarak bu iki bloğu uçtan uca bir şekilde eğitiyoruz. MICNet'imizi farklı kortikal ölçümlerden elde edilen beyin multigraflarını kullanarak cinsiyet sınıflandırmasında değerlendiriyoruz. MICNet'imizin varyantlarından önemli ölçüde daha iyi performans gösterdiğini ve böylece çoklu grafik sınıflandırmasındaki büyük potansiyelini gösterdiğini gösterdik. Son olarak, tek görüntülü ve çok grafikli beyin ağlarının popülasyonları için iyi merkezli ve temsili beyin bağlantı şablonlarını (CBT'ler) tahmin eden mevcut grafik entegrasyon yöntemlerini gözden geçiriyoruz. Ardından, performanslarını aşağıdaki kriterlere göre ayrı ayrı değerlendirmek için tekli görünüm ve çoklu grafik füzyon yöntemleriyle oluşturulan bu CBT'ler üzerinde bir karşılaştırma çalışması gerçekleştirdik: merkezlilik, ayırt edilebilirlik (biyobelirteç-tekrarlanabilirlik) ve topolojik sağlamlık (düğüm düzeyinde benzerlik, küresel kaldıraç benzerliği ve mesafeye dayalı benzerlik). Derin grafik normalleştirici (DGN) yönteminin, merkezlilik, ayırt edilebilirlik (yani, çözülen grafikten türetilen biyobelirteçler yeniden üretilebilirliği) açısından çeşitli sağlıklı ve düzensiz veri kümelerini kullanarak CBT'leri tahmin etmek için diğer çoklu grafik ve tüm tek görünüm entegrasyon yöntemlerinden önemli ölçüde daha iyi performans gösterdiğini ortaya koymuş (tipik olanı atipik bağlantı değişkenliğinden ayıran grafikten türetilen biyobelirteçler tekrarlanabilirliği) ve hem yerel hem de küresel grafik düzeylerinde topolojik özellikleri korunması sağlanmıştır.