Exploring the cognitive processes of map users employing eye tracking and EEG

Abstract

Understanding how our brain copes with complex visual information is a challenge for both cognitive psychology and cartography. If we pursue to design better and usable maps, we require building a better knowledge on the cognitive processes of map users. This thesis aims to contribute to the understanding of the cognitive processes of a group of map users in learning, acquiring and remembering information presented via digital 2D static maps. To be able to gain insight into the users' behaviors while they interact with maps, eye tracking (ET) and electroencephalogram (EEG) are enabled as synchronized data collection methods due to them being non-invasive and capturing direct responses of cognitive activities. Therefore, the preliminary goal of the research is to evaluate the use of ET and EEG for cartographic usability and spatial cognition research considering the technical and methodological aspects of this synchronization, also the limitations, possibilities and the contribution of EEG in the domain of cartography. The technical concerns refer to (i) the synchronization of ET and EEG recording systems, their accuracy and quality, and (ii) numerous processing steps (i.e. preprocessing, the alignment of the collected ET and EEG data, removal of non-cerebral activities from EEG data, segmentation and re-referencing). The methodological issues are situated in many aspects of the experimental design and its set-up, which includes identifying the research goals, participants, task and stimuli, psychological measures to use, evaluation methods and possible analyses of the collected data. These issues are pinpointed with respect to the existing literature, knowledge obtained from domain experts and hands-on experience in the neuro-lab. The fundamental object of the thesis is to investigate on the traditional expert-novice paradigm as expertise being one of the individual characteristics that influences the users' performance on map-learning tasks. Since maps are widely used by both experts and novices, to study their differences in spatial cognition enables us to determine how to use this input to enhance the map design leveraging the map users' cognitive abilities. Therefore, our main research questions are: 'Do map learning strategies of experts and novices differ? How does the cognitive load vary between expert and novices?' In this context, we conducted two mixed-methods user experiments focusing on the cognitive strategies of a group of expert and novice map users and investigated their spatial memory capabilities through cognitive load measurements. First experiment had a simple design and an exploratory characteristic, since we would initially assure that the eye tracking and EEG synchronization is of sufficient quality to explore users' cognitive behaviors towards map stimuli. Accordingly, it consisted of single trials and participants were instructed to study the main structuring elements of a map stimulus (i.e. roads, settlements, hydrography, and green areas) without any time constraints in order to draw a sketch map afterwards. On the one hand, the performance of the participants was assessed based on the order with which the objects were drawn on the digital sketch maps and the influence of a subset of visual variables (i.e. presence & location, size, shape, color). On the other hand, trial durations and eye tracking statistics such as the average duration of fixations, and number of fixations per seconds were compared. Moreover, selected AoIs, which represent the main structuring elements of the map stimulus, were explored to gain a deeper insight on visual behavior of map users. Based on the evaluation of the drawing order, we observed that experts and males drew roads first whereas; novices and females focused more on hydrographic object. According to the assessment of drawn elements, no significant differences emerged between neither experts and novices, nor females and males for the retrieval of spatial information presented on 2D maps with a simple design and content. The differences in trial durations between novices and experts were not statistically significant while both studying and drawing. Similarly, no significant difference occurred between female and male participants for either studying or drawing. Eye tracking metrics also supported these findings. For average duration of fixation, there was found no significant difference between experts and novices, as well as between females and males. Similarly, no significant differences were found for the mean number of fixation. Furthermore, based on results of time to first fixation, dwell time, fixation count, the number of fixations per second, average fixation duration for selected AoIs, the larger AoIs were gazed at earliest and the dwell times for such objects were much longer compared to those for other AoIs. The linear features were easier to learn and remember, although the viewer did not pay much attention. Longer average fixation durations for a specific AoI indicated that the chances were higher to remember that object. The objects that were absent on the sketch map received the shortest fixation durations during the study phase. However, longer fixation durations may also indicate participants' difficulty to recognize the information in the map stimulus. Regarding to the EEG Frontal Alpha Asymmetry calculations, both user groups showed greater relative right frontal activation, which is in association with the less attentional, and focus performance. The difference between experts and novices was not significant, similar to the eye tracking results. On the contrary, alpha power averaged across all electrodes demonstrated that the novices exhibited significantly lower alpha power, indicating a higher cognitive load. On the contrary, in Experiment 2, a complex and more structured approach was followed as a result of learning from the previous experiment and collaborating with the domain experts. This experiment contained a larger number of stimuli were used to study the effect of task difficulty (i.e. easy, moderate, hard) on the retrieval of map-related information. Next to the reaction time and success rate, we used fixation and saccade related eye tracking metrics (i.e., average fixation duration, the number of fixations per second, saccade amplitude and saccade velocity), and the event-related changes in EEG power spectral density (PSD) for alpha and theta frequency bands to identify the cognitive load. While fixation metrics and the qualitative analysis of the randomly selected focus/heat maps summarizing the participants' fixation behaviors indicated no statistically significant difference between experts and novices, saccade metrics proved the otherwise. EEG power spectrum analysis, on the other side, suggested an increase in theta power (i.e. event-related synchronization) and a decrease in alpha power (except moderate tasks) (i.e. event-related desynchronization) at all difficulty levels of the task for both experts and novices, which is an indicator of cognitive load. Although no significant difference emerged between two groups, we found a significant difference in their overall performances when the participants were classified as good and relatively bad learners. Triangulating EEG results with the recorded eye tracking data and the qualitative analysis of randomly selected focus maps indeed provided a detailed insight on the differences of the individuals' cognitive processes during this spatial memory task. The qualitative analysis with the 10 randomly selected focus/heat maps provided a general overview of the participants' attentional behavior towards the map elements of interest and the similarities related to their map learning strategies. However, for measurable results, we selected one map stimulus and drew AoIs around key elements of maps (i.e. green areas, water bodies, major rivers and roads, road junctions) to analyze the attention distribution of the participants using average fixation duration, time to first fixation and the number of map objects covered within AoIs. Although the results are preliminary, we found out that the eye scans through linear objects and fixates/focuses on the polygon objects. The location of the map elements is more influential on the participants' gaze behavior compared to its size. The fixation durations within the (relevant) AoIs did not depend on the task difficulty. Additionally, our analysis showed that the GL experienced the least cognitive and this finding supports the evaluation of the participants by classifying them as "good learners and bad learners" during the usability tests of maps designed for general users with basic map learning tasks. In order to increase the understandability and usability of cartographic products, the results of this research can be used as guiding experiences in production processes where design methods that minimize the factors that negatively affect user perception (e.g. exaggeration, reduction of emphasis, utilizing the visualization elements to increase visual extraction such as grids).

Beynimizin karmaşık görsel bilgilerle nasıl başa çıktığını anlamak hem bilişsel psikoloji, hem de bilişsel kartografya için bir zorluktur. Daha iyi ve kullanılabilir haritalar tasarlamayı hedefliyorsak, harita kullanıcılarının bilişsel süreçleri hakkında daha iyi bilgi sahibi olmamız gerekir. Bu tez, harita kullanıcılarının iki boyutlu (2B) sayısal statik haritalar aracılığıyla sunulan içeriği öğrenme, bilgi çıkarımı yapma ve hatırlamadaki bilişsel süreçlerinin anlaşılmasına katkıda bulunmayı amaçlamaktadır. Kullanıcıların haritalarla etkileşim halindeyken sergilediği davranışlara ilişkin içgörü elde etmek amacıyla, invazif olmayan ve bilişsel aktiviteyi doğrudan ölçmeyi sağlayan göz izleme (eye tracking) ve elektroensefalogram (EEG), senkronize veri toplama yöntemleri olarak kullanılmıştır. Bu nedenle, araştırmanın öncül amacı, bu senkronizasyonun teknik ve metodolojik unsurlarına ilişkin kısıt ve imkanlarını dikkate alarak, kartografik kullanılabilirlik (usability) ve mekansal biliş araştırmaları özelinde sunduğu olanakları değerlendirmek ve ayrıca EEG'nin geomatik ve kartografya disiplinlerine potansiyel katkısını ortaya koymaktır. Teknik unsurlar, (i) göz izleme ve EEG kayıt sistemlerinin senkronizasyonu, doğruluğu ve veri kalitesi ile (ii) çok sayıda veri işleme adımlarından oluşur (örn. ön işleme, toplanan göz izleme ve EEG verilerinin çakıştırılması (offline synchronization), serebral olmayan EEG aktivitelerin ayıklanması, segmentasyon, yeniden referanslama). Metodolojik unsurlar ise araştırma hedefleri, katılımcılar, görev ve uyaranlar, analizlerde kullanılacak psikolojik ölçme metrikleri ve toplanan verilerle gerçekleştirilecek olası analizlerin saptanması gibi konuları içermek üzere, deneysel tasarım ve kurulum ilkeleri etrafında toplanmıştır. Tez kapsamında bu konular, mevcut literatür, alanında uzman kişilerden edinilen bilgiler ve deneylerin gerçekleştirildiği nöro-laboratuvardaki deneyimler göz önünde bulundurularak ele alınmıştır. Doktora çalışmasının temel amacı, harita kullanıcılarının harita öğrenme (map learning) performanslarını etkileyen bireysel özelliklerden biri olan uzmanlığın etkisini geleneksel uzman-acemi paradigması çerçevesinde araştırmaktır. Haritalar, günümüzde hem uzmanlar, hem de uzman olmayanlar tarafından yaygın olarak kullanıldığından, harita kullanıcılarının mekansal bilişteki (spatial cognition) farklılıklarını incelemek, bu girdinin onların bilişsel yeteneklerinden yararlanarak harita tasarımını geliştirmek için nasıl kullanılacağını belirlenmesine öncü olur. Bu nedenle, temel araştırma soruları: "Uzman ve uzman olmayan kullanıcıların harita öğrenme stratejileri farklı mıdır? Bilişsel yük (cognitive load), bu kullanıcılar arasında nasıl farklılık gösterir?" Bu bağlamda, uzman ve uzman olmayan harita kullanıcılarının bilişsel stratejilerini tespit etmeye yönelik, iki tane karma yöntemli kullanıcı deneyi (mixed-methods user experiment) gerçekleştirilmiş ve bilişsel yük ölçümleri aracılığıyla harita kullanıcılarının mekansal bellek (spatial memory) yetenekleri araştırılmıştır. Başlangıçta göz izleme ve EEG senkronizasyonunun, kullanıcıların harita uyaranlarına yönelik bilişsel davranışlarını saptamak için yeterli kalitede olduğu şartını sağlamak amacıyla, ilk deney basit bir tasarıma fakat keşifsel (exploratory) bir özelliğe sahiptir. Buna göre, ilk deney tek bir harita öğrenme görevinden (single trials) oluşmakta ve bu kapsamda katılımcılara daha sonradan dijital ortamda taslak (eskiz) haritasını (sketch map) çizmek üzere, herhangi bir zaman kısıtlaması olmadan basitleştirilmiş bir topografik harita uyaranının temel yapı elemanlarını (yollar, yerleşim bölgeleri, hidrografik objeler ve yeşil alanlar) ezberlemeleri talimatı verilmiştir. Bir yandan, katılımcıların performansı harita nesnelerinin taslak haritadaki çizim sırasına ve görsel değişkenlerin (örn. konum, boyut, şekil, renk) ifade edilişine göre değerlendirilirken, diğer yandan katılımcıların deney tamamlama süreleri ile ortalama sabitleme süresi (average fixation duration) ve saniyedeki sabitleme sayısı (number of fixations per second) gibi göz izleme istatistikleri karşılaştırılmıştır. Ayrıca, harita kullanıcılarının görsel davranışları hakkında daha detaylı bir fikir edinmek amacıyla, haritanın temel yapı elemanlarını temsilen seçilen AoI'ler (ilgi alanları) incelenmiştir. Çizim sırasının değerlendirmesine göre, uzmanların ve erkeklerin önce yol nesnelerini; uzman olmayanların ve kadınların ise önce hidrografik nesneleri çizdikleri görülmüştür. Taslak haritalar üzerine çizilmiş nesnelerin değerlendirmesine göre, basit bir tasarım ve içeriğe sahip 2B haritalarda sunulan mekansal bilgilerin hatırlanması görevinde, ne uzman ve uzman olmayanlar, ne de kadın ve erkek katılımcılar arasında performans açısından anlamlı bir fark ortaya çıkmıştır. Aynı durum, harita içeriğini ezberleme ve taslak haritaların çizimini kapsayan deney sürelerindeki farklılıklar için de geçerlidir. Göz izleme metrikleri de bu bulguları desteklemekte; ne ortalama sabitleme süresi, ne de ortalama sabitleme sayısı için uzman ve uzman olmayanlar ile kadın ve erkek katılımcılar arasında anlamlı bir fark bulunmaktadır. Ayrıca, ilk sabitleme süresi, bakma süresi (dwell time), sabitleme sayısı, saniye başına sabitleme sayısı, seçilen AoI'ler için ortalama sabitleme süresi sonuçlarına dayanarak, katılımcılar öncelikle alansal olarak büyük AoI'lere dikkatlerini yöneltmişlerdir ve bu nesneler için bakma sürelerinin çok daha uzun olduğu saptanmıştır. Katılımcıların fazla dikkat harcamadan çizgisel detayları öğrenmesi ve hatırlaması daha kolay olmuştur. Belirli bir AoI'ye olan ortalama sabitleme süresinin uzaması, o nesneyi hatırlama şansının da artması şeklinde yorumlanabilir. Taslak haritalarda bulunmayan nesneler, harita içeriğini ezberleme aşamasında da en kısa sabitleme sürelerini almıştır. Ancak, daha uzun sabitleme süreleri, katılımcıların harita uyaranın içerdiği bilgileri tanıma güçlüğü ile de ilişkilendirilebilir. EEG frontal alfa asimetrisi (FAA) hesaplamaları, hem uzman, hem de uzman olmayan harita kullanıcılarının daha büyük göreceli sağ frontal aktivasyon sergilediklerine işaret etmektedir; sağ frontal aktivasyon düşük dikkat ve odak performansı ile ilişkilendirilmektedir. Göz izleme sonuçlarına benzer şekilde, FAA sonuçları da bu iki grup arasındaki farkın anlamlı olmadığını göstermesine karşın; tüm elektrotlar üzerinden hesaplanan ortalama alfa gücünün, uzman olmayanlarda önemli ölçüde daha düşük olması, harita öğrenme görevinini uzman olmayanlarda daha yüksek bir bilişsel yüke yol açtığı şeklinde yorumlanmıştır. İkinci deneyde, önceki deneyden edinilen deneyimler ve deneysel psikoloji uzmanlarıyla işbirliği sonucunda, ilk deneye göre daha karmaşık ve yapılandırılmış bir yaklaşım izlenmiştir. Bu deney kapsamında görev zorluğunun (e.g. kolay, orta, zor) harita içeriğinin hatırlanması üzerindeki etkisini incelemek amacıyla çok sayıda uyaran kullanmıştır. Bilişsel yükü tanımlamak için reaksiyon süresi ve başarı oranlarının yanı sıra, sabitleme ve sekme (saccade) ile ilişkili göz izleme metrikleri (i.e. ortalama sabitleme süresi, saniyedeki sabitleme sayısı, sekme genliği ve sekme hızı) ve EEG'de görülen olaya bağlı değişiminin alfa ve teta bantları için hesaplanan güç spektral yoğunluğu (PSD) kullanılmıştır. Sabitleme metrikleri ve katılımcıların sabitleme göz hareketlerini özetleyen ve rastgele seçilen odak/ısı haritalarının (focus/heat maps) nitel analiz sonuçları, uzman ve olmayan katılımcılar arasında istatistiksel olarak anlamlı bir fark göstermemekle birlikte, sekme metrikleri aksini göstermektedir. Öte yandan, EEG güç spektrumu analizleri, her iki grup için de tüm görev zorluk seviyelerinde, tetada artışa (yani olayla ilgili senkronizasyon) ve alfada ise (orta düzey görevler hariç) azalmaya (yani olayla ilgili senkronizasyonun azaltılması) işaret etmektedir. Uzman ve olmayan grup arasında anlamlı bir fark görülmezken, katılımcılar iyi öğrenenler (good learners) ve görece kötü öğrenenler (relatively poor learners) olarak sınıflandırıldığında bu iki grubun genel performansları arasında anlamlı bir farka rastlanmıştır. EEG sonuçlarını, göz izleme metrikleri ve odak/ısı haritalarının analiz sonuçları ile birleştirilerek aslında bu mekansal bellek görevi sırasında bireylerin bilişsel süreçlerinin farklılıkları hakkında ayrıntılı bir içgörü elde edilmiştir. Rastgele seçilen 10 adet odak/ısı haritası ile yapılan nitel analiz, katılımcıların ilgilenilen harita öğelerine karşı dikkate yönelik davranışlarına ve harita öğrenme stratejileriyle ilgili benzerliklere sadece genel bir bakış sağlamıştır. Ölçülebilir sonuçlar için, seçilen bir harita uyaranına ait temel yapı elemanları (i.e. yeşil alanlar, su kütleleri, büyük nehirler ve yollar ve yol kavşakları) etrafına AoI'ler çizilmiş ve bu AoI'lere ilişkin ortalama sabitleme süresi, ilk sabitleme süresi ve AoI'lerde kapsanan harita nesnesi sayısı metriklerinden yararlanılarak katılımcıların dikkat dağılımını analiz edilmiştir. Elde edilen birincil sonuçlara göre, gözün çizgisel objeleri taradığı ve alansal objelere sabitlendiğii/odaklandığı, harita objelerinin konumunun, katılımcıların algısı üzerindeki etkisinin, objelerin boyutuna oranla daha fazla olduğu saptanmıştır. Görevle ilgili AoI'lere olan sabitleme sürelerinin görev zorluğuna bağlı olmadığı gözlenmiştir. Ayrıca yapılan analizlerde iyi öğrenenler grubunun en az bilişsel yükü sergilediği görülmüştür; bu durum, temel harita öğrenme görevleriyle genel kullanıcılar için tasarlanmış haritaların kullanılabilirlik testleri sırasında katılımcıların "iyi öğrenenler ve kötü öğrenenler" şeklinde sınıflandırılarak değerlendirilmesini desteklemektedir. Bu araştırmanın sonuçları; kartografik ürünlerin anlaşılabilirliğini ve kullanılabilirliğini artırmak için kullanıcı algısını olumsuz etkileyen faktörlerin en aza indirgenmesini sağlayan tasarım yöntemlerinin (abartma, vurguyu azaltma, grid/kareler ağı gibi görsel çıkarımını artırmaya yönelik görselleştirme öğelerinden yararlanılması gibi) uygulandığı üretim süreçlerinde yol gösterici deneyimler olarak kullanılabilir.