Design of seafarer-centric safety system; mental workload (MWL) prediction

Abstract

It is known that human factor has a major effect on maritime casualties that cause great harm to environment, economy and maritime sector. It was stated that while human error is the primary contributor of accidents, a good part of collisions and groundings were related to mental workload (MWL) of watchkeeping officers. Automation, mechanization and the introduction of new technologies had changed the working conditions together with reducing the number of crew and increasing the MWL of operators. This clearly indicates that human element related issues will continue to be one of the major issues in marine transportation assets. In maritime-related studies, it has been analysed mostly how the ship's environment, working period and other factors affect the seafarers. Almost all maritime-related studies couldn't have a potential to develop MWL prediction system for maritime operations aspect. However, lots of studies on drivers and pilots, have produced successful results for MWL prediction. Taking into consideration the fact that MWL has major contribution to maritime casualties, the development of real-time MWL prediction system is vitally essential for ships. By implementing the similar measurement techniques used in the studies on drivers and pilots, to maritime transportation, this study aims to classify the physiological responses of the operators that can produce an output for state of officer on duty as "Safe" or "Risky" from the collected physiological data and task load data during the seaborn operations. This study predicates on the theories which are the statement "minimum performance requires sufficient behavioural activity" of Sheridan and Simpson (1979) together with inverted U function of Yerkes and Dodson (1908) which presents the relationship between arousal and performance. Moreover, the theory of Young et al. (2015) which presents the relationship among mental workload, performance, task demand and resource supply and indicates the overload region, guides this study in terms of building the structure of the experimental research. By being predicated on the above-mentioned theories, this study aimed to design Cognitive Seafarer - Ship Interface (CSSI) which is a main part of Seafarer-Centric Safety System. The physiological data of the 17 junior deck officers (12 subjects performed navigation scenario, 5 subjects performed cargo operation scenario) was recorded according to the design. By being correlated with the performance of the officer, the change of physiological responses of the subjects were analysed in low and high task load levels. The medical decision-making process, which deduced "Safe" or "Risky", was run for this change. For performance measurement that is a part of triangulated measurement strategy (Wierwille and Eggemeier, 1993), Officer Performance Model which is used for MWL classification, was developed for navigation and cargo operation tasks. Additionally, the inputs of Task Load Estimator were defined as data transcription from navigational aids according to results of classification. In summary, the following process were done and results were found. Firstly, the navigation and cargo operation scenarios were created to simulate ship environment. The difficulty level of navigation scenario was gradually adjusted (in order to prevent acquired skill) according to traffic density, visibility and geography by combining in 4 steps. The difficulty level of cargo operation scenario was gradually adjusted according to type and number of operation and operation period corresponding to a real cargo operation by combining in 3 steps. Task load assessments of the scenarios were carried out according to Operator Function Model (OFM-COG) and its sample implications in literature. The results of NASA-TLX scores of the subjects supported the increase of task load levels of the scenarios. ANOVA results showed that there are significant differences in the NASA-TLX scores of 5 different dimensions and in total, among 4 steps which have different task load levels for navigation scenario. Similarly, ANOVA results showed that there are significant differences in the NASA-TLX scores of 3 different dimensions and in total among 3 steps which have different task load levels for cargo operation scenario. According to the subjective assessments of the subjects, MWL increased during the both of navigation and cargo operation scenarios. Secondly, ROC curve analysis was performed for validation of developed officer performance model. Recorded performances of the participants were evaluated as "safe" and "risky" for each task by one ocean going Master expert for navigation tasks and by one ocean going Chief Officer for cargo operation tasks. According to the ROC curve analysis, developed officer performance model was validated with high significance and AUC values. These results showed that the developed officer performance model can be used in any study focused on performance measurement in navigation and chemical tanker cargo operations. Being validated measurement method, performances of the subjects showed that there is a negative significant correlation between performance score and task load in both of navigation and cargo operation tasks. With the distinction of the task load as high task load and low task load, the performance scores were also found significantly different in low and high task loads for both of navigation and cargo operation tasks. Thirdly, physiological responses of the subjects were often differentiated between low and high task loads. Although the change of time-based heart rate variability (HRV) features was not found meaningful according to literature during the increase of task load, the change of frequency-based, time-frequency and nonlinear HRV features were found significant and meaningful during the increase of task load. Moreover, the change of some electrodermal activity (EDA) features and some eye responses were found significant in this study. However, the change of EDA responses was not found strongly correlated with the increase of task load. This can be explained by the fact that electrodermal activity occurs in stressful conditions rather than mental workload. The "frustration" scores of the NASA-TLX supported the fact that the subjects didn't feel so stressed during the tasks. On the other hand, the change of pupil diameter features was found significant and meaningful during the increase of task load in navigation tasks but in cargo operation tasks. Additionally, the change of blink frequency features varied across the scenarios. The variable results of eye responses are thought that the selectivity of eye blinks and pupil diameter to MWL is low according to literature. Additionally, the reason of the fact that the change of some eye features was significant during the increase of task load is thought to be related with the characteristics of eye responses that pupil diameter change is correlated highly with error rate and blink rate increases in incorrect responses rather than correct responses. Therefore, these significances can be explained with the decrease of performance together arising from the increase of task load. On the other hand, the correlations between HRV and EDA features, HRV and eye features, EDA and eye features were found significant and meaningful in mental workload theory. Classification process was carried out with artificial neural network (ANN) code and "Classification Learner" tool of Matlab 2020a. Although the results of the classifications of the subjects' physiological responses on high and low task loads in this study did not give very good accuracies, compared with the studies in literature, they gave sufficient results. The classification accuracies, 75.7% in testing, 83.3% in all for navigation tasks, 80.0% in testing, 92.5% in all for cargo operation tasks and 61.3% in testing, 77.0% in all for cross-task classification have been found similar to those stated in the related studies whose mental workload and stress classification accuracies vary between 70.48% and 98%. According to classification efforts of physiological responses on high task load and low task load levels and performance scores of the subjects, the red lines of task demand became appear in this study. Continuing from the aim of Orlandi and Brooks (2018) and the contributions to MWL prediction in marine engine operations of Yan et al. (2019), the red lines of task demand in ship navigation was tried to determine in this study. Classification of physiological responses and the distinction of the task loads according to the performances of the subjects have ensured the task load to be separated as high task load and low task load. Thus, the inputs of the Cognitive Seafarer-Ship Interface (CSSI) were formed with the outputs of high task load details for navigation and the physiological responses given as features (classified in this study). CSSI processes the task loading together with physiological data of the officer and gives an output as "Risky" for safety of navigation in "The future Seafarer-Centric Safety System design" to be used on ships or at the Shore Control Centre for autonomous ships in future. Consequently, this study will contribute to literature, being the first study in terms of predicting MWL for navigation and cargo operations in maritime transportation. In addition, this study will be a guide for future studies as it reveals the design of the "Seafarer-Centric Safety System" to be developed in order to minimize maritime casualties.

Çevreye, ekonomiye ve denizcilik sektörüne büyük zararlar veren deniz kazalarında insan faktörünün büyük bir etkisi olduğu bilinmektedir. İnsan hatalarının kazaların başlıca sebebi olduğu belirtilirken, çatışma ve karaya oturma olaylarının nedenlerinin önemli bir kısmının vardiya zabitlerinin mental iş yükü (MWL) ile ilgili olduğu belirtilmektedir. Otomasyon, mekanizasyon ve yeni teknolojilerin girmesi çalışma koşullarını değiştirdi. Değişen çalışma koşullarında gemi personel sayısı azaldı ve dolayısıyla vardiya zabitlerinin mental iş yükleri arttı. Bu durum, insan unsuru ile ilgili konuların deniz taşımacılığında önemli konulardan biri olmaya devam edeceğini açıkça göstermektedir. Denizcilikle ilgili yapılan çalışmalarda daha çok gemi ortamının, çalışma süresinin ve diğer faktörlerin denizcileri nasıl etkilediği analiz edilmiştir. Denizcilikle ilgili hemen hemen tüm çalışmalar, denizcilik operasyonları açısından mental iş yükü ile ilgili bir uyarı sistemi geliştirme potansiyeline sahip değildir. Bununla birlikte, sürücüler ve pilotlar üzerinde yapılan birçok çalışma, mental iş yükü ölçümlerinde başarılı sonuçlar vermiştir. Mental iş yükünün deniz kazalarına büyük etkisi olduğu göz önüne alındığında, gerçek zamanlı bir mental iş yükü öngörü sisteminin geliştirilmesi gemiler için hayati önem taşımaktadır. Bu çalışma, sürücü ve pilotlar üzerinde yapılan çalışmalarda kullanılan benzer ölçüm tekniklerini deniz taşımacılığına da uygulayarak, denizcilik operasyonları süresince toplanan fizyolojik ve iş yükü verilerinden vardiya zabitinin durumuna dair "Emniyetli" veya "Riskli" çıkarımı üretebilecek bir fizyolojik veri sınıflaması yapmayı amaçlamaktadır. Bu çalışma, Sheridan ve Simpson'ın (1979) "asgari performans yeterli davranışsal aktivite gerektirir" önermesi ile uyarılma ve performans arasındaki ilişkiyi ortaya koyan Yerkes ve Dodson'ın (1908) ters U eğrisi teorilerini temel almaktadır. Ayrıca, Young ve arkadaşlarının (2015) mental iş yükü, performans, görev talebi ve mental kaynak arzı arasındaki ilişkiyi ortaya koyan ve aşırı yüklenme bölgesini gösteren teorisi, bu çalışmanın deneysel araştırma yapısını oluşturması açısından temelini oluşturmuştur. Bu çalışma, yukarıda bahsedilen teorilere dayanılarak, Gemi İnsanı - Merkezli Emniyet Sisteminin ana parçası olan Bilişsel Gemi İnsanı - Gemi Arayüzü (CSSI) tasarlamayı amaçlamış ve bu amaçla simulator ortamında 17 güverte zabitinin (12 katılımcı seyir senaryosunu, 5 katılımcı kimyasal tanker yük operasyonu senaryosunu icra etmişlerdir) fizyolojik verileri tasarıma göre kaydedilmiştir. Katılımcıların performansları ile ilişkilendirilerek düşük ve yüksek iş yükü seviyelerinde katılımcıların fizyolojik tepkilerinin değişimi analiz edilmiştir. Bu değişim için "Emniyetli" veya "Riskli" çıkarımı yapan "Tıbbi Karar Verme" süreci yürütülmüştür. Mental iş yükü sınıflandırmasında kullanılmak üzere, üçlü ölçüm stratejisinin bir parçası olan performans ölçümü için (Wierwille ve Eggemeier, 1993), seyir ve yük operasyon görevlerini içeren Vardiya Zabiti Performans Modeli geliştirilmiştir. Ayrıca sınıflandırma sonuçlarına göre, iş yükü estimator girdileri seyir yardımcılarından veri transkripsiyonu olarak tanımlanmıştır. Özetle tez boyunca aşağıdaki süreçler işletilmiş ve ilgili sonuçlara ulaşılmıştır. İlk olarak, gemi ortamını simüle etmek için seyir ve yük operasyonu senaryoları oluşturulmuştur. Seyir senaryosunun zorluk seviyesi (kazanılan beceriyi önlemek için) trafik yoğunluğu, görüş ve coğrafi bölgeye göre kademeli olarak ayarlanarak senaryo 4 aşamada birleştirilerek oluşturulmuştur. Yük operasyonu senaryosunun zorluk seviyesi ise, operasyon tipi ve sayısı ile gerçek bir yük operasyonunda denk gelen farklı operasyon süreçlerine göre kademeli olarak ayarlanarak senaryo 3 aşamada birleştirilerek oluşturulmuştur. Senaryoların iş yükü değerlendirmeleri ise Operatör Fonksiyon Modeli (OFM-COG) ve bu modelin literatürdeki örnek uygulamalarına göre yapılmıştır. Katılımcıların mental iş yüklerini ölçmek üzere kullanılan NASA-TLX anket sonuçları, senaryoların iş yükü seviyelerinin artışını destekler niteliktedir. ANOVA sonuçları, seyir senaryosu için farklı iş yükü seviyelerine sahip 4 aşama arasında 5 farklı boyutta ve toplamda NASA-TLX sonuçlarında önemli farklılıklar olduğunu göstermiştir. Benzer şekilde ANOVA sonuçları, yük operasyonu senaryosu için farklı iş yükü seviyelerine sahip 3 aşama arasında 3 farklı boyutta ve toplamda NASA-TLX sonuçlarında önemli farklılıklar olduğunu göstermiştir. Katılımcıların sübjektif değerlendirmelerine göre, hem seyir hem de yük operasyonu senaryoları sırasında mental iş yükleri artmıştır. İkinci olarak, geliştirilen vardiya zabiti performans modelinin doğrulanması için ROC eğri analizi yapılmıştır. Katılımcıların kaydedilen performansları, seyir görevleri için bir uzakyol kaptanı tarafından, yük operasyonu görevleri için kimyasal tanker tecrübeli bir uzakyol birinci zabiti tarafından "emniyetli" ve "riskli" olarak değerlendirildi. ROC eğrisi analizine göre, geliştirilen vardiya zabiti performans modeli yüksek anlamlılık ve AUC değerleri ile doğrulanmıştır. Bu sonuçlar, geliştirilen vardiya zabiti performans modelinin seyir ve kimyasal tanker yük operasyonlarında performans ölçümüne odaklanan herhangi bir çalışmada kullanılabileceğini göstermiştir. Doğrulanan performans ölçüm metodu ile katılımcıların performansları, hem seyir hem de yük operasyonu görevlerinde performans sonuçları ile iş yükü arasında negatif ve anlamlı bir ilişki olduğunu göstermiştir. İş yükünün yüksek iş yükü ve düşük iş yükü olarak ayrılmasıyla, hem seyir hem de yük operasyonu görevleri için düşük ve yüksek iş yüklerinde performans sonuçları da önemli ölçüde farklı bulunmuştur. Üçüncü olarak, katılımcıların fizyolojik tepkileri genellikle düşük ve yüksek iş yükleri arasında değişiklik göstermiştir. İş yükünün artması sırasında zaman bazlı kalp hızı değişkenliği (HRV) özniteliklerinin değişimi literatüre göre anlamlı bulunmazken, frekans bazlı, zaman-frekans ve doğrusal olmayan HRV özniteliklerindeki değişim anlamlı bulunmuştur. Ayrıca bu çalışmada bazı elektrodermal aktivite (EDA) özniteliklerinin ve bazı göz tepkilerinin değişimi de anlamlı bulunmuştur. Fakat, elektrodermal aktivitedeki değişimin, iş yükündeki artışla olan ilişkisi güçlü bir şekilde değerlendirilememiştir. Bu, elektrodermal aktivitenin mental iş yükünden ziyade stresli koşullarda ortaya çıkmasıyla açıklanabilir. Ayrıca, NASA-TLX'in "frustrasyon" sonuçları, katılımcıların görevler sırasında çok stresli hissetmediği sonucunu desteklemiştir. Öte yandan, iş yükünün artması sırasında katılımcıların gözbebeklerindeki değişim, seyir görevlerinde anlamlı bulunurken yük operasyonu görevlerinde anlamlı bulunmamıştır. Ek olarak, göz kırpma frekansındaki değişim senaryolar arasında değişiklik göstermiştir. Göz tepkilerinin değişken sonuçlarının, literatüre göre göz kırpma frekansının ve göz bebeği çapının mental iş yükünde seçiciliğinin düşük olmasından kaynaklandığı düşünülmektedir. Ayrıca, iş yükünün artması sırasında bazı göz tepkilerindeki değişimin anlamlı bulunması, göz hareketlerinin karakteristik özellikleri ile açıklanabilir ki gözbebeğindeki değişim, görevlerdeki hata oranı ile yüksek ilişkilidir ve göz kırpma frekansı görevler süresince verilen doğru aksiyonlardan ziyade yanlış akisyonlarda artmaktadır. Dolayısıyla bu anlamlılıklar, iş yükünün artması sonucunda performansın azalmasıyla birlikte açıklanabilir. Öte yandan, HRV ve EDA, HRV ve göz hareketleri, EDA ve göz hareketleri arasındaki ilişkiler mental iş yükü teorilerine göre anlamlı bulunmuştur. Sınıflama işlemleri yapay sinir ağları (YSA) kodu ve Matlab 2020a'nın "Classification Learner" aracı ile gerçekleştirilmiştir. Katılımcıların, yüksek ve düşük iş yüklerindeki fizyolojik tepkilerinin sınıflama sonuçları çok yüksek değerler vermese de literatürdeki çalışmalarla karşılaştırıldığında yeterli sonuçlar vermiştir. Seyir görevlerinde toplanan veriler için testte %75.7, tümünde %83.3, yük operasyonu görevlerinde toplanan veriler için testte %80.0, tümünde %92.5 ve görevler arası sınıflandırmada testte %61.3, tümünde %77.0 bulunan sınıflama başarıları, mental iş yükü ve stres sınıflamaları yapılan çalışmalardaki sınıflama başarıları ile benzerlik göstermiştir. Bu çalışmalardaki sınıflama başarıları %70.48 ile %98 arasında bir değer almaktadır. Yüksek iş yükü ve düşük iş yükü seviyelerindeki fizyolojik tepkilerin sınıflama çabalarına ve katılımcıların performans sonuçlarına göre, bu çalışmada bir vardiya zabitinin emniyetli bir şekilde görev yapabileceği maksimum iş yükü belirginleşmiştir. Orlandi ve Brooks'un (2018) amacından ve Yan ve arkadaşlarının (2019) gemi makineleri operasyonlarında mental iş yükü ölçümü katkılarından devam ederek, bu çalışmada gemi seyrinde iş yükünün kırmızı çizgileri belirlenmeye çalışılmıştır. Fizyolojik tepkilerin sınıflanabilmesi ve katılımcıların performanslarının iş yüküne göre keskin bir şekilde ayrılabilmesi, iş yükünün yüksek iş yükü ve düşük iş yükü olarak ayrılmasını sağlamıştır. Böylece, Bilişsel Gemi İnsanı - Gemi Arayüzü'nün (CSSI) girdileri, seyir için yüksek iş yükü estimator çıktıları ve öznitelikleri ile belirtilen fizyolojik tepkilerin çıktıları ile oluşturulmuştur. Bu doktora tezi ile CSSI, gemilerde veya otonom gemiler için Kıyı Kontrol Merkezlerinde kullanılmak üzere "Geleceğin Gemi İnsanı - Merkezli Emniyet Sistemi tasarımı" nda, iş yükünü vardiya zabitinin fizyolojik verileri ile birlikte işleyerek ve seyir emniyeti için "Riskli" olarak uyarı verebilecek bir arayüz olarak tanımlanmıştır. Sonuç olarak, bu çalışma deniz taşımacılığında seyir ve yük operasyonları için mental iş yükünün öngörülebilmesi açısından ilk olması vesilesiyle literatüre katkı sağlayacaktır. Ayrıca bu çalışma, deniz kazalarını en aza indirebilecek bir "Gemi İnsanı - Merkezli Emniyet Sistemi" nin tasarımını ortaya koyması bakımından ileride yapılacak çalışmalara yol gösterecektir.