Reinforcement learning for automatic ground collision avoidance system of fighter jets: sequential maneuver primitive approach

Abstract

Artificial intelligence (AI) technologies have recently made significant advances and have begun to play critical roles in many areas, including aviation. AI's ability to mimic human-like decision-making processes makes it particularly suitable for safety-critical applications such as Automatic Ground Collision Avoidance Systems (AGCAS). However, integrating AI into aviation systems poses challenges due to the industry's strict requirements for explainability, verifiability, and safety. Traditional AGCAS systems primarily rely on rule-based approaches that execute instantaneous primitive maneuvers—typically a wings-level roll followed by a 5G pull-up. While these methods are effective in many scenarios, they can be limited in complex environments such as canyons or mountainous terrains, where pilot-like decision-making and sequential maneuvering are essential for ensuring flight safety. In this study, we propose the integration of reinforcement learning (RL)-based artificial intelligence (AI) into AGCAS, with a particular emphasis on operational safety and explainability. Specifically, we develop a method in which an RL agent generates intelligent, sequential avoidance commands within a high-fidelity, nonlinear 6-degree-of-freedom (6-DOF) simulation environment. Rather than delegating real-time control of the aircraft to AI, the RL agent is used solely to produce candidate avoidance maneuvers in simulation. From these, only successful trajectories are selected. These selected control sequences are then recorded and employed as predefined command sequences during actual operations. It is important to emphasize that reinforcement learning (RL) is not directly employed for real-time aircraft control. Instead, the system relies on avoidance action sets that were generated and verified through offline RL-based simulations. This approach ensures that only feasible and fully interpretable trajectories are utilized, thereby significantly reinforcing the explainability and safety dimensions of AI integration within the AGCAS framework. Because a single simulation run is sufficient to produce a legitimate, collision-free trajectory, this approach eliminates the need for computationally intensive search-based techniques. Furthermore, since the trajectories are generated within a high-fidelity 6-DOF environment, they are dynamically feasible by design. Each recorded control action can be directly traced to its simulated effect, satisfying both safety and explainability requirements. Overall, the proposed framework offers a scalable and interpretable solution that bridges the gap between rule-based rigidity and search-based computational burden, enabling pilot-like sequential avoidance behavior in a tractable and verifiable manner. Comprehensive evaluations were conducted using both benchmark tests and free-flight scenarios, including cases where the aircraft was deliberately placed in imminent collision conditions. The RL-based method demonstrated the capability to perform effective collision avoidance maneuvers across all test cases. It successfully executed intelligent and complex maneuver sequences, particularly in environments where such behavior is crucial. The proposed RL-based AGCAS method successfully prevented collisions in all benchmark tests. In 4 out of the 10 evaluated scenarios, it produced safer trajectories by maintaining a greater distance from the terrain compared to conventional methods. In the remaining tests, although the trajectories flew closer to the ground, this outcome is attributed to the reward structure used during training, which does not explicitly penalize proximity to the terrain. Instead, the agent receives a reward as long as the predefined clearance threshold is met. Therefore, such behavior is entirely expected and consistent with the training objective. Future research could revise the reward function to encourage increased terrain separation, potentially enhancing overall safety margins. Regarding pilot reaction dynamics, the non-intervened flight durations were remarkably consistent across all tested methods, with only millisecond-level deviations. This indicates that the RL-based approach offers comparable performance in terms of giving the pilot adequate time to respond. In addition, the RL method occasionally achieved slightly lower maximum load factors—approximately 0.5 G less—while staying within the operational safety limit of 9~G. This can be beneficial in scenarios where high-G maneuvers are undesirable or infeasible. Overall, although the proposed method is based on classical reinforcement learning algorithms, the results are highly promising. These findings suggest that integrating more advanced RL techniques—such as Hindsight Experience Replay (HER), curiosity-driven exploration, or generative adversarial imitation learning (GAIL) —could further enhance the performance, robustness, and adaptability of AGCAS systems in future research.

Yapay zeka (YZ) teknolojileri, son yıllarda gösterdiği hızlı gelişmeler neticesinde, pek çok sektörde olduğu gibi havacılık alanında da önemli bir yer edinmiştir. Bu teknolojilerin en öne çıkan özelliklerinden biri, insan benzeri karar verme süreçlerini taklit edebilme kabiliyetidir. Bu özellik, insan hatasının kritik sonuçlar doğurabileceği görevlerde hata payını azaltmak ve otonom sistemlerin güvenliğini artırmak amacıyla özellikle tercih edilmektedir. Bu çerçevede, yapay zeka temelli çözümler; riskli operasyonlarda karar desteği sağlamak, karmaşık senaryolara adaptasyon göstermek ve sistem tepkilerini esnek biçimde şekillendirmek açısından önem kazanmıştır. Ayrıca, bu teknolojilerin karar süreçlerinde zaman baskısını azaltması ve durumsal farkındalığı güçlendirmesi de havacılık uygulamaları için büyük avantaj sağlamaktadır. Ancak havacılık sektörü, çok yüksek güvenlik standartları ve düzenleyici gerekliliklere sahip bir alandır. Bu alandaki sistemlerin yalnızca yüksek performans göstermesi yeterli değildir; aynı zamanda açıklanabilirlik ve güvenilebilirlik gibi ilkelere de uygun olması beklenir. Yapay zekanın karar alma süreçlerinin genellikle "kara kutu" şeklinde olması ve öngörülemeyen davranışlar sergileyebilmesi, bu tür yüksek güvenlikli alanlarda önemli çekincelere yol açmaktadır. AI sistemlerinin doğasında yer alan belirsizlikler, bu teknolojilerin havacılığa entegrasyonunu çok katmanlı ve dikkatle yönetilmesi gereken bir konu haline getirmektedir. Özellikle güvenlik kritik durumlarda sistemin nasıl karar verdiğinin açıklanabilmesi, bu tür teknolojilerin kabul görmesi açısından temel koşullardan biridir. Çoğu yapay zeka algoritması, istatistiksel öğrenmeye dayanarak büyük veri kümeleri üzerinden çıkarım yapar. Ancak bu yaklaşımlar, karar mekanizmalarının sebeplerini açıklamakta yetersiz kalabilir. Bu da sistemin denetlenebilirliği ve güvenli kullanımı açısından soru işaretleri yaratır. Dolayısıyla, bu tür belirsizliklerin kontrol altına alındığı ve yapay zekanın açıklanabilir bir çerçevede kullanılabildiği mimarilere olan ihtiyaç artmaktadır. Açıklanabilirliğe sahip yapay zeka sistemleri, hem insan operatörlerle etkileşimi kolaylaştırmakta hem de düzenleyici kurumlar tarafından sistemlerin onaylanma sürecini desteklemektedir. Bu tezde, özellikle otomatik yer çarpışma önleyici sistemler (AGCAS) bağlamında, mevcut sistemlerin sınırlılıklarını aşmayı hedefleyen, güvenli ve açıklanabilir bir yapay zekâ temelli çözüm önerilmektedir. Günümüzde kullanılan AGCAS sistemleri çoğunlukla "kanat düzleştir ve 5G çek" gibi sabit ve anlık olarak uygulanan temel manevralara dayanmaktadır; bu yaklaşım, açık ve düzenli coğrafyalarda gerçekleştirilen standart görevlerde genellikle yeterli güvenliği sağlasa da, dağlık bölgeler, vadiler, kanyonlar ve yüksek çevresel karmaşıklığa sahip arazilerde yetersiz kalabilmektedir. Bu tür karmaşık ortamlarda, uçuş güvenliğini sürdürebilmek için daha dinamik, bağlamsal farkındalığı yüksek, esnek ve sezgisel manevraların uygulanması zorunlu hale gelmektedir. Çünkü bu bölgelerde önceden tanımlı tek yönlü tepkiler, ani değişiklik gösteren tehdit senaryolarına yanıt vermekte yetersiz kalabilir. Bu noktada, geliştirilen yapay zekâ destekli yaklaşım, yalnızca önceden programlanmış kurallara değil, aynı zamanda çevresel koşulları analiz ederek en uygun kararı gerçek zamanlı alabilen bir sistem mimarisi sunmaktadır. Böylece uçak, yüksek risk içeren ortamlarda daha çevik, daha bilinçli ve yaşamsal kararlar verebilecek şekilde yönlendirilebilmekte; bu da hem uçuş emniyetini artırmakta hem de AGCAS sistemlerinin operasyonel yetkinliğini ileri seviyelere taşımaktadır. Literatürde bu eksiklikleri aşmak için çeşitli kural tabanlı çözümler önerilmiş olsa da, bunlar da çoğunlukla sınırlı durumları kapsar ve beklenmedik senaryolarda adaptasyon gösteremez. Bu bağlamda, bu tez çalışması kapsamında geliştirilen yöntem, insan pilotlarının sezgisel kararlarını taklit eden, sıralı ve akıllı kaçınma manevraları üretebilen bir yapay zeka modeli sunmaktadır. Bu yaklaşım, yalnızca öngörülebilir durumlara değil, aynı zamanda anlık gelişen risk senaryolarına da uygun tepki üretebilecek şekilde tasarlanmıştır. Önerilen yöntem, klasik AGCAS sistemlerinin yetersiz kaldığı ortamlarda yüksek başarıyla çalışmak üzere geliştirilmiştir. Yöntemde, takviye öğrenme (RL) temelli bir ajan, yüksek doğrulukta modellenmiş 6 serbestlik dereceli (6-DOF) bir simülasyon ortamında sıralı kaçınma komutları üretmekle görevlidir. Bu sistemde RL modeli doğrudan gerçek zamanlı kontrol yapmaz. Bunun yerine, simülasyonda üretilen başarılı kaçınma komutları kaydedilir ve gerçek operasyon sırasında tekrar yürütülür. Böylece, sistem sadece doğrulanmış ve fiziksel olarak uygulanabilir manevraları kullanır. Bu yaklaşım, hem açıklanabilirliği hem de güvenliği artıran bir çerçeve sunar. Aynı zamanda sistemin uçuş kontrol bilgisayarıyla entegrasyonu kolaylaştırılır ve beklenmeyen davranışlar minimuma indirilmiş olur. Yalnızca bir simülasyon çalışmasıyla güvenli bir uçuş rotası üretilebildiğinden, bu sistem geleneksel arama tabanlı yöntemlerin hesaplama yükünü ortadan kaldırır. Aynı zamanda, elde edilen kaçınma yolları simülasyon ortamında üretildiğinden dinamik olarak uygulanabilirlikleri garanti altındadır. Her bir kontrol adımının simülasyon çıktısıyla ilişkilendirilebilmesi, sistemin her kararının gerekçelendirilmesine olanak tanır. Bu sayede, sistemin davranışı hem test edilebilir hem de doğrulanabilir hale gelir. Ayrıca, bu kayıtlı kaçınma manevralarının tekrarlanabilir olması, sistemin hem sertifikasyon süreçlerinde hem de operasyonel kullanımda denetlenmesini kolaylaştırmaktadır. Geliştirilen yapının modüler ve parametrik oluşu, farklı hava aracı tiplerine veya uçuş profillerine uyarlanmasını mümkün kılmakta, böylece sistemin genel kullanım esnekliğini artırmaktadır. Tez kapsamında geliştirilen sistem, literatürde yaygın olarak kullanılan benchmark senaryoları ve serbest uçuş testleri aracılığıyla çok yönlü ve kapsamlı bir şekilde değerlendirilmiştir. Yapılan testlerde, yalnızca standart senaryolarla sınırlı kalınmamış, aynı zamanda uçağın bazı durumlarda bilerek çarpışmaya sürüklendiği ekstrem koşullar da oluşturulmuş ve sistemin bu sıra dışı durumlara karşı verdiği tepkiler detaylı olarak gözlemlenmiştir. Bu testler sayesinde, sistemin yalnızca önceden tanımlı çevresel koşullarda değil, aynı zamanda ani değişikliklerin yaşandığı, karmaşık ve öngörülemez durumlarda da etkin biçimde çalışabildiği görülmüştür. Elde edilen sonuçlara göre, geliştirilen yaklaşım, engebeli ve zorlu arazi yapılarında bile çevresel farkındalığını koruyarak akıllı ve çok yönlü manevralar gerçekleştirebilmekte, çarpışma risklerini zamanında tespit edip başarıyla önleyebilmektedir. Bu da, RL tabanlı sistemin yalnızca teorik değil, aynı zamanda uygulamaya yönelik olarak da yüksek potansiyele sahip olduğunu, çevresel değişkenliği yüksek senaryolara adapte olabildiğini ve gerçek uçuş operasyonlarında kullanılmaya uygun bir yapıya sahip olduğunu açıkça ortaya koymaktadır. Önerilen RL tabanlı AGCAS yöntemi, tüm benchmark testlerinde çarpışmaları başarıyla önlemiştir. Değerlendirilen 10 senaryodan 4'ünde, geleneksel yöntemlere kıyasla zeminden daha fazla mesafede kalarak daha güvenli uçuş rotaları üretmiştir. Diğer senaryolarda ise zemin güvenlik mesafe şartını karşılamakla beraber geleneksel metodlara nazaran zemine daha yakın uçuşlar gerçekleşmiştir. Bu durum, RL eğitim sürecinde kullanılan ödül fonksiyonunun, yüksek irtifa tercihine yönelik açık bir teşvik içermemesinden kaynaklanmaktadır. Zira mevcut ödül mekanizmasında, yalnızca tanımlı minimum yükseklik eşiğinin aşılması ödül kazanımı için yeterlidir. Dolayısıyla bu davranış, eğitim hedefleriyle tamamen tutarlı ve beklenen bir sonuçtur. Gelecekte yapılacak çalışmalarda, ödül yapısı daha yüksek irtifa korumasını teşvik edecek şekilde yeniden yapılandırılarak, sistemin güvenlik marjları daha da artırılabilir. Bu tür bir düzenleme, özellikle dağlık veya değişken topografiye sahip bölgelerde uçuş güvenliğini daha da ileriye taşıyabilir. Müdahalesiz uçuş süresi açısından sistem, geleneksel yöntemlerle karşılaştırıldığında neredeyse aynı performansı göstermiş, fark milisaniye düzeyinde kalmıştır. Ayrıca, maksimum yük faktörü açısından da RL yöntemi yaklaşık 0.5 G daha düşük değerler sunarak özellikle yüksek G manevralarının istenmediği senaryolarda avantaj sağlamıştır. Bu durum yapısal yük sınırlamaları açısından da olumlu bir katkı sunmaktadır. Sonuçlar, klasik ve eski nesil pekiştirmeli öğrenme (Reinforcement Learning – RL) algoritmalarına dayanmasına rağmen, önerilen yöntemin son derece umut verici bir performans sergilediğini ortaya koymaktadır. Bu durum, temel algoritmalarla dahi etkili sonuçlar elde edilebildiğini ve geliştirilen yaklaşımın daha ileri düzey RL teknikleri için sağlam bir temel oluşturduğunu göstermektedir. Hindsight Experience Replay (HER) gibi hatalı tecrübelerden öğrenmeyi mümkün kılan yöntemler, Curiosity-Driven Exploration gibi içsel motivasyon temelli keşif stratejileri ve Generative Adversarial Imitation Learning (GAIL) gibi üretken çatışmacı taklit öğrenme yaklaşımları entegre edilerek sistemin hem dayanıklılığı hem de genel etkinliği daha da artırılabilir. Bu çalışma, yalnızca teknik başarıya değil, aynı zamanda yapay zekâ destekli Otomatik Yer Çarpışma Önleme Sistemleri'nin (AGCAS) havacılık alanına güvenli, açıklanabilir ve operasyonel olarak uygulanabilir biçimde entegre edilmesine yönelik önemli bir adım oluşturmaktadır. Geliştirilen bu yaklaşım, klasik yöntemlerin ötesine geçerek, insan pilotlarının karar verme davranışlarına daha yakın, esnek, bağlama duyarlı ve güvenilir çözümler sunmayı mümkün kılmakta; böylece ileride geliştirilecek daha karmaşık ve çok katmanlı mimariler için genişletilebilir ve sağlam bir temel teşkil etmektedir.