LEE- Hesaplamalı Bilim ve Mühendislik Lisansüstü Programı

Bu topluluk için Kalıcı Uri

http://hdl.handle.net/11527/19295

Gözat

Yazar "Uçar, Baykal Mehmet" ile LEE- Hesaplamalı Bilim ve Mühendislik Lisansüstü Programı'a göz atma
  • Öge
    Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
    (İTÜ Lisansüstü Eğitim Enstitüsü, 2025) Uçar, Baykal Mehmet ; Baday, Sefer ; 702091013 ; Hesaplamalı Bilim ve Mühendislik
    Veriye erişimin kolaylaştırılması ve teknik olmayan kullanıcılar için veri tabanlarıyla etkileşimin demokratikleştirilmesi, günümüz bilgi teknolojileri açısından büyük önem arz etmektedir. Bu bağlamda, doğal dil sorgularını yapılandırılmış SQL ifadelerine ve görsel Python kodlarına dönüştürebilen büyük dil modelleri (LLM – Large Language Models), geleneksel veri analizi süreçlerine önemli katkılar sunmaktadır. Bu tez çalışmasında, doğal dil ile veri sorgulama ve görselleştirme süreçlerini uçtan uca gerçekleştiren bir yapay zekâ destekli sistem tasarlanmış ve farklı büyük dil modellerinin bu sistem üzerindeki performansları karşılaştırmalı olarak analiz edilmiştir. Çalışma kapsamında OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, Meta LLaMA 3.1 70B, Google Gemini 1.5 Flash ve DeepSeek Chat modelleri değerlendirilmiştir. Microsoft'un açık kaynaklı Semantic Kernel yazılım geliştirme kiti kullanılarak doğal dil sorgularının SQL ve Python kodlarına dönüştürüldüğü modüler ve genişletilebilir bir sistem mimarisi geliştirilmiştir. Sistem, kullanıcıdan gelen doğal dil girdisini şema açıklaması ile birlikte işleyerek çalıştırılabilir SQL ve Python kodları üretmekte, ardından bu kodları çalıştırarak sonuçları kullanıcıya sunmaktadır. Model başarımı hem insan değerlendirmesiyle hem de en başarılı modelin hakem olarak kullanıldığı LLM-tabanlı otomatik değerlendirme ile ölçülmüştür. İnsan değerlendirmesine göre Claude 3.5 Sonnet en yüksek doğrulukla çalışırken, GPT-4o ve Gemini Flash da özellikle SQL üretiminde başarılı sonuçlar vermiştir. LLM değerlendirmesinde ise Python görselleştirme kodlarının kalite farkları daha belirgin hale gelmiştir. LLaMA ve DeepSeek modelleri SQL çıktılarında rekabetçi sonuçlar sunarken, Python kod üretiminde daha düşük skorlar almıştır. Bu tez çalışması, farklı büyük dil modellerinin metinden koda dönüşüm yeteneklerini kapsamlı biçimde karşılaştırarak, model seçiminde ve sistem mimarisi kurulumunda yol gösterici olmayı amaçlamaktadır. Ayrıca Semantic Kernel tabanlı yaklaşım, yeni modellerin hızlı entegrasyonuna olanak sağlayan esnek bir altyapı sunmakta ve bu yönüyle sürekli gelişen LLM ekosistemine uyumlu bir çözüm önermektedir.