Türkçe e-ticaret yorumlarında transformer tabanlı duygu analizi

Abstract

Bu çalışma, önceden eğitilmiş Transformer mimarilerine dayalı ince ayarlı sınıflandırma modelleri geliştirerek ve Optuna hiperparametre optimizasyonu uygulayarak Türkçe e-ticaret ürün yorumları üzerinde duygu analizi performansını artırmayı amaçlamaktadır. Bu kapsamda sırasıyla veri setinin hazırlanması, model eğitimleri, sonuçların değerlendirilmesi ve önerilen modellerin yayınlanması süreçleri yürütülmüştür. Çalışma kapsamında hazır veri seti kullanılmamış olup; sistematik bir işlem hattı aracılığıyla veri madenciliği, etiketleme ve kapsamlı ön işleme adımları ile güncel ve alan özgü veri seti oluşturulmuştur. Veri kalitesini ve tutarlılığını artırmak amacıyla iş akışına UFAL normalizasyonu, türkçe karakter düzenlemeleri, emoji dönüştürme, url etiket ve email gibi gürültülerin temizlenmesi, harf tekrarlarının azaltılması, noktalama, işaret ve boşluk düzenlemeleri gibi süreçler yürütülmüştür. Ayrıca Türkçe dışı, tekrar eden ve alan dışı yorumlar da filtrelenmiştir. Sonrasında yorum duygu etiketleri Gemma ve LLaMA gibi yerel büyük dil modellerinden yararlanılarak gözden geçirilmiştir. Nihai veri seti 50.160 etiketli yorum ile neticelendiriş olup model eğitimleri sürecinde bağlam daha anlamlı ve kararlı hale getirilmiştir. Hazırlık sürecinin tamamlanmasının ardından son hâline getirilen veri kümesi; BERT, ModernBERT, RoBERTa, TurkishBERTweet, ELECTRA ve DeBERTa gibi güncel Transformer tabanlı temel modellerin hem varsayılan hiperparametrelerle hem de makro-F1 skorunu en üst düzeye çıkarmaya yönelik Optuna tarafından optimize edilen hiperparametre değerleri ile tam ince ayarlı eğitimleri gerçekleştirilmiştir. Deneysel bulgular, Optuna tabanlı hiperparametre optimizasyonu uygulanarak eğitilen modellerin, varsayılan parametrelerle eğitilen modellere kıyasla makro-F1 skorunda yaklaşık %3–%7 oranında iyileşme sağladığını göstermektedir. Test veri setinde en yüksek performans, Optuna ile optimize edilen tam ince ayarlı dbmdz/bert modeli tarafından elde edilmiş olup, model %64,17 makro-F1 ve %91,69 doğruluk değerlerine ulaşmıştır. Buna karşın doğrulama veri setinde en başarılı sonuç, Optuna ile optimize edilen tam ince ayarlı Trendyol/tyroberta modeli tarafından elde edilerek %65,48 makro-F1 ve %92,51 doğruluk skorlarıyla kaydedilmiştir. Transformer bazlı modellerin klasik sınıflandırma algoritmalarına kıyasla daha yüksek Macro F1 sağladığı gözlemlenmiştir. Doğrulama ve test sonuçları arasındaki farkların düşük olması, modellerin genellenebilirliğinin yüksek olduğunu göstermektedir. Genel olarak bu çalışma, modern Transformer mimarilerinin Türkçe e-ticaret bağlamında duygu analizi görevlerinde etkinliğini deneysel olarak ortaya koymakta ve hiperparametre optimizasyonunun model performansı üzerindeki belirleyici etkisini vurgulamaktadır. Yeniden üretilebilirliği sağlamak ve araştırma topluluğuna açık bir kaynak sunmak amacıyla, geliştirilen modeller Hugging Face platformunda kamuya açık şekilde yayımlanmıştır.