LEE- Endüstri Mühendisliği-Doktora

Bu koleksiyon için kalıcı URI

http://hdl.handle.net/11527/19268

Gözat

Yazar "Altın Gümüşsoy, Çiğdem" ile LEE- Endüstri Mühendisliği-Doktora'a göz atma
  • Öge
    TV ve set üstü cihaz arayüz kullanılabilirlik ölçümü
    (Lisansüstü Eğitim Enstitüsü, 2021-07-07) Pekpazar, Aycan ; Altın Gümüşsoy, Çiğdem ; 507142101 ; Endüstri Mühendisliği
    Televizyon izlemek gündelik yaşamımızın önemli bir parçasıdır. Teknoloji alanındaki hızlı gelişmelerle birlikte evlerimizde kullandığımız klasik TV'ler internete bağlanabilme, isteğe bağlı görsel, işitsel içeriklerini (VOD) izleme, oyun oynama, alışveriş yapma gibi birçok yeni özellik kazanarak bilgisayar ve mobil cihaz teknolojilerine benzemeye başlamıştır. Set üstü cihaz ise TV'lere bağlanarak dijital içeriğin alınmasına, kodunun çözülmesine ve TV'de görüntülenmesine izin veren özel bir arayüz cihazıdır. Set üstü cihazlar sayesinde kullanıcılar yüksek ses ve görüntü kalitesine sahip içerikleri izleyebilir, internete bağlanabilir, VOD içeriklerine, ödemeli sistemlere ve özel kanallara erişebilir, yayınları kaydedebilir, oyun oynayabilir, e-ticaret sitelerinden alışveriş yapabilirler. Set üstü cihaz ve TV'lere eklenen yeni özellikler, sistemlerin karmaşıklığını artırmakta kullanılabilirlik problemlerine ve sonuçta olumsuz kullanıcı deneyimine yol açmaktadır. Kullanılabilirlik, ürün ve sistemlerin ne kadar kullanıcı dostu veya kolay kullanılabileceğini değerlendiren bir kalite özelliği olmanın ötesinde farklı yeteneklere sahip kullanıcıların bir sistem veya ürünle etkileşimleri esnasında belirli görevleri ne kadar etkili, etkin, ve memnuniyet içerisinde gerçekleştirdiğinin bir göstergesidir. Kullanıcı deneyimi ise kullanılabilirlik kavramını da içine alan daha geniş bir kavramdır ve kullanıcıların, bir ürün veya sistemi kullanımının öncesinde, kullanımı esnasında veya sonrasında ortaya çıkan algıları, duyguları, davranışları, fiziksel ve duygusal tepkilerinin tümünü içermektedir. Kullanılabilirlik ve kullanıcı deneyimi müşteri memnuniyetini, marka sadakatini ve kullanım niyetini etkileyen önemli faktörlerdir. Bu sebeple kullanıcı deneyimini olumsuz yönde etkileyen kullanılabilirlik problemlerinin TV ve set üstü cihaz arayüzlerinin tasarımı ve geliştirilmesi aşamasında tespit edilebilmesini sağlayacak bir kullanılabilirlik değerlendirme sisteminin geliştirilmesi gerekmektedir. Bu amaçla, bu çalışma kapsamında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin değerlendirilmesi için bir sistem tasarlanmıştır. Çalışma üç temel aşamadan oluşmaktadır: (1) Kullanıcı deneyimi testi tasarımı, (2) TV ve set üstü cihazlara özgü kullanılabilirlik kılavuzu geliştirilmesi, (3) Kullanılabilirlik değerlendirme sistemine makine öğrenimi tekniklerinin adapte edilmesi. Çalışmanın birinci aşamasında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin değerlendirilmesi için göz izleme, ifade analizi, log analizi ve sesli düşünme teknikleri ile zenginleştirilmiş bir kullanıcı deneyimi testi tasarlanmıştır. Bu nedenle Türkiye'deki dijital TV yayın platformlarından Digiturk'ün TV arayüzünün kullanılabilirlik düzeyini değerlendirmek için 38 katılımcı ile İTÜ Kullanışlılık Laboratuvarında bir kullanıcı testi çalışması gerçekleştirilmiştir. Katılımcılara, VOD izleme, kanal kilitleme ve yayın kayıt gibi TV arayüzünün özellikleriyle ilgili on görev verilmiştir. Deneyler esnasında katılımcıların sesli düşünme tekniği ile ifade ettiği her şey kamera ve ses kayıt sistemleri ile kayıt altına alınmıştır. Katılımcıların göz hareketleri SMI göz izleme gözlükleri kullanılarak kaydedilirken, katılımcıların sistemle etkileşimleri sırasında yaptıkları eylemler ise Digiturk firmasına ait loglama yazılımı ile kayıt altına alınmıştır. Katılımcıların yüz ifadeleri ise On Duygu Sezgiseli yöntemi ile belirlenmiştir. Deneyler sonucunda görev zorluk seviyesi, Senaryo Sonrası Sistem Kullanılabilirlik Anketi (PSSUQ) değerleri, görev tamamlama süresi, göz izleme metrikleri (odaklanma sayısı, odaklanma süresi, ortalama odaklanma süresi, sekme sayısı, sekme süresi, izlenen yol uzunluğu, göz kırpma sayısı), loglama metrikleri (tuşlama sayısı ve geri tuşu sayısı) ve ifade analizi metrikleri (negatif duygu sayısı) hesaplanmıştır. Görevler arasında metrikler açısından anlamlı bir fark olup olmadığı tek yönlü ANOVA kullanılarak araştırılmıştır. Ayrıca kullanılabilirlik metrikleri arasındaki ilişkiler Pearson korelasyonu ile ölçülmüştür. Çalışma sonuçlarına göre kanal kilitleme ile ilgili olan Görev 10'un görev zorluk düzeyi ve görev tamamlama süresi en yüksek çıkarken görev başarı oranı ise en düşük çıkmıştır. Görev 10; göz izleme, loglama ve ifade analizi sonuçlarına göre de diğer görevlere kıyasla en yüksek metrik değerlerine sahiptir. Korelasyon analizi sonuçları ise görev tamamlama süresi ve görev zorluğu artarken, tüm göz izleme, loglama ve ifade analizi metriklerinin değerlerinin arttığını ve katılımcıların algılanan memnuniyet düzeyini gösteren PSSUQ değerleri dışında her bir metrik arasında anlamlı bir ilişki olduğunu göstermektedir. Özellikle göz izleme metrikleri arasında güçlü ilişki bulunmaktadır. Çalışmanın ikinci aşamasında ise kullanılabilirlik uzmanlarının ve yazılımcıların arayüz tasarımı ve değerlendirme aşamasında kullanabilecekleri set üstü cihaz ve TV arayüzlerine özgü kullanılabilirlik sezgiselleri ve kriterlerinden oluşan bir kullanılabilirlik kılavuzu geliştirilmiştir. Kullanılabilirlik kılavuzunun geliştirilmesi için beş aşamalı formel bir metodoloji önerilmiştir: (1) kullanılabilirlik problemlerini tanımlama, (2) kullanılabilirlik sezgisellerini geliştirme, (3) doğrulama, (4) iyileştirme, (5) kullanılabilirlik sezgiselleri ve kriterlerini ciddiyet düzeylerine göre sıralama. Birinci aşamada toplamda 493 tane kullanılabilirlik problemi üç kaynaktan toplanmıştır: Arayüz tasarımı ve geliştirilmesi aşamasında yazılım geliştiricilerin belirlediği problemler, bilişsel gezinti yaklaşımını kullanan üç uzman tarafından belirlenen problemler, hizmet veya çağrı merkezlerine müşteriler tarafından iletilen problemler. İkinci adımda ise literatür incelemesi sonucunda tespit edilen mevcut kullanılabilirlik sezgiselleri ile ilişkili kriterler kullanılabilirlik problemleri ile eşleştirilerek ilk sezgisel listesi oluşturulmuştur. Daha sonra TV ve set üstü cihaz arayüzlerine özgü tasarım ilkeleri ve kılavuzları incelenerek önemli bilgiler kontrol listesi kriterlerine dönüştürülmüştür. Elde edilen bu ikinci liste ilk liste ile eşleştirilmiş ve eşleştirelemeyen kriterler bir araya getirilerek yeni sezgiseller geliştirilmiştir. Sonraki adımda ise sezgisel listesi kullanıcı testi, uzman değerlendirmesi ve sezgisel değerlendirme yöntemleri kullanılarak doğrulanmış ve gerekli iyileştirmeler yapılmıştır. Son adımda ise uyum ve kümeleme analizleri kullanılarak sezgiseller ve kriterler önem derecesine göre sıralanarak liste son haline getirilmiştir. Çalışma sonucunda 16 kullanılabilirlik sezgiseli ile 104 kriter geliştirilmiştir. Bu sezgisellerin beş tanesi Sistem durumunun görünürlüğü (H4), Kullanıcı ile zevkli ve saygılı etkileşim (H13), Gizlilik (H14), Ebeveyn kontrolü (H15), ve Kolay erişim (H16) kullanılabilirlik felaketleri ile ilişkili çıkmıştır. Çalışmanın üçüncü adımında ise kullanılabilirlik değerlendirme sürecinin değişik aşamalarında veri madenciliği ve makine öğrenmesi teknikleri kullanılarak süreçlerin etkin hale getirilmesi hedeflenmiştir. Literatürde bu çalışmada önerilen kullanılabilirlik kılavuzu geliştirme yöntemi gibi kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesine dayalı sezgisel geliştirme metodolojileri bulunmaktadır. Bu eşleştirme işlemi ise uzmanlar tarafından gerçekleştirilen uzun bir süreçtir. Ayrıca kullanılabilirlik değerlendirmesinin nihai amacı olan tespit edilen kullanılabilirlik problemlerinin çözümlerinin üretilmesi ve uygulanması da uzun zaman almaktadır. Bu sebeple tespit edilen kullanılabilirlik problemlerinin çözümlenmesi sürecinde eldeki zaman ve insan kaynaklarını da düşünerek problemlerin önceliklendirilmesi ve önceliği yüksek olan problemlerin çözümüne daha fazla odaklanılması önem arz etmektedir. Bu sebeple, bu çalışma kapsamında kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesinin kolaylaştırılması ve tespit edilen kullanılabilirlik problemlerinin önceliklerinin belirlenmesi amacıyla çeşitli veri madenciliği ve makine öğrenmesi teknikleri kullanılmıştır. Bu amaçla Digitürk'ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 problem temin edilmiştir. Öncelikle çalışma kapsamında kullanılabilirlik problemlerinin öncelik düzeyleri ve sezgisellerle eşleştirilmeleri açısından sahip oldukları örüntüler ilişkilendirme kuralları tekniği ile incelenmiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirmesine göre sınıflandırılması ise naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri kullanılarak yapılmıştır. Sınıflandırıcıların performansları ise kullanılabilirlik problem veri seti 50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10 ve 95:5 olmak üzere on eğitim/test parçasına ayrılarak değerlendirilmiştir. Çalışma sonucunda öncelik düzeylerine göre sınıflandırmada en yüksek doğruluk oranını (%76,21) destek vektör makineleri algoritması verirken en yüksek F1-skor değerini ise (%79,51) ile derin öğrenme algoritması vermiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirilmelerinin sınıflandırılması sonucunda da %90'ın üzerinde doğruluk oranları elde edilebilirken genel olarak F1-skorları da %75'in üzerinde gerçekleşmiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesinin sınıflandırılması konusunda genel olarak en iyi performansı gradyan artırma ağaçları sınıflandırıcısı vermiştir. Sonuç olarak bu çalışma kapsamında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin geliştirilmesi için göz izleme, loglama ve ifade analizi tekniklerinin kullanıldığı bir kullanıcı deneyimi testi tasarlanmıştır. Ayrıca sadece TV ve set üstü cihaz arayüzleri için değil farklı sistemlerinde sezgisel değerlendirilmesinde kullanılabilecek bir formel sezgisel geliştirme metodolojisi sunulmuştur. Son aşamada ise geliştirilen formel metodolojinin etkin hale getirilmesi ve kullanılabilirlik değerlendirmeleri sonucunda elde edilen kullanılabilirlik problemlerinin öncelik seviyelerinin belirlenebilmesi için makine öğrenmesi tekniklerinin nasıl kullanılabileceği gösterilmiştir.