TV ve set üstü cihaz arayüz kullanılabilirlik ölçümü

Abstract

Televizyon izlemek gündelik yaşamımızın önemli bir parçasıdır. Teknoloji alanındaki hızlı gelişmelerle birlikte evlerimizde kullandığımız klasik TV'ler internete bağlanabilme, isteğe bağlı görsel, işitsel içeriklerini (VOD) izleme, oyun oynama, alışveriş yapma gibi birçok yeni özellik kazanarak bilgisayar ve mobil cihaz teknolojilerine benzemeye başlamıştır. Set üstü cihaz ise TV'lere bağlanarak dijital içeriğin alınmasına, kodunun çözülmesine ve TV'de görüntülenmesine izin veren özel bir arayüz cihazıdır. Set üstü cihazlar sayesinde kullanıcılar yüksek ses ve görüntü kalitesine sahip içerikleri izleyebilir, internete bağlanabilir, VOD içeriklerine, ödemeli sistemlere ve özel kanallara erişebilir, yayınları kaydedebilir, oyun oynayabilir, e-ticaret sitelerinden alışveriş yapabilirler. Set üstü cihaz ve TV'lere eklenen yeni özellikler, sistemlerin karmaşıklığını artırmakta kullanılabilirlik problemlerine ve sonuçta olumsuz kullanıcı deneyimine yol açmaktadır. Kullanılabilirlik, ürün ve sistemlerin ne kadar kullanıcı dostu veya kolay kullanılabileceğini değerlendiren bir kalite özelliği olmanın ötesinde farklı yeteneklere sahip kullanıcıların bir sistem veya ürünle etkileşimleri esnasında belirli görevleri ne kadar etkili, etkin, ve memnuniyet içerisinde gerçekleştirdiğinin bir göstergesidir. Kullanıcı deneyimi ise kullanılabilirlik kavramını da içine alan daha geniş bir kavramdır ve kullanıcıların, bir ürün veya sistemi kullanımının öncesinde, kullanımı esnasında veya sonrasında ortaya çıkan algıları, duyguları, davranışları, fiziksel ve duygusal tepkilerinin tümünü içermektedir. Kullanılabilirlik ve kullanıcı deneyimi müşteri memnuniyetini, marka sadakatini ve kullanım niyetini etkileyen önemli faktörlerdir. Bu sebeple kullanıcı deneyimini olumsuz yönde etkileyen kullanılabilirlik problemlerinin TV ve set üstü cihaz arayüzlerinin tasarımı ve geliştirilmesi aşamasında tespit edilebilmesini sağlayacak bir kullanılabilirlik değerlendirme sisteminin geliştirilmesi gerekmektedir. Bu amaçla, bu çalışma kapsamında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin değerlendirilmesi için bir sistem tasarlanmıştır. Çalışma üç temel aşamadan oluşmaktadır: (1) Kullanıcı deneyimi testi tasarımı, (2) TV ve set üstü cihazlara özgü kullanılabilirlik kılavuzu geliştirilmesi, (3) Kullanılabilirlik değerlendirme sistemine makine öğrenimi tekniklerinin adapte edilmesi. Çalışmanın birinci aşamasında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin değerlendirilmesi için göz izleme, ifade analizi, log analizi ve sesli düşünme teknikleri ile zenginleştirilmiş bir kullanıcı deneyimi testi tasarlanmıştır. Bu nedenle Türkiye'deki dijital TV yayın platformlarından Digiturk'ün TV arayüzünün kullanılabilirlik düzeyini değerlendirmek için 38 katılımcı ile İTÜ Kullanışlılık Laboratuvarında bir kullanıcı testi çalışması gerçekleştirilmiştir. Katılımcılara, VOD izleme, kanal kilitleme ve yayın kayıt gibi TV arayüzünün özellikleriyle ilgili on görev verilmiştir. Deneyler esnasında katılımcıların sesli düşünme tekniği ile ifade ettiği her şey kamera ve ses kayıt sistemleri ile kayıt altına alınmıştır. Katılımcıların göz hareketleri SMI göz izleme gözlükleri kullanılarak kaydedilirken, katılımcıların sistemle etkileşimleri sırasında yaptıkları eylemler ise Digiturk firmasına ait loglama yazılımı ile kayıt altına alınmıştır. Katılımcıların yüz ifadeleri ise On Duygu Sezgiseli yöntemi ile belirlenmiştir. Deneyler sonucunda görev zorluk seviyesi, Senaryo Sonrası Sistem Kullanılabilirlik Anketi (PSSUQ) değerleri, görev tamamlama süresi, göz izleme metrikleri (odaklanma sayısı, odaklanma süresi, ortalama odaklanma süresi, sekme sayısı, sekme süresi, izlenen yol uzunluğu, göz kırpma sayısı), loglama metrikleri (tuşlama sayısı ve geri tuşu sayısı) ve ifade analizi metrikleri (negatif duygu sayısı) hesaplanmıştır. Görevler arasında metrikler açısından anlamlı bir fark olup olmadığı tek yönlü ANOVA kullanılarak araştırılmıştır. Ayrıca kullanılabilirlik metrikleri arasındaki ilişkiler Pearson korelasyonu ile ölçülmüştür. Çalışma sonuçlarına göre kanal kilitleme ile ilgili olan Görev 10'un görev zorluk düzeyi ve görev tamamlama süresi en yüksek çıkarken görev başarı oranı ise en düşük çıkmıştır. Görev 10; göz izleme, loglama ve ifade analizi sonuçlarına göre de diğer görevlere kıyasla en yüksek metrik değerlerine sahiptir. Korelasyon analizi sonuçları ise görev tamamlama süresi ve görev zorluğu artarken, tüm göz izleme, loglama ve ifade analizi metriklerinin değerlerinin arttığını ve katılımcıların algılanan memnuniyet düzeyini gösteren PSSUQ değerleri dışında her bir metrik arasında anlamlı bir ilişki olduğunu göstermektedir. Özellikle göz izleme metrikleri arasında güçlü ilişki bulunmaktadır. Çalışmanın ikinci aşamasında ise kullanılabilirlik uzmanlarının ve yazılımcıların arayüz tasarımı ve değerlendirme aşamasında kullanabilecekleri set üstü cihaz ve TV arayüzlerine özgü kullanılabilirlik sezgiselleri ve kriterlerinden oluşan bir kullanılabilirlik kılavuzu geliştirilmiştir. Kullanılabilirlik kılavuzunun geliştirilmesi için beş aşamalı formel bir metodoloji önerilmiştir: (1) kullanılabilirlik problemlerini tanımlama, (2) kullanılabilirlik sezgisellerini geliştirme, (3) doğrulama, (4) iyileştirme, (5) kullanılabilirlik sezgiselleri ve kriterlerini ciddiyet düzeylerine göre sıralama. Birinci aşamada toplamda 493 tane kullanılabilirlik problemi üç kaynaktan toplanmıştır: Arayüz tasarımı ve geliştirilmesi aşamasında yazılım geliştiricilerin belirlediği problemler, bilişsel gezinti yaklaşımını kullanan üç uzman tarafından belirlenen problemler, hizmet veya çağrı merkezlerine müşteriler tarafından iletilen problemler. İkinci adımda ise literatür incelemesi sonucunda tespit edilen mevcut kullanılabilirlik sezgiselleri ile ilişkili kriterler kullanılabilirlik problemleri ile eşleştirilerek ilk sezgisel listesi oluşturulmuştur. Daha sonra TV ve set üstü cihaz arayüzlerine özgü tasarım ilkeleri ve kılavuzları incelenerek önemli bilgiler kontrol listesi kriterlerine dönüştürülmüştür. Elde edilen bu ikinci liste ilk liste ile eşleştirilmiş ve eşleştirelemeyen kriterler bir araya getirilerek yeni sezgiseller geliştirilmiştir. Sonraki adımda ise sezgisel listesi kullanıcı testi, uzman değerlendirmesi ve sezgisel değerlendirme yöntemleri kullanılarak doğrulanmış ve gerekli iyileştirmeler yapılmıştır. Son adımda ise uyum ve kümeleme analizleri kullanılarak sezgiseller ve kriterler önem derecesine göre sıralanarak liste son haline getirilmiştir. Çalışma sonucunda 16 kullanılabilirlik sezgiseli ile 104 kriter geliştirilmiştir. Bu sezgisellerin beş tanesi Sistem durumunun görünürlüğü (H4), Kullanıcı ile zevkli ve saygılı etkileşim (H13), Gizlilik (H14), Ebeveyn kontrolü (H15), ve Kolay erişim (H16) kullanılabilirlik felaketleri ile ilişkili çıkmıştır. Çalışmanın üçüncü adımında ise kullanılabilirlik değerlendirme sürecinin değişik aşamalarında veri madenciliği ve makine öğrenmesi teknikleri kullanılarak süreçlerin etkin hale getirilmesi hedeflenmiştir. Literatürde bu çalışmada önerilen kullanılabilirlik kılavuzu geliştirme yöntemi gibi kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesine dayalı sezgisel geliştirme metodolojileri bulunmaktadır. Bu eşleştirme işlemi ise uzmanlar tarafından gerçekleştirilen uzun bir süreçtir. Ayrıca kullanılabilirlik değerlendirmesinin nihai amacı olan tespit edilen kullanılabilirlik problemlerinin çözümlerinin üretilmesi ve uygulanması da uzun zaman almaktadır. Bu sebeple tespit edilen kullanılabilirlik problemlerinin çözümlenmesi sürecinde eldeki zaman ve insan kaynaklarını da düşünerek problemlerin önceliklendirilmesi ve önceliği yüksek olan problemlerin çözümüne daha fazla odaklanılması önem arz etmektedir. Bu sebeple, bu çalışma kapsamında kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesinin kolaylaştırılması ve tespit edilen kullanılabilirlik problemlerinin önceliklerinin belirlenmesi amacıyla çeşitli veri madenciliği ve makine öğrenmesi teknikleri kullanılmıştır. Bu amaçla Digitürk'ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 problem temin edilmiştir. Öncelikle çalışma kapsamında kullanılabilirlik problemlerinin öncelik düzeyleri ve sezgisellerle eşleştirilmeleri açısından sahip oldukları örüntüler ilişkilendirme kuralları tekniği ile incelenmiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirmesine göre sınıflandırılması ise naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri kullanılarak yapılmıştır. Sınıflandırıcıların performansları ise kullanılabilirlik problem veri seti 50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10 ve 95:5 olmak üzere on eğitim/test parçasına ayrılarak değerlendirilmiştir. Çalışma sonucunda öncelik düzeylerine göre sınıflandırmada en yüksek doğruluk oranını (%76,21) destek vektör makineleri algoritması verirken en yüksek F1-skor değerini ise (%79,51) ile derin öğrenme algoritması vermiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirilmelerinin sınıflandırılması sonucunda da %90'ın üzerinde doğruluk oranları elde edilebilirken genel olarak F1-skorları da %75'in üzerinde gerçekleşmiştir. Kullanılabilirlik problemlerinin sezgisellerle eşleştirilmesinin sınıflandırılması konusunda genel olarak en iyi performansı gradyan artırma ağaçları sınıflandırıcısı vermiştir. Sonuç olarak bu çalışma kapsamında TV ve set üstü cihaz arayüzlerinin kullanılabilirliğinin geliştirilmesi için göz izleme, loglama ve ifade analizi tekniklerinin kullanıldığı bir kullanıcı deneyimi testi tasarlanmıştır. Ayrıca sadece TV ve set üstü cihaz arayüzleri için değil farklı sistemlerinde sezgisel değerlendirilmesinde kullanılabilecek bir formel sezgisel geliştirme metodolojisi sunulmuştur. Son aşamada ise geliştirilen formel metodolojinin etkin hale getirilmesi ve kullanılabilirlik değerlendirmeleri sonucunda elde edilen kullanılabilirlik problemlerinin öncelik seviyelerinin belirlenebilmesi için makine öğrenmesi tekniklerinin nasıl kullanılabileceği gösterilmiştir.

Watching television is an important part of our daily life. With the rapid developments in technology, the classic TVs we use in our homes have gained many new features such as connecting to the internet, watching Video on Demand (VOD) content, playing games, shopping. With these new features, TVs have started to converge computer and mobile device technologies. On the other hand, a set-top box is a special interface device that connects to TVs and allows digital content to be received, decoded, and viewed on TV. Thanks to set-top devices, users can watch content with high sound and image quality, connect to the internet, access VOD content, paid systems, and private channels, record broadcasts, play games, and shop from e-commerce websites. New features added to set-top boxes and TVs increase the complexity of the systems, leading to usability problems and ultimately the negative user experience. Usability is not only a quality feature that evaluates how user-friendly or easy-to-use products and systems are. It is also an indicator of how effectively, efficiently and satisfied users with different abilities perform certain tasks during their interaction with a system or product. User experience, on the other hand, is a broader or an umbrella concept that includes usability and it can be defined as all of the perceptions, feelings, behaviors, physical and emotional reactions of users that occur before, during, or after the use of a product or system. Usability and user experience are important factors affecting customer satisfaction, brand loyalty, and intention to use. Therefore, this study aims to develop a usability evaluation system that will help identify usability problems in the design and development phases of TV and set-top box interfaces. The study consists of three main stages: (1) User experience test design, (2) Development of a usability guideline specific to TV and set-top boxes, (3) Adoption of machine learning techniques in the usability evaluation system. In the first stage of the study, a user experience test enhanced with eye-tracking, expression analysis, logging, and think-aloud techniques was designed to evaluate the usability of TV and set-top box interfaces. For this purpose, a user study was conducted in ITU Usability Laboratory with 38 participants to evaluate the usability level of the TV interface of Digiturk, which is one of the digital TV broadcasting platforms in Turkey. Ten tasks related to the features of the TV interface such as VOD watching, channel locking, and broadcast recording were given to the test participants. During the experiments, the verbalizations of the participants using the concurrent think-aloud technique were recorded with cameras and sound recording systems. Furthermore, the eye movements of the participants were tracked using SMI eye-tracking glasses, and the actions of the participants during their interactions with the system were recorded with the logging software of Digiturk. The facial expressions of the participants were determined using the Ten Emotion Heuristics method. As a result of the experiments, the task difficulty level, Post-Study System Usability Questionnaire (PSSUQ) scores, task completion time, eye tracking metrics (fixation count, fixation duration, average fixation duration, saccade count, saccade duration, blink count, scan path length), logging metrics (keystroke count, backspace count) and emotion recognition metrics (negative emotion count) were calculated. Whether there is a significant difference in terms of metrics between tasks was investigated using one-way ANOVA. In addition, the relationships between usability metrics were measured with Pearson correlation. According to the results of the study, the task difficulty level and task completion time of Task 10, which is related to channel locking, was the highest while the task success rate was the lowest. Furthermore, Task 10 generally had the highest metric values compared to the other tasks, based on the results of eye-tracking, logging, and emotion recognition analysis. The correlation analysis results show that while task completion time and task difficulty increase, the values of all eye tracking, logging, and emotion recognition analyses metrics increase. Furthermore, there is a significant relationship between each metric, except for the PSSUQ scores, which show the perceived satisfaction level of the participants. Especially, there are strong relationships between eye-tracking metrics. In the second phase of the study, a usability guideline consisting of usability heuristics and criteria specific to the set-top box and TV interfaces was developed that usability experts and software developers may use during the interface design and evaluation phase. For the development of the usability guideline, a five-step formal methodology was proposed: (1) identification of usability problems, (2) development of usability heuristics, (3) validation, (4) refinement, (5) listing heuristics and corresponding according to their severity level. In the first step, a total of 493 usability problems were obtained from three sources: software developers, experts, and customers. In the second step, the first heuristic list was created based on the mapping of the criteria corresponding to the existing usability heuristics in the literature with the usability problems by the experts. Then, the design principles and guidelines specific to TV and set-top box interfaces were examined, and by conceptualizing important information, a criteria list was created. This second list was mapped with the first list and new heuristics were developed by grouping the criteria that could not be mapped. In the next step, the heuristic list was validated through user testing, expert judgment, and heuristic evaluation methods, and necessary refinements were made. In the last step, the heuristics and corresponding criteria were listed according to their severity by using analytical techniques: correspondence and clustering analyses. As a result of the study, a usability guideline including 16 heuristics and 104 criteria was developed. According to the results, heuristics- Visibility of system status (H4), Pleasurable and respectful interaction with the user (H13), Privacy (H14), Parental control (H15), and Easy access (H16) are associated with catastrophic usability problems. The third step of the study aims to increase the effectiveness of the usability evaluation processes by using data mining and machine learning techniques. In the literature, there are methodologies based on the mapping of usability problems with heuristics, similar to the formal methodology that we proposed in this study. This mapping procedure is a long process performed by experts. In addition, the ultimate goal of usability evaluation is to identify and fix usability problems. Solving the usability problems and implementing these revisions to the system takes a long time. In the process of resolving the identified usability problems, it is important to prioritize the problems by considering the available time and human resources and to focus more on the solution of the problems with high priority. Therefore, this study adopts various data mining and machine learning techniques to facilitate the mapping of usability problems with heuristics and to determine the priorities of the identified usability problems. For this purpose, 3695 problems gathered as a result of the evaluation of the TV and set-top box interface by software developers were obtained from Digiturk. First of all, the patterns of the usability problems in terms of their priority levels and mapping with heuristics were examined using the association rules technique. Furthermore, the usability problems were classified according to the mapping with heuristics and priority levels by using various machine learning techniques: naive Bayes, logistic regression, fast large margin, deep learning, random forest, gradient boosted trees, and support vector machines. The performances of the classifiers were evaluated by splitting the usability problem dataset as ten train/test partitions of 50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10, and 95: 5. According to the results of the classification conducted according to the priority levels, the support vector machines algorithm gave the highest accuracy of 76.21% and the deep learning algorithm gave the highest F1-score value of 79.51%. As a result of the classification of usability problems in terms of mapping with the heuristics, accuracy rates of the classifiers were obtained over 90%, and the majority of F1 scores were obtained over 75%. The gradient boosted trees classifier gave the best performance overall in classifying the mapping of usability problems with heuristics. In a summary, in this study, a user experience test using eye-tracking, logging, and emotion recognition techniques was designed to improve the usability of TV and set-top box interfaces. Furthermore, a formal heuristic development methodology was proposed that can be used not only for TV and set-top box interfaces but also for heuristic development specific to different systems. In the last stage, machine learning techniques were adopted to increase the effectiveness of the proposed heuristic development methodology and to determine the priority levels of usability problems obtained as a result of usability evaluations.