Exploring acceptance of e-exam using PLS-SEM approach: A case study in Turkey

Abstract

Gelişen teknoloji ile birlikte son yıllarda, birçok kamu kuruluşu ve özel kuruluş teknolojiye ayak uydurmak için bilgisayar temelli eğitimlere ve bilgisayar temelli değerlendirme sistemlerine karşı bir ilgi gösterilmesi ortaya çıkmıştır. Belirtilen sistemlere karşı oluşan ilginin yükselişe geçmesinin büyük öneme sahip sebepleri, küreselleşen eğitim ve öğretim ortamında, bu yeterliliklerin değerlendirilmesinden doğan ihtiyacı mümkün olduğunca kolay, anlaşılır ve belirleyici bir şekilde karşılayabilmektir. Değerlendirme sistemlerinin klasik uygulamalarını bilgisayara uyarlayabilmek, kolay erişilebilir hale getirmek ve maliyetleri azaltmak için bu sistemlere geçiş kaçınılmaz olmuştur. Bu kaçınılmaz geçiş ile beraber kurum ve kuruluşların bu geçişlerde dikkat etmesi gereken hususlar, alması gereken önlemler ve tecrübe ile beraber gelecek uyum sonucunda sistemin başarısı için önem arz eden konular arasında görünmektedir. Bilgisayar temelli değerlendirme yani E-sınav sistemleri, klasik sınav anlayışını teknolojik cihaz kullanarak, bu değerlendirmelerin mekân ve zaman konusunda daha esnek olabilmesini ve maliyetlerini azaltabilmesini amaçlayan organizasyonlardır. Bu bakımdan incelendiğinde, belirtilen organizasyonlar, kurumların değerlendirme uygulamalarını bilgisayar sistemine uyarlamalarına ve bu sistemin kullanıcılarının sisteme erişebilirliğine katkısı olacağı düşünülmektedir. Aynı zamanda belirttiğimiz yapıların bütün tabanlarının bilgisayar temelli olmasıyla değerlendirme süreç ve kalitesinde de artış gözlenmesi beklenmekte olan organizasyonlardır. Bu gelişmenin kurumlara birçok fayda kazandırması beklenmekle beraber, kendisi ile beraber bazı riskleri de ortaya çıkarmaktadır. Zira bu yeniliklerin uygulandığı kuruma iyi düzeyde bir adaptasyon sağlanamadığında başarılı sonuçlanmaması kaçınılmazdır. Kurum ve kuruluşların normalden daha yukarı seviyede harcamalara katlanarak uyguladıkları bunun gibi sistemlerin başarı getirmemesi ile beraber birimler yüksek düzeyde mali zarara uğramaları kaçınılmazdır. Bu gibi oluşumların başarılı olmama riskleri meydana çıkmasına karşın yine de yüksek sayıda kurum ve kuruluş tarafından kullanılmaya yönelik adımlar atılmaya devam edilmiştir. Günümüze kadar yakın zamanda ortaya çıkmış bir teknolojik oluşumun toplum tarafından kabulü ve taassup edilmesi ilgili birden fazla model ortaya çıkmıştır. TBP, TRA ve TAM modelleri bunlara misal olarak bahsedilebilir. Bunların içinden, geliştirildiği günden bu yana en çok tercih edilen model ise TAM olmuştur. Buna sebep olarak ise, belirttiğimiz modelin piyasada kullanışmış diğer sistemlere göre daha kolay anlaşılır, basit ve verilen bilgi konusunda daha açıklayıcı olmasıdır. TAM, bir kurumda veya kuruluşta enformasyon uygulamalarının başarılı bir şekilde çalıştırılmasının sadece yapının teknik ve yönetimsel hususiyetlerini ele alınmasının yeterli olmadığını, ayrıca bireylerin şahsi özelliklerine ve belirtilen yapıya karşı önyargılarına göre de değişebildiğini öne sürmektedir. Bu sebepten dolayı, öne sürülen çalışmada bu yapı enformasyon teknolojilerinin kişiler tarafından benimsenmesinde etkisi görece yukarıda olan etmenlerin kararlaştırılması için tasarlanmıştır. Öne sürdüğümüz yapı, içerisinde davranışsal niyeti etkileyen iki temel etmen bulundurur. Bunlar PEOU(algıların kullanım kolaylığı) ve PU(algılanan kullanışlılık)dur. PEOU, ortaya son zamanlarda çıkmış bir teknolojinin gelişmenin herhangi bir kişi tarafından çok fazla zihinsel zorlanmaya ihtiyaç olmadan öğrenilmesinin algılanması şeklinde açıklanabilir. PU kısmındaysa eğer, belirtilen gelişmenin kullanıma başlanması ile beraber kullanıcının kendi bireysel faydasının yükseleceğine karşın duyduğu düşünceyi belirtir. Belirtilen etmenlerle beraber, bireylerin enformasyon teknolojilerini uygulamadaki etkinliğine yönelik davranışsal niyetlerini biçimlendirerek belirtilen yapının kişilerdeki son kullanım düzeyini değiştirmesi beklenir. Bizim araştırmamız, Bilgisayar Tabanlı değerlendirme yani E-Sınav yapılarının amaca ulaşmasında bu yapıyı etkileyen etmenleri TAM ile araştırmaktadır Araştırmamızın gayesi, bireylerin araştırdığımız yapıyı tercih etme noktasındaki BI(davranışsal niyet)'sını ve yapının AU(gerçek kullanımı)'suna tesir eden çeşitli etmenleri çözümlemektir. TAM'ın içerisinde bulunan başlıca etmenlere ek olarak bu yapının etkinliğine tesir eden ve sisteme eklediğimiz ekstra etmenler şunlardır; öznel norm, güvenlik, deneyim, bilgisayar öz-yeterliliği, kullanıcı ara yüz tasarımı, pratiklik ve bilgisayar kaygısı. Bilgilerin elde edilmesi adına, internet tabanlı soru formu hazırlanarak kullanıcılara iletişmiştir. Bu form kişilere internet tabanı kullanan bir altyapı aracılığıyla hazırlanan bir anket olarak gönderilmiştir. Elde ettiğimiz bilgiler 2018 yılının Aralık ayında elde edilmiştir. Soru tablomuzda kullandığımız ölçü 5'li likert ölçüsüdür (Kesinlikle Katılmıyorum, Katılmıyorum, Kararsızım, Katılıyorum, Kesinlikle Katılıyorum). Bizim internet altyapısı kullanarak hazırlayarak oluşturup gönderdiğimiz formu dolduran kişiler, Bilgisayar temelli değerlendirme yani E-sınav kullanıcıları veya kullanıcı adaylarıdır. Saptadığımız etmenlerin, yapının kullanım niyetini ve fiili kullanımını değerlendirmesinde SEM yani yapısal eşitlik modellemesi kullanılarak ölçüm yapılmıştır. SEM yani yapısal eşitlik modellemesi görünen ve görünmeyen değişkenler arasındaki etkileşimleri faktör analizi ve çoklu regresyon analizleri aracılığıyla saptamaya çalışan çok değişkenli analiz araçlarındandır. Elde ettiğimiz sonuçların değerlendirilmesinde SmartPLS 3.2.7 uygulamasından yararlanılmıştır. Nihai olarak 245 birey kendilerine iletilen soruları sonuçlarını bize iletmiştir. Elde ettiğimiz değerlendirmelere göre 11 hipotezimizden tamamı desteklenmiştir. PU ve PEOU'nun kişilerin yapıyı kullanmasına yönelik eğilimleri üzerinde artı yönde ve doğrudan tesiri olduğu görülmektedir. Ayrıca BI sistemin AU'nun değer taşıyan bir etkileyicisidir. Seçilen dış faktörlerden CSE, UID ve CAPEOU üzerinde anlam düzeyi olumlu ve doğrudan bir tesiri olduğu görülmektedir. PRAC, SN ve SEC ise PU'ya olumlu yönde ve doğrudan tesir eder. Diğer bir faktörümüz olan deneyim ise algıların kullanım kolaylığı üzerine anlamlı bir etkisi olmadığı görülmüştür. Son olarak bir değişkenimiz hariç bütün değişkenlerimizin yapının BI'sına doğrudan olmayan bir etkisi olduğu saptanmıştır. Elde ettiğimiz sonuçlarla ilgili bilgiler son kısımda yer alan sonuç ve tavsiyeler bölümünde aktarılmıştır. Öne sürülen araştırmanın sonuç ve tavsiyeler kısmında, yaptığımız uygulama neticesinde bulduğumuz sonuçlara ilişkin yorumlamalar yer almaktadır. Son bölümümüz şu bölümleri içermektedir; tartışma, araştırma kısıtlamaları ve değerlendirme. Tartışma kısmında bulduğumuz sonuçları detaylı biçimde açıklanarak yorumlanmaya çalışılmıştır. Araştırma kısıtlarında araştırmanın yetersiz kaldığı kısımlardan bahsedilerek takip edecek çalışmalar için önerilerde bulunulmuştur. Değerlendirme kısmında ise çalışmamızın yönteminden, verilerimizden ve genel özelliklerinden bahsedilmiştir. Gelecek çalışmalar için önerilerde bulunulmuştur.

With the developing technology, in recent years, many public and private organizations have started to be interested in computer-based training and computer-based evaluation systems to keep up with technology. One of the most important reasons for the increase in the interest in these systems is to meet the need arising from the evaluation of these qualifications as easily, understandably, and decisively in a globalized education and training environment. In order to adapt the classical applications of evaluation systems to computers, to make them easily accessible and to reduce costs, the transition to these systems has become inevitable. Computer-based evaluation systems that aim to make these evaluations more flexible in terms of space and time and reduce their costs by using the classical examination understanding with a technological device. From this point of view, it is thought that these systems will contribute to the institutions adapting their evaluation applications to the computer system and the accessibility of the users of this system. At the same time, it is expected to increase the evaluation process and quality with all bases being computer-based. Although this system is expected to bring many benefits to institutions, it also brings with it some risks. Because, inevitably, this system will not be successful if a good adaptation to the institution it is made. As a result of the failure of this system implemented by institutions and organizations by incurring high costs, units suffer great financial losses. Although these systems have risks of not being successful, they are still preferred by many institutions and organizations. To date, more than one type has been acquired regarding the appropriation and adoption of new technics. Planned Behavior Theory, Caused Activities Theory, and Technology Acceptance Model are examples of these models. Among these, the most preferred model in explaining the usage intentions of the users and the actual use of the system since its development is the TAM. This is because these systems are more understandable, simpler, and more descriptive of the information provided than other systems. The Technology Acceptance Model argues that the successful implementation of information systems in an organization, organization or organization is shaped not only by the technical and managerial characteristics of the system, but also by the personal characteristics of the users and their attitudes towards this system. For this reason, this model we have proposed has been created to identify the elements that have the greatest influence on the admission of information systems by users. This model contains two main factors that affect behavioral intent. These are PEOU and PU. PEOU can be expressed as the perception of learning a new technology by a person without the need for much mental effort. PU, expresses the belief that one's own work performance will increase with the introduction of this technology. Together, these two factors shape the behavioral purposes of people to use information systems and affect the actual utilization of the system by users. This study examines the factors affecting users' behavior towards the system in the success of Computer-Based evaluation, that is, E-Exam systems with the Technology Acceptance Model. The aim of the study is to analyze the BI of the users to use the new system and various factors affecting the actual use of the system. Besides to the factors in the TAM, we add some external factors. Other external factors affecting system use; subjective norm(SN), security(SEC), computer self-efficacy(CSE), user interface design(UID), practicality(PRAC), and computer anxiety(CA). An online questionnaire was prepared and sent to the users to collect the data and the data were collected in December 2018. In the survey form, a 5-point Likert scale was used (I strongly disagree, I disagree, I am indecisive, I agree, I strongly agree). These users are Computer-based evaluation, namely E-exam users or candidates. Structural Equation Modeling was used to measure the intended use and actual usage of the determining factors. SEM is one of the multivariate analysis technics for determining the relationships between observed and hidden variables using factor analysis and multiple regression analysis. For analyzing data we used a program.This program is the SmartPLS 3.2.7. In total, 245 users answered the questionnaire. According to the results of the investigation, all of the 11 hypothesis were supported. PU and PEOU have a positive effect on people's intentions to use the system. In addition, the intention to use is a significant determinant of the actual utilization of the system. Of the external variables identified, CSE, UID, and CA have a significant direct effect on PEOU. PRAC and SN and safety, which are among other external variables, affect positively usefulness positively and directly. If our variable, which is seen as one of the external factors, perceptions have no significant effect on ease of use. In addition, all these external variables have a significant indirect effect on the intention of the system. Detailed information about the findings obtained from the analysis is given in the results section of the study. In the conclusion and suggestions section of the study, interpretations were made regarding the results we obtained as a result of our application. The last section consists of the discussion, research constraints, and evaluation sections. It was interpreted by explaining the findings we obtained in the discussion section in detail. In the research constraints, suggestions were made for the studies to be followed by mentioning the parts of our research that were insufficient. In the evaluation part, the method, data, and general features of our study are mentioned. Suggestions were made for future studies.