Designing digitally-enhanced environments for children's play with everyday objects

Abstract

Over the past years, several digitally-enhanced play environments have been developed. Today, digital technology is dispersed in the everyday settings children live, learn, and play in. In this thesis, the first aim is to contribute to design studies for children's playscape by developing a blended environment for children, particularly by stimulating their physical activity and narration. A second aim is to offer design guidelines for enhancing children's play and bodily movements in other contexts and enabling children to articulate spatial narrations. The third goal is to develop spatial interaction forms that enhance children's narration and bodily movement digitally enhanced environments. This goal requires understanding children's narrative play within actions, objects, and people to make new directions for future studies. In this context, creating possibilities for stimulating children's physical movements and actions while interacting with the digital environment and other children is essential. This aspect of embodiment refers to interaction with an environment through children's bodies and senses to enhance their awareness of their surroundings. Regarding an overview of related work in human-computer interaction, this study opens up a discussion on the intermediary capacities of objects. While identifying different interaction forms that children have with objects and position blended environments within this classification, this study offers a repertoire of roles children take on in the play. Concentrating on narration-heavy pretend play expands children's spatial experience in digitally-enhanced environments to encompass active engagement with objects. I proposed a framework with categories of interaction and a repertoire of roles that embody an unifying approach to designing an environment that sustains the values of bodily and sensorial experiences in children's playscapes. A formulation of the essential qualities for spatially may enable narration in play. Firstly, I categorized the different forms of interaction observed in relevant examples of digitally-enhanced narrative environments for children. The criteria were the distinction of physical and metaphysical scales of the interaction. These categories are the basis for exploring spatial features necessary for children's imaginative play in their everyday environments. Secondly, I depicted the narrating behaviors of children in playscapes based on patterns of full-body engagements with object/space in developmental psychology literature and recent human-computer interaction (HCI) research. The various forms of interaction yield to playscapes' digital and physical potential features. Thirdly, I established four basic design principles for digitally-enhanced playscapes that encompass the categories of interaction and the repertoire of roles towards promoting children's bodily interactions with everyday objects. These key features frame ways to introduce spatial narrative into playscapes by addressing the potential of digitally-enhanced environments for children's narrative worlds during pretend play. I present a framework for designing children's playscapes to co-construct narratives, engage in active exploration, and reflect on narrative experiences. Developing design principles have two main benefits as part of this research. The first is that these guidelines help other designers design digitally-enhanced playscapes for children's physical activity. The second benefit concerns the research process, and it orients the researcher. While establishing design principles, the second level in which design activity occurs focuses on creating spatial scenarios for children's narrations. These scenarios are developed as conceptual designs and prototypes as an integral part of the research. Working with prototypes helped emerge new ideas, so it becomes an exploration device throughout this study. And lastly, through the prototype, the interaction patterns were explored and evaluated whether the prototype sustains children's bodily and sensorial experiences. A novel digitally-enhanced physical environment was developed, called Monnom. It provides body-object interaction, only requires a webcam. Its algorithm recognizes physical objects within view and drives the interaction with a digital canvas. With Monnom, while children play with objects in their physical space, their stories simultaneously take shape in the digital environment. It may support children's understanding of the causal links by spatial experiences. The prototype has been assessed with children in a museum and a school. Throughout the evaluation, the aim was to understand whether tangible interaction supports physicality and forms of embodied experience. The Observational System for Spatial Narration of Children was developed to understand how children's interactions with Monnom affect their physical activity and peer communication. The thesis argues that blended environments which combine digital and physical media may contribute to the versatility of such spatial activity by focusing on supporting children's use of body movement and senses in narrative play.

Çocukların gündelik nesnelerle kurdukları oyunlar için sayısal teknolojiyle desteklenmiş ortamların tasarlanmasına yönelik yöntem önerisi geliştirmek bu tezin genel çerçevesini oluşturmaktadır. Günümüzde dijital araçlarla destekli ortamlar çoğunlukla çocuklara ekran tabanlı ortamlar sunar. Dijital ortam ile etkileşim dijital eklentili araçlarla (mouse, touchpad, vb.) sağlanarak tüm bedenleriyle çevrelerini algılayan çocukların sadece el ve göz etkileşimine yönelik deneyimler sunar. Bu ortamlar önceden belirlenmiş kural ve amaçlarla çocuklara sınırlı bir deneyim ve etkileşim alanı oluşturur. Bu çalışmada, çocukların gündelik ortamlarından ulaşabilecekleri, fiziksel ve dijital ortamları eş zamanlı deneyimleyebilecekleri, dinamik bir ortamın oluşturulmasını sağlayacak koşullar araştırılmıştır. Çalışmanın kavramsal çerçevesi oluşturulurken çocuk gelişimi, insan-bilgisayar etkileşimi ve tasarım alanlarından, çocukların oyun süreçlerinde mekansal anlatılarını anlamaya yönelik araştırmalara odaklanılmıştır. Bunun için çalışmada ilk olarak, çocukların gündelik nesnelerle etkileşimleri değerlendirilmiştir. Literatür araştırması ile sayısal teknolojiyle desteklenmiş oyun kurma ortamına yönelik kuramsal çerçeve oluşturulmuştur. Araştırma sürecinde dijital araçların çocukların bedensel ve duyusal deneyimlerini destekleyecek yönde kullanımına yönelik senaryolar geliştirilmiştir. Geliştirilen etkileşim senaryoları ile beraber, çocukların gündelik yaşantılarının ayrılmaz bir parçasına dönüşen teknolojiyi anlamalarına yardımcı olmak da amaçlanmıştır. Bununla birlikte çocukların etraflarında kendi belirledikleri nesneleri seçerek, onlarla birlikte dijital ortam ile etkileşim kurmalarına yardımcı olması amacıyla prototipler geliştirilmiştir. Literatürde yer alan bilgiler, çocukların fiziksel ve dijital ortamları eş zamanlı kullanabilecekleri, bu sürece etkin olarak katılabilecekleri ve deneyimlerini ifade edebilecekleri ortamlar tasarlamaya yönelik bir yaklaşım oluşturmanın önemli olduğunu göstermiştir. Literatür araştırması ile çocukların oyun süreçlerinde çevreleriyle farklı mekansal ölçeklerde kurdukları etkileşim biçimleri tanımlanmıştır. İkinci olarak gelişimsel psikoloji ve çocuk-bilgisayar literatürüne dayanarak çocukların sembolik oyun süreçlerinde ortaya çıkan roller, beden-nesne-mekan etkileşim örüntüleri üzerinden tanımlanmıştır. Üçüncü olarak bu etkileşim formları ve rol repertuarına dayanarak dijital araçlarla destekli anlatı kurma ortamına yönelik tasarım ilkeleri oluşturulmuştur. Bu ilkelerle birlikte oluşturulacak etkileşimli ortama çocukların gündelik ortamlarından kolayca ulaşıp kullanabilmeleri için, bu yeni ortamın teknolojik olarak basit bir kurguyla ve düşük maliyetle üretilmesi de amaçlanmıştır. Tez kapsamında oluşturulan çerçeve ile çocukların bedensel ve duyumsal deneyimine odaklı, fiziksel ve dijital ortamları birlikte kullanımını sağlayan görsel/ mekansal yeni anlatı ortamı prototipi tasarlanmıştır. Çocukların gündelik mekanlarından kolaylıkla ulaşabilecekleri bir altyapı oluşturmak için webcam üzerinden nesnelerin gerçek zamanlı algılanabileceği görüntü işleme algoritması geliştirilmiştir. Düzenek çocukların dijital eklenti yapılmaksızın sadece etraflarında bulunan renkli nesnelerle dokunsal temas içerisinde olarak dijital ortam ile etkileşim kurmalarına olanak sağlayacak şekilde tasarlanmıştır. Prototip düzeneği nesneler ile geliştirilen yazılımın yüklendiği bilgisayar, web kamerası, projeksiyon ve yansıtıcı (perde veya ekran) yüzeyden oluşmaktadır. Renkli nesnelerle çeşitli örüntüler eşleştirilmiş ve çocukların bu ikilikleri fiziksel ve dijital ortam ile etkileşerek keşfetmeleri yeni kompozisyonlar oluşturması planlanmıştır. Bilgisayara yüklenmiş yazılım, web kamerasının algıladığı renkleri, eşleri olan örüntülere çevirerek yansıtıcı yüzeye aktarmaktadır. Dijital herhangi bir aracı doğrudan kontrol etmelerine gerek olmadan, çocuklar mekan içerisinde renkli nesnelerle birlikte hareket ederek dijital ortamda nesnelerle eşleştirilen örüntülerin boyu ve konumlarına etki edebilmektedirler. Nesneler aracılığıyla dijital ortam ile etkileşime olanak sağlayan bu senaryo ile çocukların bedensel hareketlerinin ve duyusal deneyimlerinin desteklenmesi amaçlanmıştır. Çocukların tek başlarına veya grup halinde kullanabilecekleri düzeneğin, çocukların mekânsal/bedensel deneyimlerine katkısının gözlemlenmesi amacıyla düzenek müze ve okul bağlamlarında 4-12 yaş arası çocuklarla buluşturulmuştur. Çalışmanın yürütülmesi için İstanbul Teknik Üniversitesi Sosyal Ve Beşeri Bilimler İnsan Deneyleri Etik Kurulu'ndan onay belgesi alınmıştır. Bu kapsamda çocuklarla yapılan çalışmalar, eğitim kurumları ve müzelerde önceden ailelerin bilgilendirilmesi ve onaylarının alınması ile gerçekleştirilmiştir. Yaş aralığı çocukların gelişim dönemleri dikkate alınarak belirlenmiştir. Araştırma kapsamında incelenen gelişimsel psikoloji literatürü çerçevesinde, çocukların dört yaşından itibaren nesnelere sembolik anlamlar vererek kendi oyuncaklarını ve oyunlarını oluşturabildikleri, bununla birlikte ben merkezli olmaktan uzaklaşarak kendilerini başkalarının yerine koymaya başladıkları görülmüştür. On iki yaşından itibaren çocukların gelişiminde soyut işlemsel dönemleri başladığı için üst yaş sınırı on iki olarak belirlenmiştir. Çalışmada çocukların fiziksel ve dijital ortamları eş zamanlı olarak kullanmasına olanak sağlayan aracı renkli nesneler ile etkileşimi gözlemlenmiş ve prototipin, çocukların mekansal deneyimlerine etkileri incelenmiştir. Çalışma süresince çocukların nesneler aracılığıyla görsel ve mekânsal anlatı kurma süreçleri video ve ses kaydı yapılarak belgelenmiştir. Video kaydı, çocukların hareket halinde ekranda /perdede oluşturdukları görüntüyle kurdukları göz temasını ve mekandaki hareketlerini belgelemek, ses kaydı ise görsel/ mekânsal anlatı kurarken nesnelerle eşleştirilen örüntülerin bu anlatılarını destekleyip desteklemediğini açığa çıkarmak için kullanılmıştır. Çocukların hareketleri ve ekranda/perdede oluşturdukları görüntü arasındaki ilişkinin takip edilebilmesi için ekranda değişen görüntü video olarak, seansın sonunda ekrandaki son görüntü resim dosyası olarak kaydedilmiştir. Video analizi ile ilk olarak geliştirilmiş etkileşim senaryosunun çocukların bedensel etkinliklerine, ikinci olarak, çocukların oyun süresince hem oynayan hem planlayan olarak çocukların anlatı kurma sürecine katılımlarına ve üçüncü olarak çocuklar arasındaki iletişime, birlikte üretme deneyimlerine etkisinin ortaya çıkarılması amaçlanmıştır. Araştırma sorularına bilgi sağlayacak şekilde bir kodlama planı geliştirmek için öncelikle bedensel etkinliklere yönelik mevcut kodlama sistemleri incelenmiştir. Mevcut sistemlere bakıldığında parametrelerin, bedenin nasıl hareket ettiği, nerede hareket ettiği ve hareket ederken çevresinde kimlerle, ya da nelerle etkileşim kurduğu (nesneler, akranlar..) dikkate alınarak belirlendiği gözlemlenmiştir. Mevcut kod sistemlerinden bedensel hareket ve pozisyona yönelik kodlar uyarlanarak kodlama sistemi oluşturulmuştur. Yapılan kapsamlı analizde çocukların hareket değerleri incelenmiş, ve fiziksel nesneler aracılığıyla dijital ortamlar ile etkileşim kurmaya olanak sağlayan prototipin çocukların bedensel etkinliklerini desteklediği gözlemlenmiştir. Bununla birlikte çocukların oyun süresinin sadece yarısında ekrana baktıkları tespit edilmiştir. Bu durum mevcut ekran tabanlı ortamların sunduğu göz ile el etkileşimin ötesinde çocukların fiziksel ve dijital ortamları eş zamanlı olarak kullandığına işaret etmektedir. Araştırma ve tasarım süreçlerinin eş zamanlı olarak ilerlediği bu çalışma ile, çocuk oyun alanı tasarım araştırmalarına ve çocuk-bilgisayar etkileşimi araştırmalarına katkı sağlamak amaçlanmıştır.