Enhancing virtual reality musical instrument design: Solving software topology problems with VRMI Creation Toolkit
Enhancing virtual reality musical instrument design: Solving software topology problems with VRMI Creation Toolkit
Dosyalar
Tarih
2021
Yazarlar
Sarıer, Ozan
Süreli Yayın başlığı
Süreli Yayın ISSN
Cilt Başlığı
Yayınevi
Lisansüstü Eğitim Enstitüsü
Özet
This thesis aims to provide an insight into the current state of virtual reality music instruments and provides a framework for enhancing the design of such instruments. The framework consists of a set of design recommendations and an accompanying software library to streamline the creation process. With recent developments in the virtual reality field, inexpensive consumer virtual reality equipment and related software development tools became available in the near past. Albeit being primarily designed for entertainment and video gaming, this new wave of affordable virtual reality devices also became an instrument for research, education, and artistic experimentation. Although the concept of virtual reality has been established for centuries and the technology to implement it has been present for decades, widespread adoption of the virtual reality technology happened on the socalled "second wave of virtual reality" due to the computing and technological requirements in fields of graphics rendering, displays, MEMS devices (microelectrical mechanical systems), optics and many more. During this so-called "second wave of virtual reality", several manufacturers were able to produce and sell sub-1000 USD systems with the advent of modern GPU's, affordable MEMS IMU's, miniature high-resolution displays, and capable optics. Coupled with initial launch titles in the form of video games, the launch of the affordable consumer virtual reality headsets and system was well received and acquired a user base that was significant for the third-party developers to create content for the systems released. Currently, affordable virtual reality technology is actively developed and offers an exciting field for digital music instrument researchers and designers. While virtual reality technology is currently being actively developed and deployed, the affordable hardware, software offerings, and software development tools are predominantly focused on gaming and related entertainment. This predominant focus on gaming and related entertainment reflect itself into virtual reality music instrument design with the lack of software development tools to embed real-time synthesis into distributable virtual reality music instrument software. When the existing virtual reality music instrument creations are inspected, two dominant trends are clearly visible. The first trend is academic virtual reality music instrument creations, where advanced synthesis is often used to create serious music instruments, but the resulting software cannot be packaged into a distributable product and deemed to cease existing due to licensing and software topology issues. The latter trend is amongst the commercially available virtual reality music instruments. These instruments use existing development tools that are created for video gaming in mind to achieve distributability, but the lack of sound generation options limits these instruments to simple sample playback, therefore severely limiting the sonic possibilities of a virtual reality music instrument. Enhancing virtual reality instrument design first requires understanding the concepts of virtual reality, the technical aspects of currently available systems, virtual reality related paradigms, and virtual reality related problems. This thesis aims to enlighten the reader about the topics above with sections that are documenting them. Secondly, in order to enhance the design, some questions such as "What is a good instrument?" and "What is a better instrument?" become important. When the existing digital music instrument research is inspected, there is not a single true answer to these questions, and in what way to enhance the virtual reality music instrument is unclear. However, amongst all the metrics to evaluate an instrument, the survivability aspect of an instrument is a common trait between all the instruments we care to remember. Therefore, this thesis argues that survivability is one of the most important qualities for a new instrument as it is a pre-requisite for any future advancements. The survivability of an instrument depends on many aspects and is virtually incalculable. While there is no formula for an instrument that will definitely survive, an instrument that will not survive can be formulated as there are several solid necessities for survival. In terms of software music instruments, the most obvious one of such necessities is publishability. If an instrument can't be published and distributed, it will only serve the creator. Time has shown us that it is often the case that such unpublished instruments are even forgotten by their creators most of the time. VRMI Creation Toolkit developed alongside this thesis aims to remedy the issues of survivability by alleviating the problems rooted in the software topology of contemporary virtual reality music instruments. As a helper library, VRMI Creation Toolkit enables developers to use their existing knowledge of music programming together with already established video game focused development tools; creating the possibility of real-time sound synthesis in a publishable and distributable end product. VRMI Creation Toolkit also employs pre-made virtual reality related interaction objects and greatly reduces the development time. As survival is not always guaranteed, VRMI Creation Toolkit aims to increase the chances of survival by reducing the development cost and increase a developer's chances to try again.
Bu tez çalışması, sanal gerçeklik müzik enstrümanlarının mevcut durumlarını inceleyip, enstrüman tasarımını iyileştirmek için bir çerçeve sunmaktadır. Sunulan tasarım çerçevesi, yaratım sürecini kolaylaştıran bir takım dizayn tavsiyeleri ve tasarıma yardımcı olacak bir yazılım kütüphanesinden oluşmaktadır. Sunulan yardımcı yazılım kütüphanesi VRMI Creation Toolkit ile müzik teknolojisi alanında sık kullanılan Pure Data ses programlama ortamında yaratılan gerçek zamanlı ses sentezleyicilerin sanal gerçeklik uygulamaları içinde gömülü olarak çalışması kolaylaştırılmıştır. Sanal gerçeklik alanındaki son gelişmelerle, geniş kitlelerce satın alınabilir, düşük maliyetli sanal gerçeklik donanımları ve ilgili yazılım geliştirme araçları yakın geçmişte hayatımıza girmiştir. Hayatımıza giren bu yeni nesil düşük maliyetli sanal gerçeklik donanımları, her ne kadar öncelikli olarak eğlence ve video oyunları için tasarlanmış olsa da, araştırma, eğitim ve sanatsal deneyler için uygun bir araç haline gelmiştir. Sanal gerçeklik konsepti asırlar, sanal gerçekliği mümkün kılacak donanım da on yıllarca evvele dayansa da, sanal gerçekliğin geniş kitlelere ulaşması, bilgisayar grafikleri, ekran teknolojisi, MEMS (mikro-elektrikli mekanik sistemler) aletler, optik teknolojiler ve benzeri teknolojik ve bilişimel gelişmelere ihtiyaç olduğundan dolayı ancak geçtiğimiz yıllarda, çoğu kişi tarafından sanal gerçekliğin ikinci dalgası olarak adlandırılan dönemde gerçekleşebilmiştir. Sanal gerçekliğin ikinci dalgası diye adlandırılan bu dönemde, düşük fiyatlı grafik işlemciler, MEMS IMU'lar, minyatür ekranlar ve yeni optik tasarımlar sayesinde 1000 Amerikan doları altında kalan son kullanıcı fiyatları ile sanal gerçeklik donanımları piyasaya sürülmüştür. Bilgisayar oyunları formunda, toplumsal merak ve heyecan oluşturan yazılım kütüphaneleri ile birlikte pazarlanınca, bu donanımlar toplum tarafından kabul görüp, azımsanamayacak kadar büyük bir kitleye ulaşmıştır. Ulaşılan kitlenin büyüklüğü de üçüncü parti yazılım geliştiricilerinin ilgisini çekecek kadar büyük olduğundan, birçok yazılım geliştiricisini alana çekmiştir. Günümüzde sanal gerçeklik teknolojisi aktif olarak geliştirilmektedir ve dijital müzik enstrümanı araştırmacıları ve tasarımcıları için de heyecan verici bir alan sunmaktadır. Sanal gerçeklik teknolojisindeki yazılımsal ve donanımsal gelişmeler aktif olarak devam etmekte olsa da teknolojinin çıkış noktası ağırlıklı olarak bilgisayar oyunları üzerine kurulu olduğundan dolayı, yazılımların çoğunluğu, yazılım geliştirme araçları ve donanımların gelişimi de kişisel eğlence üzerine odaklanan bir şekilde ilerlemektedir. Bilgisayar oyunları ve benzer eğlence üzerine odaklanan bu trend, sanal gerçeklik müzik enstrümanı tasarımına gerçek zamanlı ses sentezlemeye imkan yaratmayan yazılım geliştirme ortamları olarak yansımaktadır. Sanal gerçeklik müzik enstrümanları üzerine yapılan çalışmalar incelendiğinde, birbirinden kolayca ayrışan, iki baskın akım kolayca gözlemlenebilir. Bu akımlardan ilki olan akademik sanal gerçeklik enstrümanları, çoğu zaman ciddi enstrümanlar yaratabilmek için gerçek zamanlı ses sentezleme kullanmakta olup, bu gerçek zamanlı ses sentezlemenin uygulanış şekli sebebiyle tek bir yazılım olarak paketlenemeyen ve dağıtılamayan yazılımlardan oluşmaktadır. Yazılım mimarisi, lisanslama problemleri ve çoklu yazılım gereği gibi sebepler bu sorunun kaynağında yatmaktadır. Yayımlanamamaktan dolayı bu enstrümanların çoğu var olamadan kaybolmuştur. Baskın akımlardan ikincisi ise ağırlıklı olarak bilgisayar oyunlarının dağıtımlarının yapıldığı dijital platformlar aracılığıyla son kullanıcıya ulaşan sanal gerçeklik müzik enstrümanlarının içinde bulunduğu akımdır. Bu trende dahil sanal gerçeklik müzik enstrümanları, geliştirilme aşamasında bilgisayar oyunu geliştirmek amaçlı tasarlanmış yazılım geliştirme ortamları kullanıldığından dolayı paketlenebilir ve dağıtılabilir yazılımlar olsalar da yazılım mimarilerindeki eksikliklerden ve gerçek zamanlı ses sentezleme yerine kayıtlı seslerin geri çalınması prensibine dayalı olarak çalıştıklarından dolayı oldukça kısıtlı ses çıktısına sahiplerdir. Sanal gerçeklik müzik enstrümanı tasarımını zenginleştirmenin ilk koşulu, mevcut teknolojiyi detaylı bir şekilde anlamak ve sanal gerçekliğe özgü durum, problem ve paradigmaları anlamaktan geçmektedir. Bu tez, bu hususları belgeleyip okuyucusunu bilgilendirmeyi amaçlamaktadır. İkincil olarak, sanal gerçeklik müzik enstrümanı tasarımını iyileştirmeden evvel, "iyi bir enstrüman nedir?" ve "Bir Enstrümanı ne daha iyi yapar?" gibi sorular cevaplanmalıdır. Geçmiş literatür incelendiği zaman, bu soruların cevabı olabilecek tek bir doğru bulunmamaktadır. Müzik enstrümanı tasarımı çok yönlülüğü sebebiyle sabit kurallar arasında sınırlı kalamamaktadır. Buna rağmen, çoğu başarılı enstrüman arasında ortak bir özellik göze çarpmaktadır – varlığını sürdürebilme. Bu bilgi ışığında, bu tez dahilinde bir enstrümanın varlığını sürdürme kabiliyeti en önemli hedefler arasında sunulmuştur. Bir müzik enstrümanının varlığını sürdürme kabiliyeti bir çok etkene dayanmakta olup, bu kabiliyetinin seviyesinin ölçülmesi veya hesaplanması nerdeyse imkansızdır. Varolma kabiliyetini geliştirecek veya garanti edecek bir formül olmasa da, bir müzik enstrümanının varolma kabiliyetini negatif etkileyeceği sabit olan bir sürü etken bulunmaktadır. Bir müzik enstrümanı yazılımı konu olduğunda, varolma yeteneğinin ilk gerekliliklerinden biri yayımlanabilirliktir. Bir yazılım müzik enstrümanı yayımlanmadığı sürece varoluşu sadece yaratıcısının kullanımı altında olacaktır. Geçmişe baktığımızda, bu tür müzik enstrümanların çoğunun yok olduğunu veya unutulduğunu görebiliriz. Bu tez beraberinde geliştirilen VRMI Creation Toolkit (Sanal Gerçeklik Müzik Enstrümanları Geliştirme Kütüphanesi), güncel sanal gerçeklik müzik enstrümanlarının yazılım mimarisinden kaynaklı oluşan enstrümanın varoluşunu sürdürememesi problemini gidermeyi amaçlamaktadır. Bir yazılım geliştirme yardımcı kütüphanesi olan VRMI Creation Toolkit, yazılım geliştiricilerinin aslen bilgisayar oyunlarının geliştirlmesi için tasarlanmış olan Unity yazılım geliştirme ortamında,gerçek zamanlı ses sentezleme tekniklerini, çoğu müzik teknolojileri araştırmacılarının hakim olduğu Pure Data ses programlama dili ile uygulamasına imkan sağlamaktadır. Gerçek zamanlı ses sentezleme imkanının yanında, sanal gerçeklik dahilinde kullanılacak interaksyon modelleri VRMI Creation Toolkit ile hazır olarak geldiğinden dolayı, sanal gerçeklik müzik enstrümanı tasarımı bu yardımcı kütüphane ile büyük ölçüde hızlanmıştır. Bu yazılım mimarisi ile yapılacak yazılımlar, hem geniş bir ses yelpazesine sahip olma imkanına, hem de tek bir yazılım olarak paketlenip yayımlanabilir olma imkanına sahiptir. Yardımcı kütüphane sayesinde, gerçek zamanlı ses sentezleme yeteneğine sahip sanal gerçeklik müzik enstrümanı tasarımının muazzam bir şekilde hızlanmasış olup, üretim maliyetinin büyük kısmını oluşturan tasarım maliyeti de beraberinde düşürülmüştür. Bu sayede düşük maliyet ile içerik olarak zengin sanal gerçeklik müzik enstrümanları yaratmak mümkün kılınmıştır.
Bu tez çalışması, sanal gerçeklik müzik enstrümanlarının mevcut durumlarını inceleyip, enstrüman tasarımını iyileştirmek için bir çerçeve sunmaktadır. Sunulan tasarım çerçevesi, yaratım sürecini kolaylaştıran bir takım dizayn tavsiyeleri ve tasarıma yardımcı olacak bir yazılım kütüphanesinden oluşmaktadır. Sunulan yardımcı yazılım kütüphanesi VRMI Creation Toolkit ile müzik teknolojisi alanında sık kullanılan Pure Data ses programlama ortamında yaratılan gerçek zamanlı ses sentezleyicilerin sanal gerçeklik uygulamaları içinde gömülü olarak çalışması kolaylaştırılmıştır. Sanal gerçeklik alanındaki son gelişmelerle, geniş kitlelerce satın alınabilir, düşük maliyetli sanal gerçeklik donanımları ve ilgili yazılım geliştirme araçları yakın geçmişte hayatımıza girmiştir. Hayatımıza giren bu yeni nesil düşük maliyetli sanal gerçeklik donanımları, her ne kadar öncelikli olarak eğlence ve video oyunları için tasarlanmış olsa da, araştırma, eğitim ve sanatsal deneyler için uygun bir araç haline gelmiştir. Sanal gerçeklik konsepti asırlar, sanal gerçekliği mümkün kılacak donanım da on yıllarca evvele dayansa da, sanal gerçekliğin geniş kitlelere ulaşması, bilgisayar grafikleri, ekran teknolojisi, MEMS (mikro-elektrikli mekanik sistemler) aletler, optik teknolojiler ve benzeri teknolojik ve bilişimel gelişmelere ihtiyaç olduğundan dolayı ancak geçtiğimiz yıllarda, çoğu kişi tarafından sanal gerçekliğin ikinci dalgası olarak adlandırılan dönemde gerçekleşebilmiştir. Sanal gerçekliğin ikinci dalgası diye adlandırılan bu dönemde, düşük fiyatlı grafik işlemciler, MEMS IMU'lar, minyatür ekranlar ve yeni optik tasarımlar sayesinde 1000 Amerikan doları altında kalan son kullanıcı fiyatları ile sanal gerçeklik donanımları piyasaya sürülmüştür. Bilgisayar oyunları formunda, toplumsal merak ve heyecan oluşturan yazılım kütüphaneleri ile birlikte pazarlanınca, bu donanımlar toplum tarafından kabul görüp, azımsanamayacak kadar büyük bir kitleye ulaşmıştır. Ulaşılan kitlenin büyüklüğü de üçüncü parti yazılım geliştiricilerinin ilgisini çekecek kadar büyük olduğundan, birçok yazılım geliştiricisini alana çekmiştir. Günümüzde sanal gerçeklik teknolojisi aktif olarak geliştirilmektedir ve dijital müzik enstrümanı araştırmacıları ve tasarımcıları için de heyecan verici bir alan sunmaktadır. Sanal gerçeklik teknolojisindeki yazılımsal ve donanımsal gelişmeler aktif olarak devam etmekte olsa da teknolojinin çıkış noktası ağırlıklı olarak bilgisayar oyunları üzerine kurulu olduğundan dolayı, yazılımların çoğunluğu, yazılım geliştirme araçları ve donanımların gelişimi de kişisel eğlence üzerine odaklanan bir şekilde ilerlemektedir. Bilgisayar oyunları ve benzer eğlence üzerine odaklanan bu trend, sanal gerçeklik müzik enstrümanı tasarımına gerçek zamanlı ses sentezlemeye imkan yaratmayan yazılım geliştirme ortamları olarak yansımaktadır. Sanal gerçeklik müzik enstrümanları üzerine yapılan çalışmalar incelendiğinde, birbirinden kolayca ayrışan, iki baskın akım kolayca gözlemlenebilir. Bu akımlardan ilki olan akademik sanal gerçeklik enstrümanları, çoğu zaman ciddi enstrümanlar yaratabilmek için gerçek zamanlı ses sentezleme kullanmakta olup, bu gerçek zamanlı ses sentezlemenin uygulanış şekli sebebiyle tek bir yazılım olarak paketlenemeyen ve dağıtılamayan yazılımlardan oluşmaktadır. Yazılım mimarisi, lisanslama problemleri ve çoklu yazılım gereği gibi sebepler bu sorunun kaynağında yatmaktadır. Yayımlanamamaktan dolayı bu enstrümanların çoğu var olamadan kaybolmuştur. Baskın akımlardan ikincisi ise ağırlıklı olarak bilgisayar oyunlarının dağıtımlarının yapıldığı dijital platformlar aracılığıyla son kullanıcıya ulaşan sanal gerçeklik müzik enstrümanlarının içinde bulunduğu akımdır. Bu trende dahil sanal gerçeklik müzik enstrümanları, geliştirilme aşamasında bilgisayar oyunu geliştirmek amaçlı tasarlanmış yazılım geliştirme ortamları kullanıldığından dolayı paketlenebilir ve dağıtılabilir yazılımlar olsalar da yazılım mimarilerindeki eksikliklerden ve gerçek zamanlı ses sentezleme yerine kayıtlı seslerin geri çalınması prensibine dayalı olarak çalıştıklarından dolayı oldukça kısıtlı ses çıktısına sahiplerdir. Sanal gerçeklik müzik enstrümanı tasarımını zenginleştirmenin ilk koşulu, mevcut teknolojiyi detaylı bir şekilde anlamak ve sanal gerçekliğe özgü durum, problem ve paradigmaları anlamaktan geçmektedir. Bu tez, bu hususları belgeleyip okuyucusunu bilgilendirmeyi amaçlamaktadır. İkincil olarak, sanal gerçeklik müzik enstrümanı tasarımını iyileştirmeden evvel, "iyi bir enstrüman nedir?" ve "Bir Enstrümanı ne daha iyi yapar?" gibi sorular cevaplanmalıdır. Geçmiş literatür incelendiği zaman, bu soruların cevabı olabilecek tek bir doğru bulunmamaktadır. Müzik enstrümanı tasarımı çok yönlülüğü sebebiyle sabit kurallar arasında sınırlı kalamamaktadır. Buna rağmen, çoğu başarılı enstrüman arasında ortak bir özellik göze çarpmaktadır – varlığını sürdürebilme. Bu bilgi ışığında, bu tez dahilinde bir enstrümanın varlığını sürdürme kabiliyeti en önemli hedefler arasında sunulmuştur. Bir müzik enstrümanının varlığını sürdürme kabiliyeti bir çok etkene dayanmakta olup, bu kabiliyetinin seviyesinin ölçülmesi veya hesaplanması nerdeyse imkansızdır. Varolma kabiliyetini geliştirecek veya garanti edecek bir formül olmasa da, bir müzik enstrümanının varolma kabiliyetini negatif etkileyeceği sabit olan bir sürü etken bulunmaktadır. Bir müzik enstrümanı yazılımı konu olduğunda, varolma yeteneğinin ilk gerekliliklerinden biri yayımlanabilirliktir. Bir yazılım müzik enstrümanı yayımlanmadığı sürece varoluşu sadece yaratıcısının kullanımı altında olacaktır. Geçmişe baktığımızda, bu tür müzik enstrümanların çoğunun yok olduğunu veya unutulduğunu görebiliriz. Bu tez beraberinde geliştirilen VRMI Creation Toolkit (Sanal Gerçeklik Müzik Enstrümanları Geliştirme Kütüphanesi), güncel sanal gerçeklik müzik enstrümanlarının yazılım mimarisinden kaynaklı oluşan enstrümanın varoluşunu sürdürememesi problemini gidermeyi amaçlamaktadır. Bir yazılım geliştirme yardımcı kütüphanesi olan VRMI Creation Toolkit, yazılım geliştiricilerinin aslen bilgisayar oyunlarının geliştirlmesi için tasarlanmış olan Unity yazılım geliştirme ortamında,gerçek zamanlı ses sentezleme tekniklerini, çoğu müzik teknolojileri araştırmacılarının hakim olduğu Pure Data ses programlama dili ile uygulamasına imkan sağlamaktadır. Gerçek zamanlı ses sentezleme imkanının yanında, sanal gerçeklik dahilinde kullanılacak interaksyon modelleri VRMI Creation Toolkit ile hazır olarak geldiğinden dolayı, sanal gerçeklik müzik enstrümanı tasarımı bu yardımcı kütüphane ile büyük ölçüde hızlanmıştır. Bu yazılım mimarisi ile yapılacak yazılımlar, hem geniş bir ses yelpazesine sahip olma imkanına, hem de tek bir yazılım olarak paketlenip yayımlanabilir olma imkanına sahiptir. Yardımcı kütüphane sayesinde, gerçek zamanlı ses sentezleme yeteneğine sahip sanal gerçeklik müzik enstrümanı tasarımının muazzam bir şekilde hızlanmasış olup, üretim maliyetinin büyük kısmını oluşturan tasarım maliyeti de beraberinde düşürülmüştür. Bu sayede düşük maliyet ile içerik olarak zengin sanal gerçeklik müzik enstrümanları yaratmak mümkün kılınmıştır.
Açıklama
Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2021
Anahtar kelimeler
Elektronik müzik,
Electronic music,
Sayısal müzik işleme