Sound Morphing Using Auditory P300 Based Attentional Brain-computer Musical Interface

Abstract

Thesis describes the development and testing of a Brain Computer Musical Interfacing (BCMI) system that allows a user to transform one element of a musical texture by paying attention to that particular element. Building on previous works, the system makes use of Auditory Evoked Potentials (AEP) to elicit P300 waves. An oddball paradigm with multiple target stimuli was developed, and sound stimuli were diffused through a multi-channel speaker array for improved focus on the sound stimuli. A sound synthesis model was created for transforming sound texture based on neural oscillations. Artificial Neural Network was used to predict possible P300 waves showing the attentional focus. Using this technique, P300 waves were successfully predicted for the most of the test subjects.

Tez, kullanıcının işitsel bir uyaranın sahip olduğu müzikal dokunun, sadece o belirli işitsel uyarana dikkat edilerek dönüştürmesini sağlayan bir Beyin Bilgisayarı Müzik Arayüzü (BCMI) sisteminin geliştirilmesini ve test edilmesini konu etmektedir. Önceki çalışmalara dayanarak, sistem P300 dalgalarını ortaya çıkarmak için İşitsel Uyarılmış Potansiyelleri kullanır. Birden fazla hedef uyaranı içeren bir oddball paradigması geliştirildi ve ses uyaranlarına daha iyi odaklanılması için lokalizasyondan faydalanmak üzere çok kanallı bir hoparlör dizisinden ses uyaranları dağıtıldı. Ses dokusunu dönüştürmek için kaydedilen nöral salınımları kullanan bir ses sentezi modeli oluşturulmuştur. Ayrıca, kişinin dikkat odağını gösteren olası P300 dalgalarını tahmin etmek için Yapay Sinir Ağı kullanılmıştır. Bu tekniği kullanarak, test deneklerinin çoğunda P300 dalgaları başarılı bir şekilde tahmin edildiği ortaya çıkmıştır.