Biyolojik Sinir Sistemlerinin Modellenmesi Ve Gerçeklenmesi

Abstract

Beynimizin temel işlem birimi sinir hücreleri veya kısaca nöronlardır. Bir memeli beynindeki sinir hücreleri, birbirleri ile koordine bir şekilde çalışıp görüntü işleme, karar verme, idrak etme, motor kontrol gibi yüksek karmaşıklıktaki hesaplamaları çok kısa sürede, çok az enerji tüketerek yerine getiren analog birimlerdir. İnsan sinir sisteminde yaklaşık olarak 100 milyar nöron olduğu tahmin edilmektedir. Bununla beraber normal bir sinir hücresi 50.000-250.000 kadar başka nöronla bağlantılıdır. Beynin tamamının nasıl çalıştığı konusunda günümüzde halen yeterli bilgiye sahip değiliz fakat bazı küçük bölümlerinin çalışması ile ilgili ayrıntılı bilgiler mevcuttur. Dinamik nöron modelleri, hesaplama kolaylığı olan I&F modelinden biyolojik olarak anlamlı olan karmaşık Hodgkin-Huxley modeline kadar çeşitlilik göstermektedir. Uygulamadaki hassasiyete ve tasarım kolaylığına bağlı olarak VLSI devre olarak gerçekleme için uygun olan model seçimi değişebilir. Bu tez çalışmasında, düşük güç tüketen ve az alan kaplayan VLSI devresi olarak gerçeklemeye uygun, biyolojik zaman ve biyolojik işaret ölçeğinde çalıştırılabilen dinamik bir nöron modeli önerilmiştir. Bu model geometrik yaklaşımla, denge eğrilerinden hareket ederek tasarlanmıştır. Önerilen model işlevsel olduğu çalışma bölgesinde INa,p+IK modeli ile benzer denge eğrilerine sahiptir. Bu durum, eşik altı bölgede, her iki modelin de eş davranış göstermesine neden olur. Model, biri hücre zarı potansiyelini diğeri tazmin akımını temsil eden iki durum değişkeninden oluşmaktadır. Ayrıca, hibrit modellerde olduğu gibi aksiyon potansiyeli sonrası reset mekanizmasına sahiptir. Ancak, Izhikevich ve AdEx I&F modellerinden farklı olarak, aksiyon potansiyeli tepe değerine ulaştığında sadece hücre zarı gerilimi sabit bir değere resetlenir. Tazmin değişkeninin resetlenmesi donanımsal olarak çok sayıda tranzistor gerektirdiği için çok geniş ölçekli nöromorfik devre gerçeklemede sınırlayıcı bir etkendir. Dolayısıyla, yeni modelde bu reset parametresinin olmaması devre gerçekleme açısından büyük bir avantaj sağlamaktadır . Önerilen modelin denge eğrilerinin tanjant hiperbolik karakteristiklerinden ötürü tazmin değişkeni, hücre zarı potansiyelinin resetlendiği noktada, olması gereken değere kendi kendine ulaşır. Yeni nöron modelinde on farklı parametre varmış gibi gözükse de, denklemler minumum sayıda parametre elde edecek şekilde normalize edildiğinde, sadece dört bağımsız parametreye sahip olduğu görülür. Bu parametrelerden sadece iki tanesine değişik değerler vererek gerçek bir biyolojik sinir hücresinin gösterdiği aksiyon potansiyeli örüntülerinin birçoğu elde edilebilir. Modelin gösterdiği aksiyon potansiyeli davranışlarını incelemek amacıyla kullanıcıdan girdileri alıp sayısal benzetim sonuçlarını kullanıcıya sergileyen bir MATLAB uygulaması geliştirilmiştir. Bu uygulama sayesinde, uygun parametreler seçildiğinde, önerilen modelin beynin neokorteks ve talamus bölgesinde bulunan sinir hücrelerinin gösterdiği farklı davranışların birçoğunu gerçekleştirebildiği kanıtlanmıştır. Tek simetrik olması ve eşik altı CMOS tekniği ile VLSI gerçekleme kolaylığı nedeniyle yeni model tanjant hiperbolik fonksiyonlar ile oluşturulmuştur. Bu da nöron devresinin kısmen kolay ve hızlı gerçeklenmesini sağlamıştır. Gerçeklenen nöron devresi bir adet birinci derece logaritmik süzgeç, tanjant hiperbolik fonksiyon üreteçleri, doğrusal gerilim bölücüler, karşılaştırma ve resetleme bloğu ve bir adet de gerilim kontrollü akım referansından oluşmaktadır. Tasarım aşamasında, ayrı ayrı tüm bloklar için devre benzetim sonucunu analitik ifadesinin eğrisine, minumum kareler yöntemi kullanarak, uydurma yöntemi uygulanmıştır. Akım ve tranzistor boyutları gibi tasarım parametreleri belli bir karesel hatanın altında kalana kadar yinelenmiş ve bu yöntem Yinelemeli Eğri Uydurma Yöntemi olarak (Iterative Curve Fitting Method-ICFM) olarak isimlendirilmiştir. Tanjant hiperbolik fonksiyon üreteci (THB) olarak eşik altı çalışan, koskod çıkış katlı, uzun kuyruklu devre yapısı kullanılmıştır. Proses parametrelerinin sapmasından kaynaklanacak hatanın minimize edilebilmesi için kuyruk akımı 100 pA olan bir çekirdek THB tasarlanmıştır. Daha sonra, farklı değerli THB blokları bu çekirdek bloğun çıkışındaki akım, kaskod akım aynası kullanılarak, gerekli sabit katsayılar ile çarpılarak elde edilmiştir. Doğrusal gerilim bölücü devresi iki katmanlı merdiven tipi diyot bağlı NMOS tranzistorlardan oluşmaktadır. Bu bloğun bölme değeri geniş bi gerilim aralığında 8.8 olarak elde edilmiştir. Klasik MOS gerilim bölücüye göre bu tasarımda daha az sayıda tranzistor ile daha büyük bölme değeri elde edilir ve gövde etkisi de diğerine göre daha düşüktür. Bu devre çok küçük akımlarla çalıştığı için devreye kaynak öteleme gerilimi uygulanmıştır. Birinci derece logaritmik süzgeç devresi akım modlu olması nedeni ile tazmin akımını temsil eden değişkenin gerçeklenmesi için tamamı ile uygundur. Çok küçük akımlarla çalışıldığı için bu bloğa da kaynak öteleme gerilimi uygulanmıştır. Karşılaştırma devresi, iki adet kaskod bağlı eviriciden oluşan yapının girişi fark kuvvetlendiricisi olarak çalışan uzun kuyruklu bir devrenin çıkışına bağlanarak gerçeklenmiştir. Bu devre akım boşaltma anahtarı görevi yapan büyük boyutlu bir NMOS tranzistoru sürmektedir. Uzun kuyruklu devrenin kuyruk akımı çıkıştaki evirici katlarını çok hızlı sürmesi için yeterince yüksek olmalıdır. Bu koşuldan yola çıkılarak kuyruk akımı 2.3 nA olarak belirlenmiştir. Proses parametrelerindeki sapma ve sıcaklık bağımlılığı VLSI devrelerin çalışmasını etkileyen en kritik iki sorundur. Özellikle eşik altı çalışan devrelerde sıcaklık bağımlılığı hayati önem arz etmektedir. Bu nedenle geniş sıcaklık aralığında çalışan gerilimle kontrol edilebilir bir akım referansı devresi tasarlanmıştır. Gerilim kontrolü, proses parametrelerinden kaynaklı değişimlerin etkilerini minimize etmek için kullanılmış ve bu çerçevede devrenin bütün proses köşelerinde çalışmasını garanti edecek kontrol gerilimleri ayrı ayrı tespit edilmiştir. Devre tasarımı ve benzetimleri ilk olarak TSMC 0.18 mikron teknolojisi ile LTSpice tasarım araçları kullanılarak yapılmıştır. Daha sonra, hem bu tasarımı doğrulamak hem de devrenin serimini oluşturabilmek için AMS 0.35 mikron SiGe-BiCMOS teknolojisi ile Cadence® Virtuoso® araçları kullanılarak bütün bloklar tekrar tasarlanmıştır. Bu tasarımda, devre yapısı ve tranzistor boyutları TSMC'deki ile aynı tutulup sadece akım, gerilim kaynakları ve kapasite değerleri değiştirilerek aynı sonuçlara ulaşılmıştır. AMS teknolojisinin geçiş iletkenliği TSMC'ye göre oldukça düşük olduğu için AMS ile yapılan tasarımda besleme ve çalışma gerilimlerini daha yüksek değerlere ötelemek zorunluluğu ortaya çıkmıştır. Her iki tasarımda da VLSI üretim prosesinden kaynaklı mutlak boyut sapmalarının etkisini azaltmak için minimum tranzistor boyutu 2 mikron/2 mikron olarak seçilmiştir. AMS teknolojisi ile gerçeklenen nöron devresi 0.0128 mm2 alan kaplamakta ve 277.5 nW güç tüketmektedir. TSMC teknolojisi ile gerçeklenen nöron ise 241 nW güç tüketmektedir. Besleme ve kaynak öteleme gerilimleri sırasıyla AMS için 2.5 V ve 0.5 V, TSMC için 1.5 V ve 0.2 V'tur. Sayısal analizlerden elde edilen sonuçlarla devre benzetimlerinden elde edilen sonuçların mükemmel bir şekilde uyuştuğu gösterilmiştir. Literatürdeki bir çok model, sinapsları anlık çarpma operatörleri farzedip dinamik bir yapı olduğunu göz ardı eder. Gerçek bir sinaps modeli sinaps akımlarının zaman ve uzamda toplanabilmesi özelliğini göz önünde bulundurmalıdır. Bu bilgiler çerçevesinde, nöronları birbirine bağlayıp gerçekçi sinir ağları oluşturabilmek amacıyla yeni bir dinamik sinaps modeli önerilmiştir. Modelde kullanılan ifadeler yeni nöron modelindekine benzer yapıda olması nedeniyle sinaps modeli de kompakt ve düşük güçlü VLSI gerçeklemeye uygundur. Yeni modelle, sadece ters gerilim potansiyeline karşı düşen terimin değiştirilmesi ile sinapsların uyarıcı veya kısıtlayıcı davranış göstermesi sağlanmıştır. Nöronların senkronize davranışı canlıların kavramsal işlevlerini yerine getirmesi ve ritmik hareketlerinin oluşması gibi çok geniş bir çerçevede önemli bir role sahiptir. Bir nöronun zayıf uyarımlara cevabını gösteren Faz Yanıt Eğrileri (PRC), bir ağdaki nöronların ortak dinamik davranışını anlamak açısından çok önemli bir araçtır. Bu nedenle VLSI devre olarak gerçeklenen nöronun faz yanıt eğrisi çıkartılıp bunun Tip II PRC özelliğine sahip olduğu gösterilmiştir. Tip II PRC'ye sahip olması nedeniyle bir ağ içerisinde senkronize olabileceği sonucuna ulaşılmıştır. Daha sonra, yeni önerilen sinaps ve nöron modelleri kullanılarak, senkronizasyon davranışlarının incelenmesi amacıyla çeşitli sayılardaki nöronlar zincir bağlı bir ağ yapısı oluşturacak şekilde karşılıklı olarak uyarıcı ve kısıtlayıcı sinapslerle birbirlerine bağlanmıştır. Sayısal hesaplamalar sonucunda 2, 3 ve 4 nörondan oluşan ağda eş faz, zıt faz ve N-faz senkronizasyon davranışlarının oluşturulabileceği gösterilmiştir. TSMC 0.18 mikron teknolojisi kullanılarak 2 ve 3 nöronlu zincir bağlı ağ yapısının devresi gerçekleştirilmiştir. Zayıf kuplajdan dolayı sinaptik akımlar VLSI devre olarak gerçeklemek için çok düşük kalırlar. Bu nedenle akımları VLSI olarak gerçeklenebilir sınırlara çekmek için birtakım ölçekleme işlemleri gerçekleştirilmiştir. Devre simülasyonlarında, beklenen eş faz, zıt faz ve N-faz senkronizasyon davranışları başarıyla gözlemlenmiştir. Güç tüketimi 2 nörondan oluşan ağ için 282 nW, 3 nörondan oluşan ağ içinse 320 nW olarak bulunmuştur.

The elementary processing units of brain are the nerve cells, or neurons. Neurons are believed to be the key elements in signal processing. Those cells are analog units that work together to carry out the highly sophisticated computations in cognition and control. In traditional artificial neural networks, the neuron behavior is described only in terms of firing rate, but most of the real neurons, commonly known as spiking neurons, transmit information by pulses called action potentials or spikes. Spiking neuron models vary from the computationally simple Integrate and Fire (I&F) model to biologically meaningful Hodgkin-Huxley (HH) model. The network constructed with those models are called Spiking Neural Network (SNN). According to accuracy requirements and electronically easeness of implementation the appropriate model is selected for implementing the network. Today, SNN's has become essential to study the brain functions for Artificial Network Community. In this thesis, a new dynamical neuron model suitable for low power and compact VLSI implementation is presented. This model can operate in biological time and voltage scale. When designing the model, geometrical nullcline approach is used. In operational area, model has similar nullclines with INa,p+IK model resulting to equivalency in dynamic behaviour at subthreshold region. Offered model has two state variables such that one represents the membrane voltage while the other one represents the recovery variable. Also it has after spike reset mechanism as in hybrid models. Unlike Izhikevich and AdEx I&F model, only the membrane voltage is reset to a constant reset value after the spike reaches its apex. This is a big advantage of the model since implementing the hard reset of recovery variable requires large number of transistors which is a limiting factor for design of large-scale neuromorphic hardware. Recovery variable grows to the desired 'after-spike' value on its own in our model. Tangent hyperbolic characteristic of nullcline slows down the growth speed of state variable while approaching to the positive (or negative) saturation region of tangent hyperbolic. So this mechanism limits the growth speed as it will result to realistic spike timing. Even the new neuron model seems to have ten different parameters when it is scaled to obtain the minimum numbers of parameters it is seen that it has only four independent parameters and an input current. One can obtain nearly all of the major spiking templates of real biological neurons by only modifiying two of this parameters and input current. A software application in MATLAB to examine the neuro computational features of new neuron model with numerical simulations is developed, also. This application has a GUI for accepting the inputs from user and displaying the calculated outputs. By using this application it is shown that the model is capable of generating the most of the spiking patterns exhibited by the known types of neocortical and thalamic neurons when the proper parameter set is selected. New neuron model is constructed with tangent hyperbolic functions since it is odd symetric and easily implementable as VLSI circuit by using subthreshold CMOS technique. Judicious use of this technique leads to a very effective low power CMOS neuron. Implemented neuron circuit consist of a single first-order log domain filter, hyperbolic function generators, linear voltage dividers, compare & reset block and a voltage tunable current reference. In design phase, the simulation results are fitted to analytic expressions by using linear least squares curve fitting method. Accuracy metric of fitting is Root Mean Squared Error (RMSE) value. The design parameters is iterated until RMSE value stays below a spesific value. This technique is named as Iterative Curve Fitting Method (ICFM). Long tailed circuit topology with cascode output stage is used for implementing the tangent hyperbolic function generators (THB). To minimize the effect of process parameters deviation, a core THB with minimum tail current supplied from matched 100pA current source is designed, then the output is multiplied by a constant value for obtaining the real output of different THB's. Linear voltage divider circuit consist of two layered ladder type diode connected NMOS transistors. Dividing ratio of this block is determined as 8.8. When compared with the conventional MOS voltage dividers offered configuration has the advantage of having less number of transistors for the same divider value and of reduced body effect. Source shifting or offset voltage is applied to this circuit since it operates at very low currents. Log domain filter is a current mode circuit such that it is completely suitable for the implementation of recovery variable of our neuron model. Source shifting is applied to this circuit, also. A comparator circuit which drives a discharge switch is designed. Comparator circuit is implemented by connecting the input of two stage inverter to the output of a simple long tailed circuit that acts as differential amplifier. Tail current of differential amplifier should be high enough to drive output inverter stage as fast as possible. Thus this current is selected 2.3 nA. Discharge switch is implemented with big sized NMOS transistor since it should have high current sink capacity. Process parameter deviation and temperature dependency are the two most critical problems effective on the circuit operation. Especially for the circuits based on subthreshold operation, temperature dependency is a very common problem. Therefore, a wide temperature range voltage tunable current reference circuit is implemented. Voltage tuning is needed for minimizing the effect of process parameters deviation. The tuning voltage values that guarantees the proper operation of neuron circuit at all process corners are obtained. Initial design and simulations are carried out with TSMC 0.18 micron technology by using LTSpice design tools. Then all the blocks of neuron circuit is designed again with AMS 0.35 micron SiGe-BiCMOS process by using Cadence® Virtuoso® tools for both verifying the previous design and implementing the Layout of the neuron. The circuit topology and transistor sizes are kept same as in TSMC design and obtained the same results by only modifiying the value of voltage, currents sources and capacitors. The operating and supply voltages is shifted to higher values since the transistor transconductance of AMS technology is quite lower than TSMC technology. Minimum channel width to length ratio is selected as 2 micron/2 micron at both designs for minimizing the effect of the absolute parameter deviation in sizing caused by the VLSI manufacturing process. AMS design occupies 0.0128 mm2 chip area. Power consumption is 277.5 nW for AMS design and 241 nW for TSMC design. Supply and offset voltages are 2.5 V and 0.5 V for AMS circuit, 1.5 V and 0.2 V for TSMC circuit, respectively. Spiking patterns obtained from circuit simulations perfectly matches with numerical results. In most of the synapse models, temporal dynamics are neglected and synapses are assumed as an instantaneous multiplier operator. A realistic model should take into consideration the spatial and temporal summation of synaptic currents. In the light of these observations, a new dynamical synapse model for coupling the neurons to create the realistic SNNs is offered. This model consist of similar terms as new neuron model that makes it also suitable for compact and low power VLSI implementation. The model allows to make a synapse excitatory or inhibitory by only altering the reversal potential parameter. Synchronized activity of neurons take role in a wide range from cognitive functions to rhythmic movements of animals. The phase response curve (PRC), i.e. the neurons's response to weak perturbations, is a useful tool to understand the collective dynamical properties of a neuron in a network. Therefore the PRC of new neuron with VLSI implemented parameters is extracted and shown that it has Type II PRC. Based on complete neuron and synapse models, synchronization behavior of different number of reciprocally connected neurons that form a ring coupled network with excitatory and inhibitory synapses is studied. Numerical simulations are accomplished and inphase, antiphase and N-phase synchronization behaviour for networks with 2, 3 and 4 neurons are observed. VLSI circuit of two reciprocally coupled neuron and a ring coupled network with 3 neurons is designed by using TSMC 0.18 micron technology. Because of weak coupling synaptic currents are so small to implement as VLSI circuit. So some scaling operations are made to shift the synapse circuit output current value in a VLSI implementable range. At circuit simulations the expected inphase, antiphase and N-phase synchronization patterns is successfully observed. Power consumption is 282 nW for two reciprocally coupled neuron and 320 nW for three ring coupled neuron network.