Motion sensitive filters

Abstract

Keywords: Cellular neural networks; frequency tuned filters; velocity tuned filter.

1. Gi̇ri̇ş

İnsan ve hayvan davranışını taklit eden makineler yaratma düşü teknolojinin başlangıcından beri mevcuttur. Ucuz ve güçlü dijital bilgisayarların üretilmesiyle bu düş gerçekleşmeye başlamıştır. Ancak dijital bilgisayarlar, görsel bilgiyi işlemekte çok zorlanmaktadır çünkü işlenmesi gereken görsel veri miktarı çok fazladır. Örneğin 1s uzunluğundaki sıkıştırılmamış bir NTSC görüntü yaklaşık 22MB veri demektir. Bu kadar büyük veriyi işlemek, kaydetmek ve iletmek dijital bilgisayarlar için oldukça güçtür ancak bu zor işlerin hepsi biyolojik organizmalar tarafından rahatlıkla gerçekleştirilebilmektedir. Günümüzde birçok üniversitede kedi, sinek, maymun ve tavşan gibi çeşitli hayvanların görsel algılama yapıları incelenmektedir. Aynı zamanda, bir Silisyum yonganın destekleyeceği karmaşıklık derecesi de gün geçtikçe artmaktadır. Bu gelişmelerden ve incelemelerden yola çıkılarak canlı hücrelerin temel görsel veri işleme davranışını taklit eden, nöromorfik (nöron benzeri) tümleşik devreler olarak anılan bazı devreler geliştirilmiştir ve artık birtakım ürünlerde kullanılabilecek düzeye erişmişlerdir. Uzun vadede, nöromorfik tasarım kuralları sayesinde makinelerin çevreleriyle klavye vb. birimlerle değil gerçek zamanlı, sağlam, hızlı, ucuz, küçük ve akıllı sensör yapıları aracılığıyla etkileşebileceği düşünülmektedir. Tüm canlı organizmalar için en önemli duyu organı görme sistemidir. Bu çalışmada biyolojik görme sisteminin çeşitli elektriksel modellerinin HSA yapısı ile gerçekleştirilmesi üzerinde durulacaktır. Retinanın yatay hücrelerinin elektriksel olarak modellenmesi ilk defa C. Mead tarafından yapılmıştır. Şekil 1’de [1,2]’de verilen temel retina modeli görülmektedir. Bu modelde retinanın dış pleksiform katmanının yatay hücrelerinin sinapsları dirençlerle ve membran hücreleri de kondansatörlerle modellenmiştir. Elde edilen model dirençler ve kondansatörlerden oluşan dörtgensel bir ızgara yapısıdır. Bu yapı RC analog ağ olarak da adlandırılır. Biyolojik retinanın daha ayrıntılı özelliklerini içeren modeller Andreou [3,4,5] ve Boahen [6] tarafından geliştirilmiştir.

Şekil 1. Retinanın yatay hücre modeli (RC analog ağ) [1] RC analog ağ veya aktif rezistif yayılma ağı olarak adlandırılan düzlemsel olarak dizilmiş direnç ve kondansatörden oluşan bu yapılar basitliklerine rağmen gözdeki temel seviyeli filtreleme işlemlerini başarıyla gerçekleştirmektedir [7,8]. Bu ağ yapıları hücresel sinir ağları (HSA) ile gerçekleştirmeye çok uygundur, hatta kendileri birer HSA devresidir [9,10]. Bu çalışmada HSA yapısının uzay-zamansal filtreleme için nasıl kullanılabileceği üzerinde durulacaktır. Literatürde HSA ile gerçekleştirilen üç temel uzay-zamansal filtre yapısı bulunmaktadır. Bu filtreler 1. 2. 3.

Uzay-zamansal Gabor tipi frekans ayarlı filtreler [13,14] Uzay-zamansal hız ayarlı filtreler [7,8] Zaman türevli HSA ile frekans ayarlı filtreler [15,16,17]

olarak özetlenebilir. Aşağıda bu filtre yapıları hakkında ayrıntılı bilgi verilerek literatürde genellikle verilmeyen şablon katsayıları hesaplanmış ve bu filtrelerin çalışma prensipleri açıklanmıştır.

2. Hücresel Si̇ni̇r Ağlari (HSA)

HSA, her biri yalnızca en yakın komşularına bağlı hücre olarak adlandırılan basit işlem birimlerinin uzayda düzlemsel dizilmesiyle oluşurlar. Lineer bir HSA’nın bir hücresinin durum denklemi aşağıdaki gibidir. xij = − xij +

Burada (i,j) hücresi için x ij ∈ R durum ve çıkış, u ij ∈ R giriş, zij ∈ R eşik değeri ve r komşuluk yarıçapı olarak adlandırılır. A ( i, j;k,l ) ve B ( i, j;k,l )

besleme sinaptik ağırlıkları veya şablonlarıdır [11,12]. Hücresel sinir ağlarının yerel bağlantı ve yerel yineleme özellikleri onların VLSI devre tasarımında yaygın olarak tercih edilmesini sağlamaktadır.

3. HSA İLE Gerçekleşti̇ri̇len Gabor TİPİ Uzay-Zamansal Fi̇ltreler

Sabit hızla hareket eden bir işaretin hızı uzay-zaman düzleminde bir yöne karşı düşmektedir dolayısıyla hareket algılama için uzay-zamansal yön seçici filtreler kullanılabilir. Gabor filtreleri bu tip uzay-zamansal yön seçici filtrelerdir. Bu filtrelerin gerçek zamanlı hareketli görüntü işleme uygulamalarında kullanılmasında karşılaşılan sorun konvolüsyon işlemi nedeniyle işlenecek veri miktarının çok fazla olmasıdır ancak bu sorun da devreler HSA ile gerçekleştirilerek aşılmaktadır. Gabor filtresinin impuls cevabı, zarfı Gauss dağılımı olan bir kompleks üstel fonksiyondan oluşmaktadır. İki boyutlu bir Gabor filtresi impuls cevabı aşağıdaki gibidir.

Burada σ x ve σ y Gabor filtresinin x ve y yönünde standart sapması ve ( ωx 0 , ωy 0 ) da Gabor filtresinin merkez frekansıdır. Bu filtreler yukarıda da belirtildiği gibi yön seçici π yönündeki kenarları (işaret genlik ⎛ ωy0 ⎞ olmak üzere özelliktedir ve θ + θ0 = arctan ⎜ ⎟ ⎝ ωx 0 ⎠

değişimlerini) seçerler. Bu denklemlerin HSA ile simülasyonunda filtre impuls cevabı karmaşık sayı olduğu için reel ve imajiner kısımları ayrı ayrı gerçekleştiren iki katmanlı HSA kullanılır. Simülasyon sonucunda elde edilen filtre impuls cevabının zarfı Gauss dağılımından farklıdır, üstel fonksiyon şeklindedir. Bu tip filtreler Gabor tipi filtre olarak adlandırılmıştır. İki boyutlu uzaysal Gabor tipi HSA filtresinin A ve B şablon katsayıları ve HSA denklemi aşağıdaki gibidir [13,14].

⎤ ⎡0 0 0⎤ ⎥ , − jω ⎢ ⎥ 2 2 e x 0 ⎥ b = λ veya B = ⎢0 λ 0⎥ ⎥ ⎢⎣0 0 0⎥⎦ 0 ⎥⎦ 0

1 1 1 ∂ xi , j = ∑ Ak ,l xi + k , j +l + ∑ Bk ,l ui + k , j + l = ∑ Ak ,l xi + k , j + l + λ 2ui , j ∂t k ,l =−1 k ,l =−1 k ,l =−1

olur. Bu şablonlardan elde edilen ( ωx 0 , ωy0 ) frekansına ayarlı Gabor filtresinin frekans cevabı

olarak elde edilir. Eşitlik (5) uzaysal bant geçiren filtre denklemidir ve sürekli halde türevli değişimlerin sıfırlandığı kabulüyle elde edilmiştir. Zamansal değişimleri izlemek için ise transfer fonksiyonuna kondansatörün zamanla değişimini eklemek gerekir. Eşitlik (4)’ün zamansal değişimleri de içerecek şekilde sürekli zaman ayrık uzay Fourier dönüşümü alınırsa transfer fonksiyonu

olarak bulunur. Eşitlik (7) uzaysal frekansta bant geçiren, zamansal frekansta alçak geçiren filtre transfer fonksiyonudur. Zamanda da bant geçiren filtre elde etmek için Ω t frekansı Ω t − Ω t 0 ’a ötelenir. Bu durumda uzay-zamansal Gabor tipi FAF transfer fonksiyonu

olur. Gabor tipi filtre HSA devresi ve Uzaysal ve uzay-zamansal Gabor filtrelerinin frekans cevapları sırasıyla Şekil 2 ve Şekil 3’de verilmektedir.

Şekil 2. Uzay-zamansal Gabor tipi filtre i,j hücresinin HSA devresi

Şekil 3. Uzaysal ve uzay-zamansal Gabor tipi FAF frekans cevapları

4. HSA İLE Gerçekleşti̇ri̇len HIZ Ayarli Fi̇ltreler

Gabor-tipi filtreler Gauss veya benzeri dağılımlı alçak geçiren filtre yapısının frekans düzleminde ötelenmesi ile elde edilmektedir. Bu filtrelerin gerçekleştirmesinde iki katmanlı HSA kullanılır. Bundan daha basit bir ağ yapısı ile gerçekleştirilen ve hız ayarlı filtre (HAF) olarak adlandırılan hareket seçici filtreler Torralba tarafından tanımlanmıştır [7,8].’de iki boyutlu bir HAF devresinin bir hücresi görülmektedir.

= ax vi −1, j + bx vi +1, j + a y vi , j −1 + by vi , j +1 − (1 + ax + bx + a y + by ) vi , j + ui , j = −vi , j + γ 2 ( vi −1, j + vi +1, j + vi , j −1 + vi , j +1 − 4vi , j ) − τ vx

+ ui , j (10) 2 2 Eşitlik (10) HSA denklemine benzer şekilde matrisel olarak düzenlenirse HAF’nin geri ve ileri besleme şablon katsayıları

olur. Eşitlik (9)’un uzaysal ve zamansal Fourier dönüşümü ile devrenin transfer fonksiyonu

olur. Şekil 5’de farklı hızlar için transfer fonksiyonu genlikleri MATLAB isosurface komutu ile çizdirilmiştir. Filtrelerin geçirme bandı elipsoitlerin içinde kalan alanlardır, elipsoit yüzey sınırları

kesim frekanslarını göstermektedir. Şekilden görüldüğü gibi filtreler Ω t = − v x Ω x − v y Ω y düzlemlerini seçmektedir. Eşitlik (9) ile tanımlanan hız ayarlı filtreler alçak geçiren yapıdadır. Buradan bant geçiren HAF elde etmek için Gabor tipi filtrelerde olduğu gibi iki katmanlı HSA yapısı kullanılmalıdır. Şekil 6’da alçak ve bant geçiren HAF frekans cevapları görülmektedir.

Şekil 5. Farklı hızlara ayarlı filtrelerin H ( jΩ x , jΩ y , jΩ t ) transfer fonksiyonu genlikleri.

Elipsoitlerin içinde kalan frekanslar filtrelerin geçirme bandını, dışında kalan kısımlar da söndürme bandını ifade etmektedir.

Şekil 6. Alçak geçiren ve bant geçiren HAF frekans cevapları

5. HSA İLE Gerçekleşti̇ri̇len Zaman Türevli̇ Fi̇ltreler

Zaman türevli HSA (ZTHSA) (Time Derivative CNN, TDCNN) yapıları yukarıda incelenen frekans ayarlı filtre ve hız ayarlı filtre yapılarının daha genel bir halidir. Ip vd çeşitli yayınlarında [15, 16, 17] yukarıdaki yapıya hücreler arası türevli bağlantıların (kondansatörler kullanılarak) eklenmesi durumunda daha genel uzay-zamansal filtrelerin gerçekleştirilebileceği belirtmiş ve bant geçiren filtre örnekleri vermiştir. Shi’nin çalışmasına [13] benzer şekilde önerilen HSA yapısının uzay zamansal transfer fonksiyonu incelenmiştir.

Şekil 7’deki genel bir (i-a,j-b) noktasından q. dereceden zaman türevli yayılımı inceleyelim. Ta,b ile gösterilen “türevsel kapasite” (düşünsel olarak) değeri giriş geriliminin q. ⎞ . (i,j) düğümü için akım dq türevi ile orantılı çıkış akımı üretmektedir ⎛ ⎜ ia ,b ,t = Ta ,b q vi − a , j −b ,t ⎟ dt ⎝ ⎠

g m 0ui , j ,t + g m1vi −1, j ,t + g m 2 vi , j −1,t + g m 3vi +1, j ,t + g m 4 vi , j +1,t + Ta ,b

⎛ ⎞ −1 −1 +1 +1 − a −b q ⎜ ∑ g mi ⎟ − g m1 z x − g m 2 z y − g m3 z x − g m 4 z y − Ta ,b z x z y pt + Cpt i = 0 ⎝ ⎠ 4

olarak bulunur. Yani genel bir (i-a,j-b) çıkış noktasından q. türevli yayılım transfer fonksiyonunun paydasında z −x a z −y b p qt terimi yaratmaktadır. Herhangi bir (i-a,j-b) girişinden bağlantı olsaydı

z −x a z −y b p qt terimi transfer fonksiyonunun payına gelecekti. Böylece lineer HSA yapısına bu türevsel bağlantının eklenmesi ile genel rasyonel uzay-zamansal filtrelerin gerçekleştirilmesinin mümkün olacağı görülmektedir. Genel bir ZTHSA’nın durum denklemi

r r r r 1 vi , j ,t + ∑ ∑ A0 ( m, n ) vi + m, j + n ,t + ∑ ∑ B0 ( m, n ) ui + m , j + n ,t R m =− r n =− r m =− r n =− r

r r ⎡ r r d q vi + m , j + n,t d q ui + m, j + n ,t ⎤ , + ∑ ⎢ ∑ ∑ Aq ( m, n ) + B m n ∑ ∑ q ( ) dt q ⎥ dt q q∈1… D ⎣ m =− r n =− r ⎢ m=− r n =− r ⎦⎥

Zthsa

tanımlanabilir. Diferansiyel denklemdeki ilk üç terim lineer HSA denklemidir, A0 geri besleme şablonu ve B0 ileri besleme klonlayıcı şablonudur. Türevli terimler için de benzer şablonlar tanımlanabilir. Aq = aq ( m, n ) − r ≤ m , n ≤ r ve Bq = bq ( m, n ) − r ≤ m , n ≤ r sırasıyla q. türev geri besleme ve ileri besleme klonlayıcı şablonları olarak adlandırılmıştır.

2 ⎡ ⎤ GYC + GYS2 0 0 0 0 ⎥ ⎢ 4 ⎢ ⎥ GXCGYC − GXSGYS GXCGYC + GXSGYS ⎢ ⎥ 0 2 0 a G 0 YC ⎢ ⎥ 2 2 ⎢ 2 ⎥ 2 2 2 2 2 2 2 G +G G −G + G −G GXC + GXS ⎥ A1 = ⎢ XC XS a02 + XC XS YC YS 2a0 GXC 2a0 GXC ⎢ 4 2 4 ⎥ ⎢ ⎥ GXCGYC + GXSGYS GXCGYC − GXSGYS ⎢ 0 2a0 GYC 0 ⎥ ⎢ ⎥ 2 2 ⎢ ⎥ 2 2 GYC + GYS ⎢ 0 0 0 0 ⎥ ⎢⎣ ⎥⎦ 4

A R , BR , G XC , G XS , G YC , G YS , a 0 reel sabitlerdir.

1 azx z y = a0 + ⎡⎣GXC ( z x + z x−1 ) + GYC ( z y + z y−1 ) ⎤⎦ 2 bzx z y =

Reel ZTHSA’nın denklem (18) ile verilen transfer fonksiyonunun genliği Şekil 8’de verilmiştir. Buradan da görüleceği üzere 1. türevli tek katmanlı reel HSA denklemi ile uzay zamansal bant geçiren filtreler elde edilebilir.

Şekil 8. a0 = 3.9 , G XC = GYC = −1 , G XS = GYS = 1.5, AR = 5, BR = 10 için ZTHSA genlik frekans

6. Sonuçlar

Bu çalışmada HSA ile gerçekleştirilen temel uzay-zamansal filtre yapıları hakkında bilgi verilmiştir. HSA yapısının kendisi aslında bir rezistif ağdır, rezistif ağlar da retinanın dış pleksiform katmanının basit bir modelini oluşturmaktadır. Dolayısıyla bilgisayarda görme uygulamalarında HSA kullanımı doğal bir tercih olarak ortaya çıkmaktadır. Yapay görme modellerinde kullanılan ve HSA ile gerçekleştirilen 3 temel uzayzamansal filtre yapısı literatürde mevcuttur. Bunlar Gabor tipi filtreler, hız ayarlı filtreler ve zaman türevli HSA ile bant geçiren filtrelerdir. Bu çalışmada HSA durum denklemleri, şablon katsayıları ve transfer fonksiyonları bu üç yapı için ayrı ayrı verilmiştir. Gabor tipi filtreler uzay-zamansal frekans ayarlı filtrelerdir ve sabit hızla hareket eden işaretin hızını seçmek için kullanılabilirler. Ancak bu tip filtreler dairesel simetrik yapısından dolayı frekans düzleminde yalnızca ilgili hıza ait olan düzlemi değil bazı başka düzlemleri de seçerler. Ayrıca Gabor tipi filtrelerin gerçekleştirilmesi iki katmanlı ağ ile sağlanmaktadır. Hız ayarlı filtreler ise hem sadece ilgili hıza ait düzlemi seçerler, hem de tek katmanlı ağ ile gerçekleştirilirler. Ancak bu filtreler de alçak geçiren yapıdadır ve bant geçiren hale getirmek için yine iki katmanlı ağ kullanılmalıdır. Zaman türevli HSA ise hem tek katmanlıdır hem de bant

geçiren yapıdadır ancak ZTHSA’da şablon katsayılarının 3x3 değil 5x5 boyutunda olması gerekmektedir bu da fiziksel gerçekleştirmede bağlantı yoğunluğunun artması demektir. REFERENCES / KAYNAKLAR

Mead, C. A. ve Mahowald, M. A., “A Silicon Model Of Early Visual Processing”, Neural Networks, 1:91-97, 1988. Mahowald, M. A. ve Mead, C., “The Silicon Retina”, Scientific American, 264(5):76-82, 1991. Andreou, A. G., Strohbehn, K. ve Jenkins R. E., “Silicon Retina For Motion Computation”. Proc. IEEE International symposium on circuits and systems, June 1991, Singapore. Andreou, A. G., Boahen, K. A., Pouliquen, P. O., Pavasovic, A., Jenkins, R. E. ve. Strohbehn, K, “Current-mode subthreshold MOS circuits for analog VLSI neural systems” IEEE Transactions on Neural Networks, 2(2):205-213, 1991. Andreou, A. G., Meitzler, R. C., Strohbhen, K. ve Boahen K. A., “Analog VLSI neuromorphic image acquisition and pre-processing systems”, Neural Networks, 8(7):1323-1347, 1995. Boahen, K., “Retinomorphic Chips That See Quadruple Images” Seventh International Conference On Microelectronics For Neural, Fuzzy, And Bio-Inspired Systems, April 1999 12-20, Granada, Spain, 1999. Torralba, A. B. ve Herault, J., “An Efficient Neuromorphic Analog Network For Motion Estimation”, IEEE Trans. on circuits and systems-I: special issue on bio-inspired processors and CNNs for vision, 46(2) pp:269-280, 1999 Torralba, A. B. ve Herault, J., “Asymmetrical Filters For Vision Chips: A Basis For The Design Of Large Sets Of Spatial And Spatiotemporal Filters”, Seventh International Conference on Microelectronics for Neural, Fuzzy, and Bio-Inspired Systems, April 1999, Granada, Spain, 1999. Shi, B. E. ve Chua, L. O., “Resistive Grid Image Filtering: An Input/Output Analysis Via The CNN Framework”, IEEE Trans. On Circuits And Systems-I, 39(7):531-548, 1992. Koch, C., Luo, J. ve Mead, C., “Computing Motion Using Analog Binary Resistive Networks”, Computer, 52-63, 1988. Chua, L. O. ve Yang, L., “Cellular Neural Networks: Theory”, IEEE Transactions on Circuits and Systems, 35:1257-1272, 1988. Chua, L. O. ve Yang, L., “Cellular Neural Networks: Applications”, IEEE Transactions on Circuits and Systems, 35:1273-1290, 1988. Shi, B. E., Roska T. ve Chua, L. O., “Design Of Linear Cellular Neural Networks For Motion Sensitive Filtering”, IEEE Trans. on Circuits and Systems-II, 40(5):320-331, 1993. Shi, B. E.,“Gabor-Type Filtering In Space And Time With Cellular Neural Networks”, IEEE Trans. On Circuits and Systems-I, 45(2):121-132, 1998 Ip, H. M. D., Drakakis, E. M., ve Bharath, A. A., “Towards Analog VLSI Arrays For Nonseparable 3d Spatiotemporal Filtering,” Proceedings of the 10th IEEE International Workshop on Cellular Neural Networks and their Applications, İstanbul, Turkey, 2006. Ip, H. M. D., Drakakis, E. M., ve Bharath, A. A., “On Analog Networks and MixedDomain Spatio-Temporal Frequency Response”, IEEE Transactions on Circuits and Systems I: Regular Papers, 55(1): 284-297, 2008. Ip, H. M. D., Drakakis, E. M., ve Bharath, A. A., “Synthesis of Non-separable 3D Spatiotemporal Bandpass Filters on Analog Networks”, IEEE Transactions on Circuits and Systems I: Regular Papers, 55(1): 298-310, 2008.

Share and Cite