Özel Say 26, S. 203-207, Temmuz 2021
© Telif hakk EJOSAT’a aittir
Aratrma Makalesi
www.ejosat.com ISSN:2148-2683
Special Issue 26, pp. 203-207, July 2021
Copyright © 2021 EJOSAT
Ahmet Reit Kavsaolu1*, Hasan Camc2
1* Karabük Üniversitesi, Mühendislik Fakültesi, Biyomedikal Mühendislii Bölümü, Karabük, Türkiye (ORCID: 0000-0002-4380-9075), kavsaoglu@karabuk.edu.tr 2 Karabük Üniversitesi, Mühendislik Fakültesi, Biyomedikal Mühendislii Bölümü, Karabük, Türkiye (ORCID 0000-0002-7743-1277), hasancmci@hotmail.com
(3rd International Congress on Human-Computer Interaction, Optimization and Robotic Applications June 11-13, 2021)
(DOI: 10.31590/ejosat.952011)
Bilim ve Teknoloji Dergisi, (26), 203-207.
Öz
itme engelli bireyler günlük hayatta birçok problemle kar karya kalmaktadrlar. Bu problemlerin banda sesin nereden geldiinin
tespit etmekte güçlük çekilmesi gelmektedir. Bu çalmada, iitme engelli bireylerin çevresel ses kaynaklarn alglamalarna yönelik
bir ses yönü tespit sistemi önerilmektedir. Önerilen bu sistemde insan kafa yaps model alnarak kafa mankeni kulaklarna
yerletirilen iki adet mikrofon kullanlmaktadr. Bu mikrofonlar araclyla kaydedilen çevresel ses verileri USB ses kartlar
araclyla LattePanda tek kart bilgisayara aktarlmaktadr. Aktarlan bu ses verileri filtreleme ve normalizasyon ilemlerinden
geçirilerek on be adet öznitelik oluturulmaktadr. Bu öznitelikler çevresel sekiz farkl bölgeden alnan ses verileri için ayr ayr elde
edilmektedir. Çevresel ses kayna bir BlueTooth hoparlör ile kafa mankeni etrafndaki sekiz farkl bölgeye ayrlm platform ortam
kullanlarak oluturulmaktadr. Bu çevresel ses kayna kullanlarak her bir bölge içerisinde üç farkl konum ve bu konumlarda dört
farkl ses seviyesi olmak üzere her bir bölge için on iki farkl ses kayd ile veri seti oluturulmaktadr. Bu veri setini oluturmak için
C# programlama dilinde bir arayüz tasarm gerçekletirilmitir. Bu arayüz, sistem modeli iyiletirilmesi ve gelitirilmesine yönelik
veri seti hazrlamak için farkl denemelerin yaplabilmesini salamaktadr. Hazrlanan bu veri seti ML.NET kütüphanesinde bulunan
karar aaçlar, lineer destek vektör makinesi, olaslksal dereceli azalma, tek katmanl ve çok katmanl Perceptron algoritmalar
kullanlarak sistem modelleri oluturulmaktadr. Bu modeller karlatrldnda performans deerlendirmesinde en baarl sonuç tek
katmanl Perceptron algoritmas ile oluturulan sistem modeli olmutur. Tek katmanl Perceptron algoritmas ile oluturulan model
%87,5 baar oranyla çevresel ses yönü tespit etmektedir. Elde edilen sonuçlar, iitme engellilere yönelik çevresel ses yönü tespit
sisteminin gelecek için umut vaat ettiini göstermektedir.
Anahtar Kelimeler: Ses yönü bulma, Snflandrma, Makine örenmesi, Perceptron algoritmas, ML.NET.
Surround Sound Direction Detection System For The Hearing
Impaired
Abstract
Hearing-impaired individuals face many problems in daily life. One of these problems is the difficulty in determining where the sound
is coming from. In this study, a sound direction detection system is proposed for hearing impaired individuals to perceive surround
sound sources. In this proposed system, two microphones are used, which are placed on the ears of the head manikin, taking the
human head structure as a model. Surround sound data recorded by these microphones are transferred to a LattePanda single card
computer via USB sound cards. Fifteen features are created by filtering and normalizing these transmitted sound data. These features
are obtained separately for sound data from eight different surrounding regions. The surround sound source is created using a
BlueTooth speaker and a platform environment divided into eight different regions around the head manikin. Using this surround
sound source, a data set is created with twelve different sound recordings for each region, with three different locations in each region
* Sorumlu Yazar: Karabük Üniversitesi, Mühendislik Fakültesi, Biyomedikal Mühendislii Bölümü, Karabük, Türkiye, ORCID: 0000-0002-4380-
9075, kavsaoglu@karabuk.edu.tr
e-ISSN: 2148-2683 204
and four different sound levels at these locations. An interface has been designed in the C # programming language to create this data
set. This interface enables different trials to be made to prepare a data set for system model improvement and development. System
models are created using decision trees, linear support vector machine, stochastic gradient descent, single-layer and multi-layer
Perceptron algorithms in the ML.NET library. When these models are compared, the most successful result in performance evaluation
has been the system model created with the single-layer Perceptron algorithm. The model created with the single-layer Perceptron
algorithm determines the surrounding sound direction with a success rate of 87.5%. The results obtained show that the surround
sound direction detection system for the hearing impaired is promising for the future.
Keywords: Finding sound direction, Classification, Machine learning, Perceptron algorithm, ML.NET.
1. Giri
Ancak bu sayya iitme güçlüü çekenlerin saysnn
eklenmesiyle 500 milyon insann günlük hayatta iitme
problemleri ile kar karya kald bununla beraber hem sosyal
hem psikolojik olarak yaam kalitesinin dümesine neden olduu
tespit edilmitir. itme engelli bireyler için seslerin nereden ve
hangi kaynaktan geldiinin bilinmesi buna bal olarak da hem
gelebilecek olan tehlikelere kar önlem alnmas hem de
bireyler aras iletiimin salanmas iitme engelli bireyler için
hayati öneme sahiptir (Xue & Qin, 2011; Yldz, 2018; Yoo &
Yook, 2008).
iletiim ve gündelik problemler ortaya çkmaktadr. 68 iitme
engelli ve 68 salkl çocuk ile gerçekletirilen bir çalmada
Kid-KINDL yaam kalitesi ölçeine göre iitme engelli
çocuklarn yaklak olarak yaam kalitesinin %15 daha az
olduu görülmektedir (Ekim & Ocakç, 2012). Yaplan bu
çalma ile bahsedilen problemleri giderebilmek ve iitme
engelli bireylerin hayat kalitesini yükseltebilmektir.
Sesin nereden geldiinin bilinmesi sadece iitme engelli
bireylerde deil savunma sanayiinde ateli silahlarn tespitinde,
deprem gibi afetlerden sonra enkaz altnda kalan kiilerin
tespitinde, kalabalk içerisinde konuan kii tespitinde de
kullanlabilir (Galangque & Guirnaldo, 2019; Okuyama ve
dierleri, 2002). Sesin yönünün belirlenmesindeki ana unsurlarn
banda kulak ve kulan anatomik yaps gelmektedir. Canllarn
ayn mesafeden gelen farkl yöndeki ses kaynaklarn görmeden
yönünü tespit edebilmeleri bu anatomik yapdan
kaynaklanmaktadr (Helvac, 2005; Yaanolu, 2018).
Bu çalmada çevresel ses yönü tespitine yönelik ekil 1’de
blok emas verilen sistem tasarm gerçekletirilmektedir.
Tasarlanan bu sistem iki mikrofon araclyla ses verilerinin
elde edilmesi, elde edilen verilere ön ileme aamasnda
filtreleme yaplmas, filtrelenen verileri 8 saniye aralklarla
çerçevelere bölünmesi, özniteliklerin çkarlmas, veri seti
oluturma, snflandrma modeli oluturma ve sesin geldii
yönün tespit edilmesi ilemlerinden olumaktadr.
Bu çalmann gerçek hayata uyarlanabilmesi için yapay
ortamda kullanlan mikrofon yaps ile insan kulak yaps
benzerlii ön plana çkmaktadr. Mikrofon ses alglama ilevini
yön tayini yapmakszn gerçekletirirken, insan kula ise
anatomisi gerei (kulak kepçesi, kulak memesi, orta kulak yolu
vb.) ses yönü tayinini sa-sol, ön-arka ilikisi içerisinde tespit
edebilmektedir (Litovsky ve dierleri, 2006). Bu çalmada
canllarda doal olarak bulunan bu iitme sisteminden
esinlenilerek çevresel ses yönü tespit edebilen yapay bir sistem
gelitirilmektedir.
2. Materyal ve Metot
kulak kanalndan olumaktadr. Kulak kepçesi kendine has ekli
sayesinde sesin oluturduu hava basnç farklln toplamaktan
ve gelen sesleri kulak içerisine aktarmaktan sorumludur. Sesin
gelme yönünü ayrt etmemizi salayan bu yap da kulak
kepçesine gelen dalgalar kulak zarna ulamak için yaklak 2
cm uzunluunda kulak kanalndan geçerler. Bu iletim srasnda,
kulak kanal ve kulak kepçesinin yapsndan dolay, özellikle 3
kHz frekanslardaki ses dalgalar, iddetleri artrlarak orta kulaa
gönderilir. Ses dalgalar, kulak zarna çarparak titremesine
neden olurlar ve iç kulakta bulunan salyangoz yaps sayesinde
beyne elektriksel ileti gönderilir ve bu sistem sayesinde iitme
gerçekletirilmektedir (Belgin, 2004; Litovsky ve dierleri,
2006)
LattePanda tek kart bilgisayardan olumaktadr. Çevresel ses
kayna kafa mankeni etrafnda 1’den 8’e kadar
numaralandrlm bölgeler üzerinde gezdirilerek ses sinyali
oluturmaktadr. Mikrofonlar ve ses kartlar araclyla bu ses
sinyalleri LattePanda tek kart bilgisayara aktarlmaktadr.
LattePanda tek kart bilgisayarda yüklü bulunan C# arayüz
tasarm ile ses sinyallerinden elde edilen öznitelikler gerçek
zamanl görüntülenmekte ve yaplan snflandrma sonuçlarna
göre örnein ekil 2 ‘de ekran üzerinde birinci bölgede
gösterilen yeil dairenin 1’den 8’e kadar olan bir bölgede
gösterimi gerçekletirilmektedir. Snflandrma modeli
kullanlmaktadr.
e-ISSN: 2148-2683 205
2.1. Veri Seti
veri kümelerini ayrt edebilecek özelliklere sahip olmaldr (Ho
ve dierleri, 2020). Mikrofonlar araclyla elde edilen ham ses
verileri filtreleme ve öznitelik çkarm aamalarndan
geçirilerek makine örenmesi için elverili veriler haline
getirilmitir. Bu çalmada sol ve sa mikrofon farklarnn
aritmetik ortalamas, standart sapmas ve mutlak deerleri olmak
üzere 3 öznitelik, sol ve sa mikrofonlar için ayr ayr
hesaplanan ortalama deer, standart sapma deeri, medyan ve
mod deerleri olmak üzere 8 öznitelik, yine sol ve sa
mikrofonlar için ayr ayr ses verilerinin batan ve sondan
%10’luk ksm hariç aralndan hesaplanan aritmetik ortalama
deerleri, standart sapma deerleri olmak 4 öznitelik, toplamda
15 öznitelik oluturulmaktadr.
Veri seti oluturulurken ekil 2’de gösterilen platform
üzerindeki 1’den 8’e kadar bölgelere çevresel ses kayna olarak
tanabilir BlueTooth hoparlör yerletirilerek mikrofona gelen
ses verileri 8’er saniyelik aralklarla kaydedilmektedir.
Literatürde bir çalmada, veri kümesi analizi yaplacak sesin,
olabildiince farkl durum versiyonlar içinde bulunmasndan
bahsetmektedir (Saltal, 2015). Bu çalmada da BlueTooth
hoparlör her bölge içinde 3 ayr konumda ve her konumda 4
farkl ses seviyesinde olacak ekilde ses verileri kaydedilerek
toplamda tüm bölgeler dahil 96 farkl ses kayd
gerçekletirilmitir. Böylelikle veri seti 15 öznitelik, 1 bölge
etiketi ve 96 deneme olmak üzere 96x16 matristen olumaktadr.
C# programlama dili kullanlarak oluturulan arayüzde elde
edilen verileri tutabilmek ve görüntüleyebilmek için
“DataGridView” kontrolü kullanlmaktadr. DataGridView
makine örenmesi için uygun olan Excel formatna aktarmadan
önce görüntülenebilmesi için kullanlmtr. ekil 3’te 8 bölge
için 15 adet özniteliin çkarlm “DataGridView” görüntüsü
gösterilmektedir.
görüntüsü
paketlerden “Microsoft.Office.Interop.Excel.” paketi
formatlarndan “.csv” formatna kolaylkla
örenmesinde model oluturabilmeye hazr hale getirilmektedir.
2.2. Arayüz
Bu çalmada daha önce bahsedilen 96 satr (denemeler) ve
16 adet sütun (öznitelikler ve etiket) dan oluan veri seti C#
programlama dilinde oluturulan arayüz ile elde edilmektedir.
C# programlama dilinde tasarlanan bu arayüz ekil 4’de
gösterilmektedir. Tasarlanan arayüz sayesinde ön ileme,
öznitelik çkarma ve veri seti oluturma ilemleri
gerçekletirilebilmektedir. Arayüzdeki “Kayd Balat” butonu
BlueTooth hoparlör herhangi bir bölgede konumlandrldnda
her deneme için 8’er saniyelik kayd balatmada
kullanlmaktadr. Kayt sonras “Nitelik Çkar” butonu ile elde
edilen verilerden 15 adet öznitelik çkartlmaktadr.
ekil 4. Tasarlanan arayüz
denemeler bittiinde veri seti tamamlanm olmakta ve makine
örenmesinde model oluturmak için Arayüzdeki
“Excel’eAktar” butonuna baslarak veri set *.csv uzantl olarak
da aktarlm olur. ML.NET Model Builder ile bu veri seti
kullanlarak en uygun sistem modeli elde edilmektedir.
Sonrasnda bu model kullanlarak çevresel ses yön tespiti
gerçekletirilebilmekte ve Arayüzdeki yeil daire mikrofon
etrafndaki 8 bölgeden birinde gösterilmektedir.
Avrupa Bilim ve Teknoloji Dergisi
e-ISSN: 2148-2683 206
2.3. Perceptron Modeli
görevlerinden biridir (Harrington, 2012). Snflandrma,
bilgisayara verilen örenme kümesi veri setine göre eitilen
modelin sonrasnda yeni verileri snflandrmak için bu modelin
kullanld gözetimli örenme yaklamdr. Snflandrmada
eldeki veriler kullanlarak sistemin hem eitilmesi hem de
baarsnn tarafsz bir ekilde ölçülmesi gerekir (Tan ve
dierleri, 2018). Bu baar ölçümü ise “snama kümesi” ad
verilen örenme kümesinde yer almayan verilerin model
kullanlarak incelenmesi ve doru snflandrlm örneklerin
toplam snama kümesi örneklerine oran olarak ölçülür (Mallet
ve dierleri, 2000). Makine örenmesinde kullanlan modelin
baar yüzdesi ne kadar yüksekse modelin performans da o
kadar iyi kabul edilir. Makine örenmesi uygulamalarnda birçok
snflandrma algoritmalar yöntemi bulunmaktadr. Bu
yöntemlerden bazlar unlardr: Karar aaçlar, Naïve Bayes
snflandrclar, lojistik regresyon, k-en yakn komu
algoritmalar, yapay sinir alar vb. Bu yöntemlerden
kullanlacak olan verilere en uygun olan tercih edilmelidir. Bu
çalmada kullanlacak verilere en uygun ve en yüksek baar
oran salayacak algoritma ML.NET Model Builder tarafndan
belirlenmektedir.
ve modeli kullanma olarak üç aamadan oluur. Bu çalmada bu
aamalar C# programlama dilindeki ML.NET kütüphanesinin
ML.NET Model Builder arayüzü kullanlarak
gerçekletirilmitir. ML.NET Model Builder ile örenme veri
kümesi için en baarl algoritmann “Perceptron” örenme
algoritmas olduu sonucuna ulalmtr. Kullanlan
“Perceptron” algoritmas en basit yapay sinir alar modeli,
yapay sinir alar ise en çok tercih edilen makine örenmesi
algoritmasdr. Gözetimli bir örenme algoritmas olan
Perceptron algoritmas yapay sinir alar için önemli bir temel
oluturmaktadr (Holmes, 2013).
olumaktadr. leri beslemeli yapay sinir a modeli ve giri
katmanndan çk katmanna doru tek yönlü ilem
gerçekletiren bir yapya sahiptir. Perceptron modelinde hata
oran ise çkt verisi ile hedef veri arasndaki fark olarak kabul
edilmektedir. Hata oran, giri deerlerine verilen arlk
deerlerinin doru deerler olmamasndan kaynaklanmaktadr.
Arlk deerlerinin hata oran azaltlana kadar eitilmesi ve
buna göre yenilenmesi gerekmektedir. Perceptron algoritmasnda
eik deeri en önemli ksmdr. Eik deeri, snflandrmann
baarl olduunu belirleyen faktördür. Eik deeri, giri
deerleri ile arlk deerlerinin çarpm sonucunda çkan
deerin 1 veya 0 olarak döndürüleceini belirlemektedir. Eer
giri deerleri ile arlk deerlerinin çarpmlar toplam eik
deerinden büyükse 1, küçükse 0 deeri döndürülmektedir. ekil
5’de 1, 2 ve 3 ile gösterilen deerler giri deerlerini; 1,
2 ve 3 ile gösterilen deerler ise arlk deerlerini; t deeri
en önemli faktör olan eik deerini; Y deeri ise çkt deerini
gösterir. Eitlik 1’de perceptron modelinin matematiksel
gösterimi görülmektedir.
= (∑ − ) = (∑ − ) (1)
ekil 5. Perceptron modeli (Tan ve dierleri, 2018)
3. Aratrma Sonuçlar ve Tartma
Bu çalmada oluturulan sistem prototipinde kafa mankeni
etrafndaki 8 farkl bölgeden BlueTooth hoparlör her bölge
içinde 3 ayr konumda ve her konumda 4 farkl ses seviyesinde
olacak ekilde ses verileri kaydedilerek oluturulan veri seti
ML.NET Model Builder kullanlarak makine örenmesi
modelleri oluturulmutur. Bu modellerden en yüksek baar
oran salayan algoritmalardan be tanesi srasyla tek katmanl
perceptron, dorusal destek vektör makinesi, olaslksal dereceli
azaltma, çok katmanl perceptron ve karar aaçlar algoritmalar
olmutur. Tablo 1 ‘de veri setine uygulanan algoritmalar ve
baar oranlar gösterilmektedir.
Denenen Algoritma Baar Yüzdesi %
Tek Katmanl Perceptron %87,5
Olaslksal Dereceli Azalma %81,8
Çok Katmanl Perceptron %79,1
%87,5 baar yüzdesine sahip model, örenme kümesinde yer
almayan yeni veriler kullanlarak test edilmitir. Modele “snama
kümesi” olarak da isimlendirilebilecek snf deerleri bilinen
veriler girilmi ve girilen veriler neticesinde döndürülen snf
deerlerinin snama kümesindeki snf deerleriyle ayn olduu
gözlemlenmitir. ML.NET Model Builder kullanlarak
oluturulan makine örenmesi modeli, ekil 6’da görüldüü gibi
girilen nitelik deerleri sonucunda %83 baar yüzdesiyle
“Konum” deeri 1 olarak adlandrlan bölgeyi, dier bir deyile
çevresel sesin geldii bölgeyi tespit edebilmektedir. Bu
çalmann tüm bölgeler için genel baar yüzdesi %87,5
olmaktadr.
e-ISSN: 2148-2683 207
4. Sonuç
kaynaklarn alglamalarna yönelik bir ses yönü tespit sistemi
gerçekletirilmitir. Önerilen bu sistem kafa mankeni kulaklarna
yerletirilen iki adet mikrofon, çevresel ses kayna olarak
BlueTooth hoparlör, kafa mankeni etrafnda sekiz farkl bölgeye
ayrlm platform, USB ses kartlar ve LattePanda tek kart
bilgisayar kullanlarak tasarlanmtr. Veri seti oluturmak için
C# programlama dilinde bir arayüz tasarm gerçekletirilmitir.
Bu arayüz ile elde edilen veri seti ML.NET kütüphanesinde
bulunan karar aaçlar, lineer destek vektör makinesi, olaslksal
dereceli azalma, tek katmanl ve çok katmanl Perceptron
algoritmalar kullanlarak sistem modelleri oluturulmutur.
Oluturulan bu modeller karlatrldnda performans
deerlendirmesinde en baarl sonuç tek katmanl Perceptron
algoritmas ile oluturulan sistem modeli olmutur. Tek katmanl
Perceptron algoritmas ile oluturulan bu sistem modeli ile
%87,5 baar oranyla çevresel ses yönü tespit edilmektedir.
Kaynakça
korunmas: itme Fizyolojisi. Türk Tabipler Birlii
Yaynlar.
Ekim, A., & Ocakç, A. (2012). 8-12 ya aras iitme engelli
çocuklarda yaam kalitesi. Ankara Salk Hizmetleri
Dergisi, 11(1), 17-23.
classification and localization system using artificial neural
network (ANN). Proceedings of 2019 International
Conference on Information and Communication Technology
and Systems, ICTS 2019, 98-102.
https://doi.org/10.1109/ICTS.2019.8850937
Publications Co.
ve Tn Deiiklikleri Üzerindeki Etkileri. Uluda
Üniversitesi Eitim Fakültesi Dergisi, 18(1), 123-134.
Ho, S. Y., Phua, K., Wong, L., & Bin Goh, W. W. (2020). Extensions of the External Validation for Checking Learned
Model Interpretability and Generalizability. Patterns, 1(8).
https://doi.org/10.1016/j.patter.2020.100129
Data: Theory and Methods. Methods in Biomedical
Informatics: A Pragmatic Approach, 179–240. Elsevier.
https://doi.org/10.1016/B978-0-12-401678-1.00007-5
Litovsky, R. Y., Johnstone, P. M., & Godar, S. P. (2006). Benefits
of bilateral cochlear implants and/or hearing aids in
children. International Journal of Audiology, 45(1), 78-91.
https://doi.org/10.1080/14992020600782956
Mallet, Y., Coomans, D., & de Vel, O. (2000). Application of
adaptive wavelets in classification and regression. Data
Handling in Science and Technology, 22(1), 437–456.
Elsevier. https://doi.org/10.1016/S0922-3487(00)80043-X
(2002). A study on determination of a sound wave
propagation direction for tracing a sound source.
Proceedings of the 41st SICE Annual Conference. SICE
2002., 1102-1104.
Saltal, . . (2015). Sahne Analizi için Ses Kayna Tespiti.
stanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü,
Yüksek Lisans Tezi.
Introduction to data mining (2nd Edition). Artificial Neural
Networks
Xue, H., & Qin, S. (2011). Mobile motion gesture design for
deaf people. The 17th International Conference on
Automation and Computing, 46-50.
Titreim Tabanl Ses Tanma Uygulamalar. Karadeniz
Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Doktora Tezi.
Yldz, D. Z. (2018). itme engelli turizmi (sessiz turizm):
Dünya ve Türkiye. Süleyman Demirel Üniversitesi Vizyoner
Dergisi, 103-117. https://doi.org/10.21076/vizyoner.339776
Yoo, I. C., & Yook, D. (2008). Automatic sound recognition for
the hearing impaired. IEEE Transactions on Consumer
Electronics, 54(4), 2029-2036.