Апаратно-програмний комплекс «Штучна голова». Частина 2. Оцінювання розбірливості мови в аудиторіях

Olexandr Oleksandrovych Dvornyk; Daria Ievheniivna Motorniuk; Maryna Vitaliivna Didkovska; Arkadii Mykolaiovych Prodeus

doi:10.20535/2523-4455.mea.209928

Т. 25 · № 3 · 2020 гру 28, 2020 Акустичні прилади та системи

Апаратно-програмний комплекс «Штучна голова». Частина 2. Оцінювання розбірливості мови в аудиторіях

Olexandr Oleksandrovych Dvornyk Відповідальний Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Daria Ievheniivna Motorniuk Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Maryna Vitaliivna Didkovska Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Arkadii Mykolaiovych Prodeus Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Сторінки48-55 Опублікованогру 28, 2020

PDF

ТОМ 25 · № 3 · 2020 Переглянути випуск

Анотація

Виконано експериментальні дослідження можливості використання розробленого апаратно-програмного комплексу «Штучна голова» для двоканального оцінювання розбірливості мови, спотвореної реверберацією. На першому етапі такого оцінювання здійснюють запис відгуку приміщення на тестовий сигнал у вигляді mls-послідовності. На другому етапі оцінюють імпульсну характеристику приміщення шляхом обчислення взаємно-кореляційної функції відгуку із тестовим сигналом. На третьому етапі розраховують модуляційні коефіцієнти за формулою Шредера, використовуючи оцінку імпульсної характеристики приміщення. На четвертому, останньому етапі, оцінюють розбірливість мови модуляційним або формантно-модуляційним методом. Результати проведених досліджень узгоджуються із результатами попередніх досліджень, де показано, що розбірливість мови в середині приміщення є меншою за таку біля стінки приміщення.

Ключові слова

#розбірливість мови #реверберація #тестовий сигнал #імпульсна характеристика #модуляційний метод #формантно-модуляційний метод

Посилання

O. O. Dvornyk, D. I. Motorniuk, M. V. Didkovska, and A. M. Prodeus, “Artificial Software Complex ‘Artificial Head’. Part 1 Adjusting the Frequency Response of the Path,” Microsystems, Electron. Acoust., vol. 25, no. 1, pp. 56–64, Jul. 2020, DOI: 10.20535/2523-4455.mea.198431.
J. Blauert, Ed., The Technology of Binaural Listening. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013, ISBN: 978-3-642-37761-7.
“HEAD acoustics - Telecom Division - Binaural Recording Systems - Artificial Head Measurement System HMS II.3 - Overview.” [Online]. Available: https://www.head-acoustics.com/eng/telecom_hms_II_3.htm . [Accessed: 23-Mar-2020].
P. L. SØndergaard and P. Majdak, “The auditory modeling toolbox,” in The Technology of Binaural Listening, Springer Berlin Heidelberg, 2013, pp. 33–56.
M. Jeub, M. Schafer, and P. Vary, “A binaural room impulse response database for the evaluation of dereverberation algorithms,” in 2009 16th International Conference on Digital Signal Processing, 2009, pp. 1–5, DOI: 10.1109/ICDSP.2009.5201259.
“IKS: Aachen Impulse Response Database.” [Online]. Available: https://www.iks.rwth-aachen.de/en/research/tools-downloads/databases/aachen-impulse-response-database/ . [Accessed: 23-Mar-2020].
Y. S. Kostyuchok, L. S. Martynovych, D. Y. Motorniuk, V. O. Nechytailo, A. V. Hrapachevskiy, and A. M. Prodeus, “Acoustic certification of classrooms,” Electron. Commun., vol. 21, no. 2, pp. 63–70, Nov. 2016, DOI: 10.20535/2312-1807.2016.21.2.82217.
“SOUND FORGE Audio Studio 14 – Домашняя студия редактирования звука.” [Online]. Available: https://www.magix.com/ru/muzyka/sound-forge/sound-forge-audio-studio/ . [Accessed: 23-Mar-2020].
A. Prodeus, V. Didkovskyi, M. Didkovska, I. Kotvytskyi, and D. Motorniuk, “Automated Subjective Assessment of Speech Intelligibility Under Diotic and Dichotic Listening,” in Data-Centric Business and Applications, Springer, Cham, 2020, pp. 1–16, URL: http://link.springer.com/10.1007/978-3-030-43070-2_1 . DOI: 10.1007/978-3-030-43070-2_1
E. A. P. Habets, N. D. Gaubitch, and P. A. Naylor, “Temporal selective dereverberation of noisy speech using one microphone,” in 2008 IEEE International Conference on Acoustics, Speech and Signal Processing, 2008, pp. 4577–4580, DOI: 10.1109/ICASSP.2008.4518675.
G. A. Soulodre, N. Popplewell, and J. S. Bradley, “Combined effects of early reflections and background noise on speech intelligibility,” J. Sound Vib., vol. 135, no. 1, pp. 123–133, Nov. 1989, DOI: 10.1016/0022-460X(89)90759-1.
J. S. Bradley, H. Sato, and M. Picard, “On the importance of early reflections for speech in rooms,” J. Acoust. Soc. Am., vol. 113, no. 6, p. 3233, 2003, DOI: 10.1121/1.1570439.
I. Arweiler, J. Buchholz, and T. Dau, “Speech intelligibility enhancement by early reflections | Proceedings of the International Symposium on Auditory and Audiological Research,” in Speech processing and perception under adverse conditions, 2009, pp. 289–298, URL: https://proceedings.isaar.eu/index.php/isaarproc/article/view/2009-29 .
H. Sato and J. S. Bradley, “Evaluation of acoustical conditions for speech communication in working elementary school classrooms,” J. Acoust. Soc. Am., vol. 123, no. 4, pp. 2064–2077, 2008, DOI: 10.1121/1.2839283.
V. S. Didkovskyi, M. V. Didkovskaya, and A. M. Prodeus, Komp’yuterna obrobka akustychnykh syhnaliv. Navchalʹnyy posibnyk. [Computer processing of acoustic signals. Tutorial.]. Kyiv: Imecs-LTD, 2010.
A. N. Tikhonov, “O nekorrektnykh zadachakh lineynoy algebry i ustoychivom metode ikh resheniya [On ill-posed problems of linear algebra and a stable method for solving them],” DAN USSR, vol. 163, no. 3, pp. 591–594, 1965.
H. J. M. Steeneken and T. Houtgast, “A physical method for measuring speech‐transmission quality,” J. Acoust. Soc. Am., vol. 67, no. 1, pp. 318–326, 1980, DOI: 10.1121/1.384464.
H. J. . Steeneken and T. Houtgast, “Validation of the revised STIr method,” Speech Commun., vol. 38, no. 3–4, pp. 413–425, Nov. 2002, DOI: 10.1016/S0167-6393(02)00010-9.
A. M. Prodeus, L. B. Dronzhevskaya, V. A. Klimkov, and D. A. Shagitova, “Formantnyy i formantno-modulyatsionnyy metody otsenki razborchivosti rechi. Chast’ 1. Unifikatsiya algoritmov,” Electron. Commun., vol. 15, no. 6 (part 2), pp. 117–124, 2010.
A. N. Prodeus, L. B. Dronzhevskaya, V. A. Klimkov, and D. A. Shagitova, “Formantnyy i formantno-modulyatsionnyy metody otsenki razborchivosti rechi. Chast’ 2. Tochnost’ i skorost’ izmereniy [Formant and formant-modulation methods for assessing speech intelligibility. Part 2. Accuracy and speed of measurements.],” Electron. Commun., vol. 16, no. 6, pp. 16–24, 2011.
M. R. Schroeder, “Modulation Transfer Functions: Definition and Measurement,” Acta Acust. united with Acust., vol. 49, no. 3, pp. 79-182(4), 1981, URL: https://www.ingentaconnect.com/content/dav/aaua/1981/00000049/00000003/art00004?crawler=true&mimetype=application/pdf .
N. B. Pokrovskiy, Raschet i izmerenie razborchivosti rechi [Prediction and measurement of speech intelligibility]. Moskow, USSR: Svyazizdat, 1962.
M. A. Sapozhkov, Rechevoy signal v kibernetike i svyazi [Speech signal in cybernetics and communication]. Moscow: Svyazizdat, 1963.
A. M. Prodeus, V. S. Didkovskyi, and M. V. Didkovskaya, Akusticheskaya ekspertiza i korrektsiya kommunikatsionnykh kanalov [Acoustic examination and correction of communication channels]. LAP LAMBERT Academic Publishing, 2017, ISBN: 978-3-330-04591-0.
V. E. Gantmakher, N. E. Bystrov, and D. V. Chebotarev, Shumopodobnyye signaly. Analiz, sintez, obrabotka [Noise-like signals. Analysis, synthesis, processing]. St. Peterburg: Nauka i tekhnika, 2005.
M. R. Schroeder, “New Method of Measuring Reverberation Time,” J. Acoust. Soc. Am., vol. 37, no. 6, pp. 1187–1188, Jun. 1965, DOI: 10.1121/1.1939454.
U. Zölzer, Ed., DAFX: Digital Acoustic Effects, 2nd ed. John Wiley & Sons, 2011, ISBN: 978-0-470-66599-2.

Попередня у випуску Прецизійне ультразвукове вимірювання рівня рідини через «товсту» сталеву стінку Наступна у випуску Порівняння дискретних спектральних перетворень при використанні у задачі аналізу електроспоживання локального об’єкту

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

Практичний метод оцінювання безпечних звуків для осіб із ПТСР

Анастасія Володимирівна Паренюк, PhD Дмитро Володимирович Паренюк, PhD, дослідник Катерина Л. Руденька

Мета. Дослідження має на меті вивчити зручність використання та ефективність методу оцінювання безпеки акустичного середовища щодо потенційно небезпечних стимулів для…

#ПТСР #акустика навколишнього середовища #MFCC #спектральна густина потужності

с. 359648.1-359648.12

10.20535/2523-4455.mea.359648

Експериментальне дослідження частотних характеристик MEMS-мікрофонів для моніторингу залізничного шуму

Віталій Р. Прус, канд. техн. наук, доц. Олексій Вікторович Богданов

Анотація – У статті представлені результати експериментального дослідження акустичних характеристик модульних MEMS-мікрофонів INMP441 та SPH0645 з метою їх застосування…

#акустичний моніторинг #MEMS-мікрофон #амплітудно-частотна характеристика #діаграма спрямованості

с. 359669.1-359669.6

10.20535/2523-4455.mea.359669

Двостороння система попередження учасників дорожнього руху на базі мікроконтролера ESP32

Ірина Брика, Наталія Юріївна Філіпова

У цій роботі розглядається завдання підвищення безпеки дорожнього руху шляхом розробки двонаправленої системи попередження учасників дорожнього руху. Запропонована…

#безпека дорожнього руху #двостороннє оповіщення #сенсорне злиття #імітаційне моделювання

с. 354779.1-354779.10

10.20535/2523-4455.mea.354779

Статті цього автора (цих авторів), які найбільше читають

Arkadii Mykolaiovych Prodeus, Kseniia Victorivna Bukhta, Pavlo Vadymovych Morozko, Oleksii Volodymyroych Serhiienko, Ihor Valeriiovych Kotvytskyi, Oleksandr Oleksandrovych Dvornyk, Автоматизоване суб'єктивне оцінювання розбірливості мови при різних способах прослуховування , Мікросистеми, Електроніка та Акустика: Том 23 № 3 (2018)
Arkadii Mykolaiovych Prodeus, Andrii Vitaliiovych Vityk, Daniil Yuriiovych Didenko, Суб’єктивне оцінювання якості та розбірливості мовних сигналів, спотворених синтезованими шумами , Мікросистеми, Електроніка та Акустика: Том 22 № 6 (2017)
Arkadii Mykolaiovych Prodeus, Andrii Vitaliiovych Vityk, Oleksandr Oleksandrovych Dvornyk, Ihor Valeriiovych Kotvytskyi, Oleksandr Serhiiovych Chaika, Mykhailo Oleksiyovych Yaroshenko, Суб’єктивне оцінювання розбірливості мови на тлі шуму та реверберації , Мікросистеми, Електроніка та Акустика: Том 23 № 2 (2018)
Olexandr Oleksandrovych Dvornyk, Daria Ievheniivna Motorniuk, Marina Vitaliivna Didkovska, Arkadii Mykolaiovych Prodeus, Апаратно-програмний комплекс «Штучна голова». Частина 1 Коригування частотної характеристики тракту , Мікросистеми, Електроніка та Акустика: Том 25 № 1 (2020)
Anastasiia Olehivna Harasiuk, Maksym Volodymyrovych Myronov, Vladyslav Valentynovych Lozinsky, Nguyen Thanh Vy, Alla Vitaliivna Darchuk, Arkadii Mykolaiovych Prodeus, Прогнозоване оцінювання розбірливості мови, замаскованої шумовою завадою , Мікросистеми, Електроніка та Акустика: Том 24 № 5 (2019)

Схожі статті

Arkadii Mykolaiovych Prodeus, Kseniia Victorivna Bukhta, Pavlo Vadymovych Morozko, Oleksii Volodymyroych Serhiienko, Ihor Valeriiovych Kotvytskyi, Oleksandr Oleksandrovych Dvornyk, Автоматизоване суб'єктивне оцінювання розбірливості мови при різних способах прослуховування , Мікросистеми, Електроніка та Акустика: Том 23 № 3 (2018)
Arkadii Mykolaiovych Prodeus, Andrii Vitaliiovych Vityk, Daniil Yuriiovych Didenko, Суб’єктивне оцінювання якості та розбірливості мовних сигналів, спотворених синтезованими шумами , Мікросистеми, Електроніка та Акустика: Том 22 № 6 (2017)
Дмитро А. Шевчук, канд. техн. наук, доц. Наталія Георгіївна Іванушкіна, Комплексний метод виділення неінвазивного сигналу фетальної електрокардіограми та класифікації серцевих аритмій , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Valerij Kostyantynovych Bohushevych, Lidiya Mykolayivna Zamarenova, Hlib Mykhaylovych Kotov, Mykhailo Ivanovych Skipa, Прецизійні ультразвукові вимірювачі рівня рідини в закритих резервуарах , Мікросистеми, Електроніка та Акустика: Том 24 № 1 (2019)
Mykola Fedorovych Zhovnir, Вимірювальний перетворювач кутових переміщень з використанням фазових набігань електричного поля поверхневих акустичних хвиль , Мікросистеми, Електроніка та Акустика: Том 22 № 5 (2017)
Віталій Р. Прус, канд. техн. наук, доц. Олексій Вікторович Богданов, Експериментальне дослідження частотних характеристик MEMS-мікрофонів для моніторингу залізничного шуму , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Анастасія Володимирівна Паренюк, PhD Дмитро Володимирович Паренюк, PhD, дослідник Катерина Л. Руденька, Практичний метод оцінювання безпечних звуків для осіб із ПТСР , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Anton Volodymyrovych Mnevets, Nataliia Heorhiivna Ivanushkina, Моделі сіамських нейронних мереж для класифікації серцевих аритмій за умов нестачі тренувальних ЕКГ сигналів , Мікросистеми, Електроніка та Акустика: Том 30 № 2 (2025)
Anna Serhiivna Poreva, Valentyn Ihorovych Vaityshyn, Yevgeniy Serhiiovych Karplyuk, Методи машинного навчання для дослідження сигналівзвуківлегенів , Мікросистеми, Електроніка та Акустика: Том 22 № 6 (2017)
Oleksandr Viktorovich Machulianskyi, Оптичні властивості наночастинок нікелю в системах зі статистично неоднорідною структурою , Мікросистеми, Електроніка та Акустика: Том 23 № 1 (2018)

1-10 з 85 Наступне

Ви також можете розпочати розширений пошук схожих статей для цієї статті.

[1] O. O. Dvornyk, D. I. Motorniuk, M. V. Didkovska, and A. M. Prodeus, “Artificial Software Complex ‘Artificial Head’. Part 1 Adjusting the Frequency Response of the Path,” Microsystems, Electron. Acoust., vol. 25, no. 1, pp. 56–64, Jul. 2020, DOI: 10.20535/2523-4455.mea.198431.

[2] J. Blauert, Ed., The Technology of Binaural Listening. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013, ISBN: 978-3-642-37761-7.

[3] “HEAD acoustics - Telecom Division - Binaural Recording Systems - Artificial Head Measurement System HMS II.3 - Overview.” [Online]. Available: https://www.head-acoustics.com/eng/telecom_hms_II_3.htm . [Accessed: 23-Mar-2020].

[4] P. L. SØndergaard and P. Majdak, “The auditory modeling toolbox,” in The Technology of Binaural Listening, Springer Berlin Heidelberg, 2013, pp. 33–56.

[5] M. Jeub, M. Schafer, and P. Vary, “A binaural room impulse response database for the evaluation of dereverberation algorithms,” in 2009 16th International Conference on Digital Signal Processing, 2009, pp. 1–5, DOI: 10.1109/ICDSP.2009.5201259.

[6] “IKS: Aachen Impulse Response Database.” [Online]. Available: https://www.iks.rwth-aachen.de/en/research/tools-downloads/databases/aachen-impulse-response-database/ . [Accessed: 23-Mar-2020].

[7] Y. S. Kostyuchok, L. S. Martynovych, D. Y. Motorniuk, V. O. Nechytailo, A. V. Hrapachevskiy, and A. M. Prodeus, “Acoustic certification of classrooms,” Electron. Commun., vol. 21, no. 2, pp. 63–70, Nov. 2016, DOI: 10.20535/2312-1807.2016.21.2.82217.

[8] “SOUND FORGE Audio Studio 14 – Домашняя студия редактирования звука.” [Online]. Available: https://www.magix.com/ru/muzyka/sound-forge/sound-forge-audio-studio/ . [Accessed: 23-Mar-2020].

[9] A. Prodeus, V. Didkovskyi, M. Didkovska, I. Kotvytskyi, and D. Motorniuk, “Automated Subjective Assessment of Speech Intelligibility Under Diotic and Dichotic Listening,” in Data-Centric Business and Applications, Springer, Cham, 2020, pp. 1–16, URL: http://link.springer.com/10.1007/978-3-030-43070-2_1 . DOI: 10.1007/978-3-030-43070-2_1

[10] E. A. P. Habets, N. D. Gaubitch, and P. A. Naylor, “Temporal selective dereverberation of noisy speech using one microphone,” in 2008 IEEE International Conference on Acoustics, Speech and Signal Processing, 2008, pp. 4577–4580, DOI: 10.1109/ICASSP.2008.4518675.

[11] G. A. Soulodre, N. Popplewell, and J. S. Bradley, “Combined effects of early reflections and background noise on speech intelligibility,” J. Sound Vib., vol. 135, no. 1, pp. 123–133, Nov. 1989, DOI: 10.1016/0022-460X(89)90759-1.

[12] J. S. Bradley, H. Sato, and M. Picard, “On the importance of early reflections for speech in rooms,” J. Acoust. Soc. Am., vol. 113, no. 6, p. 3233, 2003, DOI: 10.1121/1.1570439.

[13] I. Arweiler, J. Buchholz, and T. Dau, “Speech intelligibility enhancement by early reflections | Proceedings of the International Symposium on Auditory and Audiological Research,” in Speech processing and perception under adverse conditions, 2009, pp. 289–298, URL: https://proceedings.isaar.eu/index.php/isaarproc/article/view/2009-29 .

[14] H. Sato and J. S. Bradley, “Evaluation of acoustical conditions for speech communication in working elementary school classrooms,” J. Acoust. Soc. Am., vol. 123, no. 4, pp. 2064–2077, 2008, DOI: 10.1121/1.2839283.

[15] V. S. Didkovskyi, M. V. Didkovskaya, and A. M. Prodeus, Komp’yuterna obrobka akustychnykh syhnaliv. Navchalʹnyy posibnyk. [Computer processing of acoustic signals. Tutorial.]. Kyiv: Imecs-LTD, 2010.

[16] A. N. Tikhonov, “O nekorrektnykh zadachakh lineynoy algebry i ustoychivom metode ikh resheniya [On ill-posed problems of linear algebra and a stable method for solving them],” DAN USSR, vol. 163, no. 3, pp. 591–594, 1965.

[17] H. J. M. Steeneken and T. Houtgast, “A physical method for measuring speech‐transmission quality,” J. Acoust. Soc. Am., vol. 67, no. 1, pp. 318–326, 1980, DOI: 10.1121/1.384464.

[18] H. J. . Steeneken and T. Houtgast, “Validation of the revised STIr method,” Speech Commun., vol. 38, no. 3–4, pp. 413–425, Nov. 2002, DOI: 10.1016/S0167-6393(02)00010-9.

[19] A. M. Prodeus, L. B. Dronzhevskaya, V. A. Klimkov, and D. A. Shagitova, “Formantnyy i formantno-modulyatsionnyy metody otsenki razborchivosti rechi. Chast’ 1. Unifikatsiya algoritmov,” Electron. Commun., vol. 15, no. 6 (part 2), pp. 117–124, 2010.

[20] A. N. Prodeus, L. B. Dronzhevskaya, V. A. Klimkov, and D. A. Shagitova, “Formantnyy i formantno-modulyatsionnyy metody otsenki razborchivosti rechi. Chast’ 2. Tochnost’ i skorost’ izmereniy [Formant and formant-modulation methods for assessing speech intelligibility. Part 2. Accuracy and speed of measurements.],” Electron. Commun., vol. 16, no. 6, pp. 16–24, 2011.

[21] M. R. Schroeder, “Modulation Transfer Functions: Definition and Measurement,” Acta Acust. united with Acust., vol. 49, no. 3, pp. 79-182(4), 1981, URL: https://www.ingentaconnect.com/content/dav/aaua/1981/00000049/00000003/art00004?crawler=true&mimetype=application/pdf .

[22] N. B. Pokrovskiy, Raschet i izmerenie razborchivosti rechi [Prediction and measurement of speech intelligibility]. Moskow, USSR: Svyazizdat, 1962.

[23] M. A. Sapozhkov, Rechevoy signal v kibernetike i svyazi [Speech signal in cybernetics and communication]. Moscow: Svyazizdat, 1963.

[24] A. M. Prodeus, V. S. Didkovskyi, and M. V. Didkovskaya, Akusticheskaya ekspertiza i korrektsiya kommunikatsionnykh kanalov [Acoustic examination and correction of communication channels]. LAP LAMBERT Academic Publishing, 2017, ISBN: 978-3-330-04591-0.

[25] V. E. Gantmakher, N. E. Bystrov, and D. V. Chebotarev, Shumopodobnyye signaly. Analiz, sintez, obrabotka [Noise-like signals. Analysis, synthesis, processing]. St. Peterburg: Nauka i tekhnika, 2005.

[26] M. R. Schroeder, “New Method of Measuring Reverberation Time,” J. Acoust. Soc. Am., vol. 37, no. 6, pp. 1187–1188, Jun. 1965, DOI: 10.1121/1.1939454.

[27] U. Zölzer, Ed., DAFX: Digital Acoustic Effects, 2nd ed. John Wiley & Sons, 2011, ISBN: 978-0-470-66599-2.