Інерційна система розпізнавання жестів

Maksym Oleksandrovych Yaroshenko; Anton Yuriiovych Varfolomieiev; Petro Oleksiiovych Yaganov

doi:10.20535/2523-4455.2019.24.5.193295

Т. 24 · № 5 · 2019 жов 31, 2019 Електронні системи та сигнали

Інерційна система розпізнавання жестів

Maksym Oleksandrovych Yaroshenko Відповідальний Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Anton Yuriiovych Varfolomieiev Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Petro Oleksiiovych Yaganov Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" Україна

Сторінки42-47 Опублікованожов 31, 2019

PDF

ТОМ 24 · № 5 · 2019 Переглянути випуск

Анотація

В роботі розглянуто інерційну систему розпізнавання жестів. Дана система побудована на основі апаратного модуля, що формує образи-жести за допомогою інерційних МЕМС давачів (акселерометра і гіроскопа) та розпізнає отримані образи за допомогою нейронної мережі з BLSTM шаром. Реалізовано прототип запропонованої системи, в якому апаратна частина побудована на мікроконтролері STM32F401RE та мікросхемі МЕМС давачів MPU9250, а розпізнавання жестів виконується на персональному комп’ютері засобами пакету прикладних програм Matlab. За допомогою розробленого прототипу сформовано навчальну та тестову вибірки для трьох типів жестів та показано спроможність підсистеми розпізнавання забезпечити похибку ідентифікації даних жестів не більше 3,5% (коефіцієнт правильного розпізнавання 96,7%).

Ключові слова

#розпізнавання жестів #інерційна система #нейронні мережі #BLSTM

Посилання

"World Federation of the Deaf," [Online]. Available: http://wfdeaf.org/faq . [Accessed 22 08 2019].
S. Alashhab, A.-J. Gallego and M. Lozano, "Hand gesture detection with convolutional neural networks," Advances in Intelligent Systems and Computing, p. 45–52, 2018. DOI: 10.1007/978-3-319-94649-8_6.
P. O. Yahanov and I. V. Redko, "Perseptronnyi klasyfikator teplovoho komfortu," Visnyk KNUTD, no. 6 (128), p. 29–38, 2018. DOI: 10.30857/1813-6796.2018.6.3.
J. Tompson, M. Stein, Y. LeCun and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Transactions on Graphics (ToG), vol. 33, no. 5, p. 169–173, 2014. DOI: 10.1145/2629500.
S. Ji, W. Xu, M. Yang and K. Yu, "3D convolutional neural networks for human action recognition," IEEE transactions on pattern analysis and machine intelligence (TPAMI), vol. 35, no. 1, p. 221–231, 2013. DOI: 10.1109/TPAMI.2012.59.
N. Nishida and H. Nakayama, "Multimodal gesture recognition using multi-stream recurrent neural network," Image and Video Technology PSIVT 2015. Lecture Notes pn Computer Science, vol. 9431, p. 682–694, 2015. DOI: 10.1007/978-3-319-29451-3_54.
N. Neverova, C. Wolf, G. W. Taylor and F. Nebout, "Multi-scale deep learning for gesture detection and localization," Computer Vision – ECCV 2014 Workshops. ECCV. Lecture Notes in Computer Science, vol. 8925, p. 474–490, 2014. DOI: 10.1007/978-3-319-16178-5_33.
R. V. Siriak and I. S. Skarha-Bandurova, "Model obrobky potokovykh danykh dlia rozpiznavannia okremykh odynyts zhestovoi movy," Visnyk Natsionalnoho tekhnichnoho universytetu "KhPI", vol. 42, no. 1318, p. 73–81, 2018.
"Spectra Symbol Flex Sensor," [Online]. Available: https://www.spectrasymbol.com/product/flex-sensors/ .
A. Graves and J. Schmidhuber, "Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures," Neural Networks, vol. 18, no. 5-6, p. 602–610, 2005. DOI: 10.1016/j.neunet.2005.06.042.
I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, Massachusetts: MIT Press, 2016. ISBN: 978-0262035613.
G. Lefebvre, S. Berlemont, F. Mamalet and C. Garcia, "Inertial Gesture Recognition with BLSTM-RNN," in Artificial Neural Networksю Methods and Applications in Bio-/Neuroinformatics, P. Koprinkova-Hristova, V. Mladenov and K. N. K., Eds., Springer International Publishing Switzerland, 2015, pp. 393–410. DOI: 10.1007/978-3-319-09903-3_19.
D. P. Kingma and J. L. Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations (ICLR), San Diego, 2015. URL: https://arxiv.org/pdf/1412.6980.pdf .

Попередня у випуску Прогнозоване оцінювання розбірливості мови, замаскованої шумовою завадою Наступна у випуску Дослідження регресійних моделей динаміки глікемії в умовах вимірювальної невизначеності

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

Квазістатична ідентифікація структури затінення сонячних панелей за методом векторів кардинальних чисел

PhD, доц. Олена Олегівна Абакумова, д-р техн. наук, проф. Валерій Якович Жуйков, Микола О. Лук'янов

У статті розглянуто проблему ідентифікації структури затінення сонячних панелей. Актуальність дослідження зумовлена необхідністю швидкої та адекватної реконфігурації…

#Сонячні панелі #Фотоелектрична поверхня #Моделювання структури тіней #Квазістатична ідентифікація

с. 362283.1-362283.7

10.20535/2523-4455.mea.362283

Імітаційне моделювання фільтро-компенсаційного перетворювача для трифазної трипровідної мережі

Іван Андрійович Вакуленко, канд. техн. наук, доц. Дмитро Анатолійович Миколаєць, канд. техн. наук, доц. Катерина Сергіївна Клен

У цій статті розглядається критична проблема погіршення якості електроенергії в сучасних енергосистемах, спричинена поширенням нелінійних навантажень. Такі навантаження…

#фільтр-компенсаційний перетворювач #трифазна трипровідна мережа #якість електроенергії #повне гармонійне спотворення

с. 361138.1-361138.6

10.20535/2523-4455.mea.361138

Комплексний метод виділення неінвазивного сигналу фетальної електрокардіограми та класифікації серцевих аритмій

Дмитро А. Шевчук, канд. техн. наук, доц. Наталія Георгіївна Іванушкіна

Стаття присвячена розробці комплексного методу виділення фетального електрокардіосигналу (ФЕКГ) з неінвазивних абдомінальних записів та подальшої автоматизованої…

#абдомінальні електрокардіограми #фетальна електрокардіограма #аритмія #сліпе розділення джерел

с. 356487.1-356487.11

10.20535/2523-4455.mea.356487

Статті цього автора (цих авторів), які найбільше читають

Dmytro Mykolaiovych Svakha, Anton Yuriiovych Varfolomieiev, Система автоматичного візуального розпізнавання показань лічильника , Мікросистеми, Електроніка та Акустика: Том 23 № 6 (2018)
Tymofii Andriiovych Khodniev, Oleksandr Ihorovych Antoniuk, Anton Yuriiovych Varfolomieiev, Oleksandr Mykolaiovych Lysenko, Порівнево-декомпозиційна модель оцінки інтегральної ефективності використання тракту зв'язку з урахуванням перешкод , Мікросистеми, Електроніка та Акустика: Том 23 № 6 (2018)
Denys Volodymyrovych Soldatov, Anton Yuriiovych Varfolomieiev, Удосконалений метод визначення положення суглобових з’єднань скелету людини на відеопослідовностях , Мікросистеми, Електроніка та Акустика: Том 24 № 6 (2019)
Maksym Oleksandrovych Yaroshenko, Генерування аберометричних даних шляхом застосування генеративно-змагальної нейронної мережі , Мікросистеми, Електроніка та Акустика: Том 28 № 3 (2023): до 125-річчя КПІ ім. Ігоря Сікорського

Схожі статті

Anton Volodymyrovych Mnevets, Nataliia Heorhiivna Ivanushkina, Моделі сіамських нейронних мереж для класифікації серцевих аритмій за умов нестачі тренувальних ЕКГ сигналів , Мікросистеми, Електроніка та Акустика: Том 30 № 2 (2025)
Анастасія Володимирівна Паренюк, PhD Дмитро Володимирович Паренюк, PhD, дослідник Катерина Л. Руденька, Практичний метод оцінювання безпечних звуків для осіб із ПТСР , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Ірина Брика, Наталія Юріївна Філіпова, Двостороння система попередження учасників дорожнього руху на базі мікроконтролера ESP32 , Мікросистеми, Електроніка та Акустика: Том 31 № 1 (2026)
Viktor Fedorovich Zavorotnyi, Olexander Vasylovych Borisov, Лабораторний тестер сонячних елементів з динамічною реконфігурацією вимірювальної схеми , Мікросистеми, Електроніка та Акустика: Том 23 № 1 (2018)
Sergey M. Osinov, Viktor Fedorovich Zavorotnyi, Boris Ivanovych Lupyna, Olexandr Vasylovych Borisov, Моделювання багатофункціанального терморезистивного перетворювача, що використовує технологію теплообміну , Мікросистеми, Електроніка та Акустика: Том 24 № 2 (2019)
Антон Васильович Коцюбайло, д-р техн. наук, проф. Олександр Миколайович Лисенко, Розподілена архітектура системи Wi-Fi-керування активним ортезом верхніх кінцівок , Мікросистеми, Електроніка та Акустика: Том 31 № 1 (2026)
д-р техн. наук, проф. Сергій Анатолійович Найда, д-р техн. наук, доц. Олександр Іванович Дрозденко, канд. техн. наук, доц. Павло Васильович Попович, PhD, Assoc. Prof. Kateryna Serhiivna Drozdenko, канд. техн. наук Олександр Ігорович Нижник, канд. техн. наук Ярослав Іванович Старовойт, Акустична локалізація повітряних об’єктів та практична оцінка її точності , Мікросистеми, Електроніка та Акустика: Том 31 № 1 (2026)
Oleksandr Ivanovych Drozdenko, Oleksandr Hryhorovych Leiko, Випромінювання максимальної акустичної потужності системами гідроакустичних циліндричних п'єзокерамічних перетворювачів з окружною поляризацією , Мікросистеми, Електроніка та Акустика: Том 23 № 2 (2018)
Liubomyr Mykolaiovych Korolevych, Natalia Maksimchuk, Oleksandr Vasyliovych Borysov, Вплив методів отримання тонких плівок оксиду церію на вольт-фарадні характеристики МДН-структур , Мікросистеми, Електроніка та Акустика: Том 24 № 3 (2019)
Іван Андрійович Вакуленко, канд. техн. наук, доц. Дмитро Анатолійович Миколаєць, канд. техн. наук, доц. Катерина Сергіївна Клен, Імітаційне моделювання фільтро-компенсаційного перетворювача для трифазної трипровідної мережі , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)

1-10 з 81 Наступне

Ви також можете розпочати розширений пошук схожих статей для цієї статті.

[1] "World Federation of the Deaf," [Online]. Available: http://wfdeaf.org/faq . [Accessed 22 08 2019].

[2] S. Alashhab, A.-J. Gallego and M. Lozano, "Hand gesture detection with convolutional neural networks," Advances in Intelligent Systems and Computing, p. 45–52, 2018. DOI: 10.1007/978-3-319-94649-8_6.

[3] P. O. Yahanov and I. V. Redko, "Perseptronnyi klasyfikator teplovoho komfortu," Visnyk KNUTD, no. 6 (128), p. 29–38, 2018. DOI: 10.30857/1813-6796.2018.6.3.

[4] J. Tompson, M. Stein, Y. LeCun and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Transactions on Graphics (ToG), vol. 33, no. 5, p. 169–173, 2014. DOI: 10.1145/2629500.

[5] S. Ji, W. Xu, M. Yang and K. Yu, "3D convolutional neural networks for human action recognition," IEEE transactions on pattern analysis and machine intelligence (TPAMI), vol. 35, no. 1, p. 221–231, 2013. DOI: 10.1109/TPAMI.2012.59.

[6] N. Nishida and H. Nakayama, "Multimodal gesture recognition using multi-stream recurrent neural network," Image and Video Technology PSIVT 2015. Lecture Notes pn Computer Science, vol. 9431, p. 682–694, 2015. DOI: 10.1007/978-3-319-29451-3_54.

[7] N. Neverova, C. Wolf, G. W. Taylor and F. Nebout, "Multi-scale deep learning for gesture detection and localization," Computer Vision – ECCV 2014 Workshops. ECCV. Lecture Notes in Computer Science, vol. 8925, p. 474–490, 2014. DOI: 10.1007/978-3-319-16178-5_33.

[8] R. V. Siriak and I. S. Skarha-Bandurova, "Model obrobky potokovykh danykh dlia rozpiznavannia okremykh odynyts zhestovoi movy," Visnyk Natsionalnoho tekhnichnoho universytetu "KhPI", vol. 42, no. 1318, p. 73–81, 2018.

[9] "Spectra Symbol Flex Sensor," [Online]. Available: https://www.spectrasymbol.com/product/flex-sensors/ .

[10] A. Graves and J. Schmidhuber, "Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures," Neural Networks, vol. 18, no. 5-6, p. 602–610, 2005. DOI: 10.1016/j.neunet.2005.06.042.

[11] I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, Massachusetts: MIT Press, 2016. ISBN: 978-0262035613.

[12] G. Lefebvre, S. Berlemont, F. Mamalet and C. Garcia, "Inertial Gesture Recognition with BLSTM-RNN," in Artificial Neural Networksю Methods and Applications in Bio-/Neuroinformatics, P. Koprinkova-Hristova, V. Mladenov and K. N. K., Eds., Springer International Publishing Switzerland, 2015, pp. 393–410. DOI: 10.1007/978-3-319-09903-3_19.

[13] D. P. Kingma and J. L. Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations (ICLR), San Diego, 2015. URL: https://arxiv.org/pdf/1412.6980.pdf .