Перейти до вмісту
Наукові вісті КПІ
ISSN 2617-5509 · e‑ISSN 2663-7472 Відкритий доступ · CC BY 4.0
Т. 143 · № 2 · 2026 чер 29, 2026 статті

МОДЕЛЬ МАШИННОГО НАВЧАННЯ ДЛЯ РОЗПІЗНАВАННЯ КОНФІГУРАЦІЙ РУК УКРАЇНСЬКОЇ ЖЕСТОВОЇ МОВИ

КГ
Костянтин Грішин Відповідальний Навчально-науковий інститут прикладного системного аналізу Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського", Київ, Україна Україна
НН
Надія Недашківська Навчально-науковий інститут прикладного системного аналізу Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського", Київ, , Україна Україна
Опублікованочер 29, 2026
PDF
НВКПІ 2 ТОМ 143 · 2
ТОМ 143 · № 2 · 2026 Переглянути випуск

Анотація

Проблематика. Розпізнавання жестової мови на основі штучного інтелекту є актуальною, не розв’язаною досі проблемою. Для української жестової мови (УЖМ) задача ускладнена нестачею публічно доступних датасетів. Тому дослідникам, які працюватимуть в умовах обмежених даних, доцільно використовувати додаткові ознаки для підвищення точності моделей. Конфігурація рук – основна характеристика лексичних одиниць у будь-якій жестовій мові; в УЖМ їх 40. Можливість точно визначати конфігурацію надасть інформативні ознаки для систем розпізнавання жестової мови на основі штучного інтелекту. Мета дослідження. Побудувати модель машинного навчання, здатну розпізнавати покадрово конфігурації УЖМ на відеопотоці з точністю не менше 95% на перевірочній вибірці та середнім часом виведення результату не більше 70 мс. Методика реалізації. У якості вхідних даних для моделей розпізнавання конфігурацій УЖМ запропоновано систему математичних показників, які обчислюються на основі координат ключових точок, отриманих системою захоплення пози Mediapipe. Навчальна вибірка створена із зображень конфігурацій рук УЖМ з камери, продемонстрованих різними особами середнього віку. Далі через Mediapipe на зображеннях визначено ключові точки руки, розраховано відповідні вектори математичних показників. Випробовувались різні архітектури персептрону та випадкового лісу. Результати дослідження. Найвищу ефективність показала модель персептрона з двома прихованими шарами по 300 нейронів, яка використовує як вхідні дані вектор запропонованих математичних показників. Модель досягла точності 98.18% на перевірочній вибірці. Під час апробації у відеопотоці мережа із 40 конфігурацій УЖМ ідентифікувала 32 безпомилково, для 8 з поодинокими відхиленнями. Середній час виведення результату – 46 мс. Персептрон ідентичної архітектури, що приймав координати ключових точок, показав нижчу точність у режимі відеопотоку. Також, запропоновані ознаки підвищили ефективність моделі випадкового лісу, що підтверджує їх універсальність. Висновки. Серед розглянутих архітектур оптимальною є модель персептрона з двома прихованими шарами по 300 нейронів, яка використовує в якості вхідних даних вектор запропонованих математичних показників. Вона ідентифікує конфігурації УЖМ у реальному часі, досягаючи точності 98.18% на перевірочній вибірці. У випробуваннях на основі запропонованого критерію експертного оцінювання на відеопотоці вона безпомилково ідентифікувала на 35% більше конфігурації (80% проти 45%), порівняно з моделлю, що базується на необроблених координатах ключових точок. Впровадження додаткової верифікації на основі експертних висновків є доцільним, окрім стандартної оцінки точності на перевірочних даних. Зазначена архітектура є першою моделлю для розпізнавання конфігурацій УЖМ на основі штучного інтелекту. У подальшому планується інтеграція розробленої мережі в систему розпізнавання ізольованих жестів УЖМ.

Ключові слова

#українська жестова мова #конфігурація #машинне навчання #нейронні мережі #комп’ютерний зір #розпізнавання жестів рук #оцінка якості моделі #інженерія ознак #системний аналіз

Посилання

  1. "‘Sign Languages are for Everyone!’ UN International Day of Sign Languages." [Online]. Available: https://www.european-agency.org/news/sign-languages-are-everyone-un-international-day-sign-languages . Accessed: Apr. 13, 2026
  2. "UNICEF Ukraine Facebook post February 20, 2025" [Online]. Available: https://www.facebook.com/1789994851793391 . Accessed: Apr. 13, 2026
  3. "SignGPT Building Generative Predictive Transformers for Sign Language. An EPSRC Programme Grant 1/5/2025-30/4/2031" [Online]. Available: https://sites.google.com/view/signgpt/team . Accessed: Apr. 13, 2026
  4. "Google DeepMind SignGemma announcement" [Online]. Available: https://x.com/GoogleDeepMind/status/1927375853551235160 . Accessed: Apr. 13, 2026
  5. "SLAIT at DeafIT Conference about "Breaking communication barriers between Deaf & hearing people" [Online]. Available: https://www.youtube.com/watch?v=UZ1FJP7uO9Y . Accessed: Apr. 13, 2026
  6. "A software that can translate any sign language // Expo Live – KinTrans Inc. – USA" [Online]. Available: https://www.youtube.com/watch?v=29n1YhOVHHA . Accessed: Apr. 13, 2026
  7. "1st place solution – 1DCNN combined with Transformer" [Online]. Available: https://www.kaggle.com/competitions/asl-signs/writeups/hoyeol-sohn-1st-place-solution-1dcnn-combined-with . Accessed: Apr. 13, 2026
  8. S. V. Kulbida, "Konfihuratsiia yak komponent zhestu [Configuration as a sign component]," Osoblyva dytyna : navchannia i vykhovannia. [Special child: teaching and raising], vol. 4, pp. 15–30, 2018. Retrieved from doi: https://doi.org/10.33189/ectu.v4i89.6
  9. N. Camgoz et al., "SubUNets: End-to-End Hand Shape and Continuous Sign Language Recognition," in IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017. Retrieved from doi: https://doi.org/10.1109/ICCV.2017.332
  10. O. Koller et al., "Weakly Supervised Learning with Multi-Stream CNN-LSTM-HMMs to Discover Sequential Parallelism in Sign Language Videos," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 42, no. 9, pp. 2306–2320, 2020. Retrieved from doi: https://doi.org/10.1109/TPAMI.2019.2911077
  11. X. Zhang and K. Duh, "Handshape-Aware Sign Language Recognition: Extended Datasets and Exploration of Handshape-Inclusive Methods," in Findings of the Association for Computational Linguistics: EMNLP, Singapore, pp. 2993–3002, 2023. Retrieved from doi: https://doi.org/10.18653/v1/2023.findings-emnlp.198
  12. A. A. Hosain et al., "FineHand: Learning Hand Shapes for American Sign Language Recognition," in 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), 2020, pp. 700–707. Retrieved from doi: https://doi.org/10.1109/FG47880.2020.00062
  13. A. Carbo and E. Nalisnick, "Improving Handshape Representations for Sign Language Processing: A Graph Neural Network Approach," in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, Suzhou, China, pp. 29122–29135. Retrieved from doi: https://doi.org/10.18653/v1/2025.emnlp-main.1483
  14. B. Demircioğlu, G. Bülbül and H. Köse, "Turkish Sign Language recognition with Leap Motion," in 24th Signal Processing and Communication Application Conference (SIU), 2016, pp. 589–592, Retrieved from doi: https://doi.org/10.1109/SIU.2016.7495809
  15. S. Sharma, R. Gupta and A. Kumar, "Continuous sign language recognition using isolated signs data and deep transfer learning," Journal of Ambient Intelligence and Humanized Computing, vol. 14, no. 3, pp. 1531–1542, 2023. Retrieved from doi: https://doi.org/10.1007/s12652-021-03418-z
  16. S. Alyami, H. Luqman and M. Hammoudeh, "Reviewing 25 years of continuous sign language recognition research: Advances, challenges, and prospects," Information Processing & Management, vol. 61, no. 5, 2024. Retrieved from doi: https://doi.org/10.1016/j.ipm.2024.103774
  17. K. Myagila, D.G. Nyambo and M.A. Dida, "Framework for detecting and recognizing sign language using absolute pose estimation difference and deep learning," Machine Learning with Applications, vol. 21, 2025. Retrieved from doi: https://doi.org/10.1016/j.mlwa.2025.100723
  18. R. Rastgoo, K. Kiani and S. Escalera, "Word separation in continuous sign language using isolated signs and post-processing," Expert Systems with Applications, vol. 249, 2024. Retrieved from doi: https://doi.org/10.1016/j.eswa.2024.123695
  19. O. V. Lozynska, "Systema kompiuternoho perekladu ukrainskoi zhestovoi movy z vykorystanniam hramatychno dopovnenoi ontolohii," [System of computer translation for Ukrainian Sign Language using grammatically augmented ontology] Ph.D. dissertation, Lviv Polytechnic National University, Lviv, 2016. [Online].
  20. Available: https://lpnu.ua/sites/default/files/2020/dissertation/1452/dyserlozynska1.pdf . Accessed: Apr. 13, 2026
  21. N.C. Camgöz et al., "Neural Sign Language Translation," IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, 2018. [Online]. Available: https://www-i6.informatik.rwth-aachen.de/~koller/RWTH-PHOENIX-2014-T/ . Accessed: Apr. 13, 2026
  22. H. Zhou et al., "CSL-Daily Dataset", 2021. Available: https://ustc-slr.github.io/datasets/2021_csl_daily/ . Accessed: Apr. 13, 2026
  23. J. Yu, M. Qin, and S. Zhou, "Dynamic gesture recognition based on 2D convolutional neural network and feature fusion," Scientific Reports, vol. 12, 2022. Retrieved from doi: https://doi.org/10.1038/s41598-022-08133-z
  24. Yu. V. Krak et al., "Matematychni metody ta prykladni informatsiini tekhnolohii modeliuvannia, perekladu ta navchannia dlia ukrainskoi zhestovoi movy [Mathematical methods and applied informational technologies of modeling, translation and learning for Ukrainian Sign Language]," Bulletin of Lviv Polytechnic National University: information technologies and networks, no. 854, 2016, pp. 210–227. [Online]. Available: http://nbuv.gov.ua/UJRN/VNULPICM_2016_854_22
  25. A. Hlybovets and M. Bikchentayev, "Recognizing gestures of the ukrainian dactylic alphabet," International Scientific Technical Journal "Problems of Control and Informatics, vol. 68, no. 3, pp. 86–100, 2023. Retrieved from doi: https://doi.org/10.34229/1028-0979-2023-3-9
  26. I. O. Burkhan and O. V. Barabanov, "Rozpiznavannia ukrainskoi zhestovoi movy na osnovi kliuchovykh tochok z vykorystanniam rekurentnykh neironnykh merezh [Keypoint-based Ukrainian Sign Language translation using Recurrent Neural Networks]," Science and Technology Today, vol. 4, no. 18, 2023. Retrieved from doi: https://doi.org/10.52058/2786-6025-2023-4(18)-280-292
  27. N. V. Kuznietsova and S. S. Smirnov, "Uzahalnena metodolohiia rozpiznavannia movy zhestiv na videopotokakh na osnovi neironnykh merezh i transformeriv [A generalized methodology of sign language recognition on video streams based on neural networks and transformers]," Data Recording, Storage & Processing, vol. 25, no. 2. pp. 66–76. 2023. Retrieved from doi: https://doi.org/10.35681/1560-9189.2023.25.2.300527
  28. A. Géron, Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow (2nd ed.), O’Reilly Media Inc., Sebastopol, CA, 2019. [Online]. Available: https://shashwatwork.github.io/assets/files/ml_ebook.pdf . Accessed: Apr. 13, 2026
  29. A. Zhang et al., "Dive into Deep Learning. 5. Multilayer Perceptrons," [Online]. Available: https://www.d2l.ai/chapter_multilayer-perceptrons/index.html . Accessed: Apr. 13, 2026
  30. W. F. Maia et al., "Automatic sign language to text translation using MediaPipe and transformer architectures," Neurocomputing, vol. 642, 2025. Retrieved from doi: https://doi.org/10.1016/j.neucom.2025.130421
  31. "1 Urok Daktylna abetka, kanal «Ukrainska Zhestova mova»" [1 Lesson Dactyl alphabet, channel «Ukrainian Sign Language»]. [Online].
  32. Available: https://www.youtube.com/watch?v=DHo96OMHRyE . Accessed: Apr. 13, 2026
  33. S. S. Kondratiuk, "Ukrainian dactyl alphabet gesture recognition using cross platform software and convolutional neural networks," Artificial Intelligence, vol. 24, pp. 107–113, 2019. Retrieved from doi: https://doi.org/10.15407/jai2019.03-04.107
  34. B. Alsharif et al., "Deep Learning Technology to Recognize American Sign Language Alphabet," Sensors, vol. 23, no. 18, 7970, 2023. Retrieved from doi: https://doi.org/10.3390/s23187970
§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.
Усі випуски

РОЗРОБКА МЕТОДУ ФОРМАЛІЗАЦІЇ ДИНАМІЧНИХ ТЕПЛОВИХ ПОРТРЕТІВ ДЛЯ НАДІЙНОГО ВИЯВЛЕННЯ ЦІЛЕЙ

Степан Лис, Оксана Оборська

Проблематика. Автоматизовані системи спостереження з БпЛА стикаються з подвійним викликом: виявленням теплоконтрастних об'єктів у реальному часі та їх ідентифікацією в…

#тепловізійні системи #ідентифікація цілей #локалізація зони інтересу #динамічний тепловий портрет
10.20535/kpisn.2026.3.359114

МЕТОДИКА ФОРМУВАННЯ ІНФОРМАТИВНОГО ПРОСТОРУ ОЗНАК ТЕХНІЧНИХ ІНДИКАТОРІВ ФІНАНСОВИХ ПРОЦЕСІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ

Роман Тертичний, Денис Чупрін, Петро Бідюк

Проблематика. Фінансові часові ряди характеризуються нелінійністю, нестаціонарністю та високим рівнем шуму, що суттєво ускладнює їх моделювання та прогнозування.…

#методика формування інформативного простору ознак #технічні індикатори #волатильність Паркінсона #нейронні мережі
10.20535/kpisn.2026.3.359610

МЕТОДИ ЗАБЕЗПЕЧЕННЯ ЦІЛІСНОСТІ ОБРОБКИ ТА ПЕРЕДАЧІ ДАНИХ У ПРОМИСЛОВИХ СИСТЕМАХ АВТОМАТИЗАЦІЇ

Ярослав Корпань, Євген Федоров, Ольга Нечипоренко

Проблематика. Сучасні промислові системи контролю характеризуються високим рівнем інтеграції інформаційних і фізичних процесів та використанням розподілених…

#промислові системи автоматизації #SCADA-системи #цілісність даних #кібербезпека ICS
10.20535/kpisn.2026.3.361520

Статті цього автора (цих авторів), які найбільше читають

Схожі статті

1-10 з 61

Ви також можете розпочати розширений пошук схожих статей для цієї статті.