Перейти до вмісту
Наукові вісті КПІ
ISSN 2617-5509 · e‑ISSN 2663-7472 Відкритий доступ · CC BY 4.0
Т. 141 · № 4 · 2025 гру 29, 2025 статті

АРХІТЕКТУРА ГІБРИДНОГО CNN–TRANSFORMER З МАСКОВАНИМ АВТОКОДУВАННЯМ ЧАСОВИХ РЯДІВ ДЛЯ ПОВЕДІНКОВОЇ БІОМЕТРІЇ НА МОБІЛЬНИХ ПРИСТРОЯХ

МГ
Марія Гаврилович Відповідальний National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Department of Artificial Intelligence, Kyiv, Ukraine, Ukraine Україна
Опублікованогру 29, 2025
PDF
НВКПІ 4 ТОМ 141 · 4
ТОМ 141 · № 4 · 2025 Переглянути випуск

Анотація

Проблематика. Безперервна поведінкова автентифікація (динаміка натискань клавіш, жести торкання/свайпи, датчики руху) дає змогу перевіряти особу користувача без додаткових дій з його боку. Водночас моделі деградують за зміни пристрою, сесії чи виду активності, є чутливими до шуму та часто потребують значних обсягів розмічених даних. З поширенням безпарольних методів входу зростає потреба в механізмах постлогін-контролю ризиків та в моделях, які є стійкими, обчислювально ефективними й стабільними в реальних умовах експлуатації. Мета дослідження. Розробити та емпірично дослідити компактний гібрид CNN–Transformer із легковаговим самонавчальним маскованим автокодуванням часових рядів (MAE-підхід) для мобільної поведінкової біометрії на наборах даних HMOG та WISDM. Методика реалізації. Попередній 1D-CNN-блок виділяє локальні ознаки зі сигналів руху смартфона, тоді як енкодер Transformer моделює довгострокові залежності. Для самонавчального препрейнінгу за обмеженого обчислювального бюджету використовується маскована реконструкція на немаркованих сесіях HMOG, після чого та сама гібридна архітектура донавчається в режимі класифікації користувачів. Оцінено три гібридні варіанти на HMOG (навчання з нуля, навчання з маскованим препрейнінгом, а також з маскованим препрейнінгом і адаптацією CORAL) і три моделі на WISDM (базовий Transformer, гібрид без препрейнінгу та гібрид, ініціалізований вагами після MAE-препрейнінгу на HMOG). Якість вимірюється за середніми та медіанними значеннями Equal Error Rate (EER) та AUC на рівні окремих користувачів. Результати дослідження. На наборі HMOG найкращих користувацьких показників досягає гібридна модель, навчена з нуля (EER: 21,51 % у середньому та 18,63 % за медіаною; AUC: 0,854 у середньому та 0,905 за медіаною), тоді як легковагові варіанти з MAE та CORAL поки що не перевершують цю базову конфігурацію. На WISDM гібридна модель суттєво переважає чистий Transformer-базлайн (EER: 9,41 % проти 51,25 % у середньому; AUC: 0,902 проти 0,488 у середньому), а ініціалізація вагами після MAE-препрейнінгу на HMOG дає додаткове покращення (EER: 8,42 % у середньому та 2,07 % за медіаною; AUC: 0,907 у середньому та 0,959 за медіаною). Висновки. Отримані результати свідчать, що компактний гібрид CNN–Transformer є ефективним для сенсорної мобільної поведінкової біометрії та що навіть легковаговий маскований претрейнінг може бути корисним для перенесення між наборами даних. Водночас користь MAE та CORAL на HMOG істотно залежить від бюджету претрейнінг та конфігурації маскування, що вказує на необхідність подальшого налаштування, аби повністю використати потенціал самонавчального препрейнінгу в цій постановці.

Ключові слова

Посилання

  1. G. M. Weiss, K. Yoneda, and T. Hayajneh, “Smartphone and smartwatch-based biometrics using activities of daily living,” IEEE Access, vol. 7, pp. 133190–133202, 2019, doi: 10.1109/ACCESS.2019.2940729.
  2. Z. Sitová, J. Šeděnka, Q. Yang, G. Peng, G. Zhou, P. Gasti, and K. S. Balagani, “HMOG: New behavioral biometric features for continuous authentication of smartphone users,” IEEE Transactions on Information Forensics and Security, vol. 11, no. 5, pp. 877–892, 2016, doi: 10.1109/TIFS.2015.2506542.
  3. M. Abuhamad, T. Abuhmed, D. Mohaisen, and D. Nyang, “AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors,” IEEE Internet of Things Journal, vol. 7, no. 6, pp. 5008–5020, 2020, doi: 10.1109/JIOT.2020.2975779.
  4. M. Havrylovych and V. Danylov, “Deep learning application in continuous authentication,” in Digital Ecosystems: Interconnecting Advanced Networks with AI Applications, A. Luntovskyy, Ed. Cham: Springer, 2024, pp. 644–667, Lecture Notes in Electrical Engineering, vol. 1198, doi: 10.1007/978-3-031-61221-3_31.
  5. M. P. Havrylovych and V. Y. Danylov, “Research of autoencoder-based user biometric verification with motion patterns,” System Research and Information Technologies, no. 2, pp. 128–136, 2022, doi: 10.20535/SRIT.2308-8893.2022.2.10.
  6. M. P. Havrylovych and V. Y. Danylov, “Research on hybrid transformer-based autoencoders for user biometric verification,” System Research and Information Technologies, no. 3, pp. 42–53, 2023, doi: 10.20535/SRIT.2308-8893.2023.3.03.
  7. M. Havrylovych, V. Danylov, and A. Gozhyj, “Comparative analysis of using recurrent autoencoders for user biometric verification with wearable accelerometer,” in Proceedings of the 9th International Conference “Information Control Systems & Technologies” (ICST 2020), CEUR-WS, vol. 2711, 2020, pp. 358–370.
  8. A. Alsultan and K. Warwick, “Keystroke dynamics authentication: A survey of free-text methods,” International Journal of Computer Science Issues, vol. 10, no. 4, pp. 1–10, 2013.
  9. R. S. Ahmed, A. Wahab, M. Manno, M. Lukaszewski, D. Hou, and F. Hussain, “Keystroke dynamics: Concepts, techniques, and applications,” ACM Computing Surveys, vol. 57, no. 11, pp. 283:1–283:35, 2025, doi: 10.1145/3675583.
  10. G. Stragapede, P. Delgado-Santos, R. Tolosana, R. Vera-Rodriguez, R. Guest, and A. Morales, “TypeFormer: Transformers for mobile keystroke biometrics,” Neural Computing and Applications, 2024, early access, doi: 10.1007/s00521-024-10140-2.
  11. J. Kim, H.-D. Kim, and P. Kang, “Keystroke dynamics-based user authentication using freely typed text based on user-adaptive feature extraction and novelty detection,” Applied Soft Computing, vol. 62, pp. 1077–1087, 2018, doi: 10.1016/j.asoc.2017.09.045.
  12. G. M. Weiss, “WISDM smartphone and smartwatch activity and biometrics dataset,” WISDM Lab, Fordham University, technical report, 2019. [Online]. Available: https://archive.ics.uci.edu/
  13. Q. Liu, J. Ye, H. Liang, L. Sun, and B. Du, “TS-MAE: A masked autoencoder for time series representation learning,” Information Sciences, vol. 690, art. 121576, 2025, doi: 10.1016/j.ins.2024.121576.
  14. Q. Wen, T. Zhou, C. Zhang, W. Lei, L. Yang, and H. Xiong, “Transformers in time series: A survey,” in Proceedings of the 32nd International Joint Conference on Artificial Intelligence (IJCAI 2023), 2023, pp. 6778–6786, doi: 10.24963/ijcai.2023/759.
  15. B. Sun and K. Saenko, “Deep CORAL: Correlation alignment for deep domain adaptation,” in Computer Vision – ECCV 2016 Workshops, 2016, pp. 443–450, doi: 10.1007/978-3-319-49409-8_35.
§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.
Усі випуски

ДВОЕТАПНИЙ ПІДХІД ДО СЕГМЕНТАЦІЇ СУПУТНИКОВИХ ЗНІМКІВ ДЛЯ ОЦІНЮВАННЯ ПЛОЩІ АСФАЛЬТОВАНОГО ПОКРИТТЯ ПАРКОВОК

Олександр Гончарук, Надія Недашківська

Проблематика. Точна оцінка площі асфальтованих парковок є важливою для містобудування та екологічного моніторингу. Однак спектральна подібність асфальту паркувальних…

#семантична сегментація #супутникові знімки #паркінг #нейронна мережа
10.20535/kpisn.2026.3.367540

ФОРМАЛІЗАЦІЯ РОЗРІДЖЕНОГО ANP З БІНАРНИМИ ПОРІВНЯННЯМИ НА ОСНОВІ ДАНИХ У КОЛІ ОДНОРІДНИХ КОМПОНЕНТІВ ДЛЯ ПРІОРИТИЗАЦІЇ РОЗПОДІЛУ РЕСУРСІВ

Вадим Романюк

Проблематика. Задачі розподілу обмежених ресурсів між взаємозалежними однорідними об’єктами виникають у багатьох прикладних сферах — зокрема, під час конкурсного…

#розподіл ресурсів #однорідні компоненти #взаємозалежності #аналітичний мережевий процес
10.20535/kpisn.2026.3.368158

РОЗРОБКА МЕТОДУ ФОРМАЛІЗАЦІЇ ДИНАМІЧНИХ ТЕПЛОВИХ ПОРТРЕТІВ ДЛЯ НАДІЙНОГО ВИЯВЛЕННЯ ЦІЛЕЙ

Степан Лис, Оксана Оборська

Проблематика. Автоматизовані системи спостереження з БпЛА стикаються з подвійним викликом: виявленням теплоконтрастних об'єктів у реальному часі та їх ідентифікацією в…

#тепловізійні системи #ідентифікація цілей #локалізація зони інтересу #динамічний тепловий портрет
10.20535/kpisn.2026.3.359114

Схожі статті

Ви також можете розпочати розширений пошук схожих статей для цієї статті.