ТРАНСФОРМЕР І МАМБА ДЛЯ КЛАСИФІКАЦІЇ РАКУ ШКІРИ: ПОПЕРЕДНІ РЕЗУЛЬТАТИ

Владислав Нікітін; Валерій Данілов

doi:10.20535/kpisn.2024.1-4.301028

Т. 137 · № 1-4 · 2024 гру 31, 2024 статті

ТРАНСФОРМЕР І МАМБА ДЛЯ КЛАСИФІКАЦІЇ РАКУ ШКІРИ: ПОПЕРЕДНІ РЕЗУЛЬТАТИ

ВН

Владислав Нікітін Відповідальний National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, IASA, Department of Artificial Intelligence (AI), Ukraine Україна

ВД

Валерій Данілов National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, IASA, Department of Artificial Intelligence (AI)І, Ukraine Україна

Опублікованогру 31, 2024

PDF

НВКПІ 1-4 ТОМ 137 · 1-4

ТОМ 137 · № 1-4 · 2024 Переглянути випуск

Анотація

Проблематика . Рак шкіри — це смертельна хвороба, що забирає десятки тисяч життів кожного року. Ключовою частиною успішного лікування є раннє виявлення. Однак, інвазійні методи діагностики не завжди є оптимальними. В тей же час, Трансформери, моделі, що найбільше застосовуються для задач на сьогодні, продовжуть бути такими, які вимагають складних обчислень. В цій статті ми досліджуємо модель Мамба, для класифікації раку шкіри порівнюючи її з Трансформерами. Мета дослідження . Ця стаття порівнює еффективність двух архітектур магинного навчання, Зорового Трансформера та Мамба, для класифікації раку шкіри на дерматоскопічних зображеннях. Ціллю є визначити чи Мамба може бути такою обчислювально ефективною альтернативою до Зорового Трансформера, що не знижує точності дігностики. Методика реалізації . Ми використали HAM10000. Це відомий набір якісних даних, що містить 10015 дерматоскопічних зображень. Ми попередньо обробили дані для вирішення таких проблем як незбалансованість класів та нормалізація зображень. Обидві використані архітектури були попередньо натреновані на наборі даних ImageNet та донавчені для класифікації раку шкіри. Для оцінки моделей ми використовували точність і F1 рейтинг деяких класів раку шкіри. Результати дослідження . Результати показали, що обидві моделі мають подібні результати загальної точності, але Мамба дещо краще справляється з класами як хвороба Боуена та дерматофіброма. Обидві моделі показали високі результати в класифікації меланоми, демонстроючи свою ефективність в діагностиці цього небезпечного типу раку шкіри. Висновки . Наше дослідження показує життєздатність ідея використувувати Мамбу замість Зорового Трансформера для вирішення задачі, так як моделі показали схожу ефективність, в той час як Мамба є більш обчислювально оптимальною. Застосування цієї моделі може зробити діагностику раку шкіри за допомогою методів машинного навчання більш доступною. Тим не менш, щоб дослідити інші варіації моделі потрібні додаткові експерименти.

Посилання

World Cancer Research Fund International, "Skin cancer statistics," 2022. [Online]. Available: https://www.wcrf.org/cancer-trends/skin-cancer-statistics/ . [Accessed: 28-Mar-2024].
A. F. Jerant, J. T. Johnson, C. D. Sheridan, and T. J. Caffrey, "Early detection and treatment of skin cancer," Am. Fam. Physician, vol. 62, no. 2, pp. 357-368, Jul. 2000. [Online]. Available: https://www.aafp.org/pubs/afp/issues/2000/0715/p357.html . [Accessed: 28-Mar-2024].
A. Dosovitskiy et al., "An image is worth 16x16 words: Transformers for image recognition at scale," arXiv preprint arXiv:2010.11929v2, 2020. [Online]. Available: https://doi.org/10.48550/arXiv.2010.11929 . [Accessed: 28-Mar-2024].
V. Nikitin and N. Shapoval, "Vision Transformer for Skin Cancer Classification," Scientific Collection «InterConf+», no. 33(155), May 2023, pp. 449-60. [Online]. Available: https://doi.org/10.51582/interconf.19-20.05.2023.039 . [Accessed: 28-Mar-2024].
G. Yang, S. Luo, and P. A. Greer, "A Novel Vision Transformer Model for Skin Cancer Classification," Neural Process. Lett., vol. 55, pp. 9335-9351, 2023. [Online]. Available: https://doi.org/10.1007/s11063-023-11204-5 . [Accessed: 28-Mar-2024].
C. Xin et al., "An improved transformer network for skin cancer classification," Comput. Biol. Med., vol. 149, p. 105939, 2022. [Online]. Available: https://doi.org/10.1016/j.compbiomed.2022.105939 . [Accessed: 28-Mar-2024].
A. Gu and T. Dao, "Mamba: Linear-time sequence modeling with selective state spaces," arXiv preprint arXiv:2312.00752, 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2312.00752 . [Accessed: 28-Mar-2024].
A. Vaswani et al., "Attention is all you need," arXiv preprint arXiv:1706.03762, 2017. [Online]. Available: https://doi.org/10.48550/arXiv.1706.03762 . [Accessed: 28-Mar-2024].
F. D. Keles, P. M. Wijewardena, and C. Hegde, "On the computational complexity of self-attention," arXiv.org, 2022. [Online]. Available: https://doi.org/10.48550/arXiv.2209.04881 . [Accessed: 28-Mar-2024].
A. Gu, K. Goel, and C. Ré, "Efficiently modeling long sequences with structured state spaces," arXiv.org, 2022. [Online]. Available: https://doi.org/10.48550/arXiv.2111.00396 . [Accessed: 28-Mar-2024].
Y. Liu et al., "Vmamba: Visual state space model," arXiv preprint arXiv:2401.10166, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2401.10166 . [Accessed: 28-Mar-2024].
L. Zhu et al., "Vision mamba: Efficient visual representation learning with bidirectional state space model," arXiv preprint arXiv:2401.09417, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2401.09417 . [Accessed: 28-Mar-2024].
P. Tschandl, C. Rosendahl, and H. Kittler, "The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions," Sci. Data, vol. 5, 180161, 2018. [Online]. Available: https://doi.org/10.1038/sdata.2018.161 . [Accessed: 28-Mar-2024].

Попередня у випуску ІНФОРМАЦІЙНА СИСТЕМА ДЛЯ ПРОГНОЗУВАННЯ НЕЛІНІЙНИХ НЕСТАЦІОНАРНИХ ПРОЦЕСІВ У ФІНАНСАХ Наступна у випуску Системний підхід до комбінованого використання великих мовних та класичних моделей в задачах передбачення

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

МЕТОДИКА ФОРМУВАННЯ ІНФОРМАТИВНОГО ПРОСТОРУ ОЗНАК ТЕХНІЧНИХ ІНДИКАТОРІВ ФІНАНСОВИХ ПРОЦЕСІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ

Роман Тертичний, Денис Чупрін, Петро Бідюк

Проблематика. Фінансові часові ряди характеризуються нелінійністю, нестаціонарністю та високим рівнем шуму, що суттєво ускладнює їх моделювання та прогнозування.…

#методика формування інформативного простору ознак #технічні індикатори #волатильність Паркінсона #нейронні мережі

10.20535/kpisn.2026.3.359610

МЕТОДИ ЗАБЕЗПЕЧЕННЯ ЦІЛІСНОСТІ ОБРОБКИ ТА ПЕРЕДАЧІ ДАНИХ У ПРОМИСЛОВИХ СИСТЕМАХ АВТОМАТИЗАЦІЇ

Ярослав Корпань, Євген Федоров, Ольга Нечипоренко

Проблематика. Сучасні промислові системи контролю характеризуються високим рівнем інтеграції інформаційних і фізичних процесів та використанням розподілених…

#промислові системи автоматизації #SCADA-системи #цілісність даних #кібербезпека ICS

10.20535/kpisn.2026.3.361520

МЕТОДИКА ПАРАМЕТРИЧНОГО СИНТЕЗУ ЗУМ-АФОКАЛЬНИХ СИСТЕМ НА ОСНОВІ НЕРУХОМИХ ВАРІОЛІНЗ

Ігор Г. Чиж

Проблематика Зум-оптичні системи, в яких використовуються механічно нерухомі електрично керовані варіолінзи, не можуть вважатися такими, що мають нерухомі оптичні…

#зум-афокальні системи #головні точки варіолінз #синтез зум-афокальних систем #стабільна афокальність зум-системи

10.20535/kpisn.2026.3.351645

Статті цього автора (цих авторів), які найбільше читають

Владислав Нікітін, Валерій Данилов, МОДЕЛЬ ГЛИБОКОГО НАВЧАННЯ ДЛЯ КЛАСИФІКАЦІЇ МЕЛАНОМИ, ПОКРАЩЕНА ЗА ДОПОМОГОЮ ФРАКТАЛЬНОЇ РОЗМІРНОСТІ , Наукові вісті КПІ: Том 141 № 4 (2025)

[1] World Cancer Research Fund International, "Skin cancer statistics," 2022. [Online]. Available: https://www.wcrf.org/cancer-trends/skin-cancer-statistics/ . [Accessed: 28-Mar-2024].

[2] A. F. Jerant, J. T. Johnson, C. D. Sheridan, and T. J. Caffrey, "Early detection and treatment of skin cancer," Am. Fam. Physician, vol. 62, no. 2, pp. 357-368, Jul. 2000. [Online]. Available: https://www.aafp.org/pubs/afp/issues/2000/0715/p357.html . [Accessed: 28-Mar-2024].

[3] A. Dosovitskiy et al., "An image is worth 16x16 words: Transformers for image recognition at scale," arXiv preprint arXiv:2010.11929v2, 2020. [Online]. Available: https://doi.org/10.48550/arXiv.2010.11929 . [Accessed: 28-Mar-2024].

[4] V. Nikitin and N. Shapoval, "Vision Transformer for Skin Cancer Classification," Scientific Collection «InterConf+», no. 33(155), May 2023, pp. 449-60. [Online]. Available: https://doi.org/10.51582/interconf.19-20.05.2023.039 . [Accessed: 28-Mar-2024].

[5] G. Yang, S. Luo, and P. A. Greer, "A Novel Vision Transformer Model for Skin Cancer Classification," Neural Process. Lett., vol. 55, pp. 9335-9351, 2023. [Online]. Available: https://doi.org/10.1007/s11063-023-11204-5 . [Accessed: 28-Mar-2024].

[6] C. Xin et al., "An improved transformer network for skin cancer classification," Comput. Biol. Med., vol. 149, p. 105939, 2022. [Online]. Available: https://doi.org/10.1016/j.compbiomed.2022.105939 . [Accessed: 28-Mar-2024].

[7] A. Gu and T. Dao, "Mamba: Linear-time sequence modeling with selective state spaces," arXiv preprint arXiv:2312.00752, 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2312.00752 . [Accessed: 28-Mar-2024].

[8] A. Vaswani et al., "Attention is all you need," arXiv preprint arXiv:1706.03762, 2017. [Online]. Available: https://doi.org/10.48550/arXiv.1706.03762 . [Accessed: 28-Mar-2024].

[9] F. D. Keles, P. M. Wijewardena, and C. Hegde, "On the computational complexity of self-attention," arXiv.org, 2022. [Online]. Available: https://doi.org/10.48550/arXiv.2209.04881 . [Accessed: 28-Mar-2024].

[10] A. Gu, K. Goel, and C. Ré, "Efficiently modeling long sequences with structured state spaces," arXiv.org, 2022. [Online]. Available: https://doi.org/10.48550/arXiv.2111.00396 . [Accessed: 28-Mar-2024].

[11] Y. Liu et al., "Vmamba: Visual state space model," arXiv preprint arXiv:2401.10166, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2401.10166 . [Accessed: 28-Mar-2024].

[12] L. Zhu et al., "Vision mamba: Efficient visual representation learning with bidirectional state space model," arXiv preprint arXiv:2401.09417, 2024. [Online]. Available: https://doi.org/10.48550/arXiv.2401.09417 . [Accessed: 28-Mar-2024].

[13] P. Tschandl, C. Rosendahl, and H. Kittler, "The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions," Sci. Data, vol. 5, 180161, 2018. [Online]. Available: https://doi.org/10.1038/sdata.2018.161 . [Accessed: 28-Mar-2024].