Ієрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображень

Максим Олександрович Ярошенко; Антон Юрійович Варфоломєєв; Петро Олексійович Яганов

doi:10.20535/2523-4455.mea.230603

Т. 26 · № 1 · 2021 кві 29, 2021 Електронні системи та сигнали

Ієрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображень

МЯ

Максим Олександрович Ярошенко Відповідальний Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського»,https://ror.org/00syn5v21 Україна

АВ

Антон Юрійович Варфоломєєв Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського» Україна

ПЯ

Петро Олексійович Яганов Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського» Україна

Сторінки230603-1 - 230603-7 Опублікованокві 29, 2021

PDF

ТОМ 26 · № 1 · 2021 Переглянути випуск

Анотація

Через відносно високу ціну інфрачервоних сенсорів існує необхідність у методах обробки інфрачервоних зображень, отриманих із недорогих ІЧ-камер, які б підвищували їхню роздільну здатність. Одним з напрямків таких методів є надроздільна здатність (SR – Super Resolution) на основі згорткових нейронних мереж (CNN – Convolutional Neural Network), що активно розвивається останнє десятиріччя. Однак більшість існуючих нейронних SR-мереж створено для збільшення роздільної здатності зображень у видимому спектрі. В цьому ж дослідженні на інфрачервоних зображеннях перевірено працездатність однієї з кращих мереж для збільшення роздільної здатності зображень у видимому спектрі – BCLSR, та запропоновано власну мережу, яка є швидшою та точніше відновлює (збільшує) роздільну здатність вхідних зображень.

Ключові слова

#підвищення роздільної здатності зображень #згорткові нейронні мережі #рекурентні нейронні мережі #інфрачервоні зображення

Посилання

E. Mandanici, L. Tavasci, F. Corsini and e. al., "A multi-image super-resolution algorithm applied to thermal imagery," Appl. Geomat., vol. 11, p. 215–228, 2019. DOI: https://doi.org/10.1007/s12518-019-00253-y .
"ULTRAMAX – The Ultimate Resolution," [Online]. Available: https://www.flirmedia.com/MMC/THG/Brochures/IND_023/IND_023_EN.pdf . [Accessed 05 02 2021].
"MicroScan significantly increases the geometrical resolution capability of the ImageIR® camera series," [Online]. Available: https://www.ndt.net/search/docs.php3?id=21250&content=1 . [Accessed 03 01 2021].
"FLIR MSX Multi-Spectral Dynamic Imaging," [Online]. Available: https://www.tequipment.net/FlirMSXMulti-SpectralDynamicImaging.html . [Accessed 03 01 2021].
S. Liu, Y. Yang, Q. Li, H. Feng, Z. Xu and Y. Chen, "Infrared Image Super Resolution Using GAN With Infrared Image Prior," in 2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP), Wuxi, China, 2019. DOI: https://doi.org/10.1109/SIPROCESS.2019.8868566 .
C. Dong, C. C. Loy, K. He and X. Tang, "Image Super-Resolution Using Deep Convolutional Networks," IEEE Transactions on Pattern Analysis & Machine Intelligence (TPAMI), vol. 38, no. 2, pp. 295-307, 2014. DOI: https://doi.org/10.1109/TPAMI.2015.2439281 .
J. Kim, J. K. Lee and K. M. Lee, "Accurate Image Super-Resolution Using Very Deep Convolutional Networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.182
W. Shi, J. Caballero, F. Huszár, J. Totz, A. P. Aitken and R. Bishop, "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.207 .
C. Ledig et al., "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. DOI: https://doi.org/10.1109/CVPR.2017.19 .
Y. Choi, N. Kim, S. Hwang and I. S. Kweon, "Thermal image enhancement using convolutional neural network," in 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea (South), 2016. DOI: https://doi.org/10.1109/IROS.2016.7759059 .
R. E. Rivadeneira, P. L. Suárez, A. D. Sappa and B. X. Vintimilla, "Thermal Image SuperResolution Through Deep Convolutional Neural Network," Image Analysis and Recognition. ICIAR 2019. Lecture Notes in Computer Science, vol. 11663, 2019. DOI: https://doi.org/10.1007/978-3-030-27272-2_37 .
K. Lee, J. Lee, J. Lee, S. Hwang and S. Lee, "Brightness-based convolutional neural network for thermal image enhancement," IEEE Access, vol. 5, pp. 26867-26879, 2017. DOI: https://doi.org/10.1109/ACCESS.2017.2769687 .
Y. Chang and B. Luo, "Bidirectional Convolutional LSTM Neural Network for Remote Sensing Image Super-Resolution," Remote Sens., vol. 11, no. 2333, 2019. DOI: https://doi.org/10.3390/rs11202333 .
K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.90 .
M. S. M. Sajjadi, R. Vemulapalli and M. Brown, "Frame-Recurrent Video Super-Resolution," in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00693 .
A. Graves and J. Schmidhuber, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures," Neural Networks, vol. 18, no. (5–6), p. 602–610, 2005. DOI: https://doi.org/10.1016/j.neunet.2005.06.042 .
X. Shi, Z. Chen, H. Wang, D.-Y. Yeung, W.-k. Wong and W.-c. Woo, "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting," in NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems, 2015.
Z. Wojna, V. Ferrari, S. Guadarrama, N. Silberman, L.-C. Chen, A. Fathi and J. Uijlings, "The Devil is in the Decoder: Classification, Regression and GANs," International Journal of Computer Vision (IJCV), vol. 127, p. 1694–1706, 2019. DOI: https://doi.org/10.1007/s11263-019-01170-8 .
C. Szegedy, S. Ioffe, V. Vanhoucke and A. Alemi, "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning," in AAAI'17: Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.
"CVC-14: Visible-FIR Day-Night Pedestrian Sequence Dataset," [Online]. Available: http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/ . [Accessed 04 02 2021].
L. N. Smith, "A disciplined approach to neural network hyper-parameters: Part 1 - learning rate, batch size, momentum, and weight decay," CoRR, arXiv: https://arxiv.org/abs/1803.09820

Попередня у випуску Перша вибіркова ентропія як функція стану системи розосередженої генерації Наступна у випуску Особливості роботи імпульсних регуляторів в режимі передавання максимальної потужності

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

Квазістатична ідентифікація структури затінення сонячних панелей за методом векторів кардинальних чисел

PhD, доц. Олена Олегівна Абакумова, д-р техн. наук, проф. Валерій Якович Жуйков, Микола О. Лук'янов

У статті розглянуто проблему ідентифікації структури затінення сонячних панелей. Актуальність дослідження зумовлена необхідністю швидкої та адекватної реконфігурації…

#Сонячні панелі #Фотоелектрична поверхня #Моделювання структури тіней #Квазістатична ідентифікація

с. 362283.1-362283.7

10.20535/2523-4455.mea.362283

Імітаційне моделювання фільтро-компенсаційного перетворювача для трифазної трипровідної мережі

Іван Андрійович Вакуленко, канд. техн. наук, доц. Дмитро Анатолійович Миколаєць, канд. техн. наук, доц. Катерина Сергіївна Клен

У цій статті розглядається критична проблема погіршення якості електроенергії в сучасних енергосистемах, спричинена поширенням нелінійних навантажень. Такі навантаження…

#фільтр-компенсаційний перетворювач #трифазна трипровідна мережа #якість електроенергії #повне гармонійне спотворення

с. 361138.1-361138.6

10.20535/2523-4455.mea.361138

Комплексний метод виділення неінвазивного сигналу фетальної електрокардіограми та класифікації серцевих аритмій

Дмитро А. Шевчук, канд. техн. наук, доц. Наталія Георгіївна Іванушкіна

Стаття присвячена розробці комплексного методу виділення фетального електрокардіосигналу (ФЕКГ) з неінвазивних абдомінальних записів та подальшої автоматизованої…

#абдомінальні електрокардіограми #фетальна електрокардіограма #аритмія #сліпе розділення джерел

с. 356487.1-356487.11

10.20535/2523-4455.mea.356487

Статті цього автора (цих авторів), які найбільше читають

Олег В. Кужильний, Тимофій А. Ходнєв, Антон Юрійович Варфоломєєв, Ігор Всеволодович Михайленко, Засоби та методики оцінки ефективності передавання відеопотоку на основі технології GigE Vision з використанням процесору загального призначення , Мікросистеми, Електроніка та Акустика: Том 26 № 3 (2021)

Схожі статті

Anton Volodymyrovych Mnevets, Nataliia Heorhiivna Ivanushkina, Моделі сіамських нейронних мереж для класифікації серцевих аритмій за умов нестачі тренувальних ЕКГ сигналів , Мікросистеми, Електроніка та Акустика: Том 30 № 2 (2025)
Анастасія Володимирівна Паренюк, PhD Дмитро Володимирович Паренюк, PhD, дослідник Катерина Л. Руденька, Практичний метод оцінювання безпечних звуків для осіб із ПТСР , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Mikhail O. Bezuglyi, Natalia V. Bezuglaya, Andrii V. Nahornyi, Контроль оптичного просвітлення шкіри людини методом еліпсоїдальних рефлекторів , Мікросистеми, Електроніка та Акустика: Том 24 № 2 (2019)
Ivan-Viacheslav Oleksanrovych Serhiienko, Застосування методу активної компенсації хроматичної дисперсії для підвищення пропускної здатності волоконно-оптичного лінійного тракту , Мікросистеми, Електроніка та Акустика: Том 22 № 5 (2017)
Іван Андрійович Вакуленко, канд. техн. наук, доц. Дмитро Анатолійович Миколаєць, канд. техн. наук, доц. Катерина Сергіївна Клен, Імітаційне моделювання фільтро-компенсаційного перетворювача для трифазної трипровідної мережі , Мікросистеми, Електроніка та Акустика: Том 31 № 2 (2026)
Volodymyr Semenovych Lazebnyi, Chengliang Yin, Оцінювання ймовірнісних процесів у безпроводових мережах стандарту 802.11 , Мікросистеми, Електроніка та Акустика: Том 22 № 5 (2017)
Maksym Serhiiovych Fil, Dnys Yurevych Lebeddev, Leonid Mykolaiovych Pavlov, Підвищення стійкості цифрового телебачення до перешкод , Мікросистеми, Електроніка та Акустика: Том 24 № 5 (2019)
Andrii Volodymyrovych Osinsky, Andrii Volodymyrovych Diahiliev, Oleksandr Vasylovych Borysov, Nataliia Mykolaivna Liakhova, Marat Serhiiovych Onachenko, Nina Olehivna Sukhovii, Ihor Vitaliiovych Masol, Volodymyr Ivanovych Osinsky, Рекордна ефективність сонячних батарей на варізонних трінітрідах квантових енесторів-зоністорів , Мікросистеми, Електроніка та Акустика: Том 23 № 5 (2018)
Mykola Fedorovych Zhovnir, Вимірювальний перетворювач кутових переміщень з використанням фазових набігань електричного поля поверхневих акустичних хвиль , Мікросистеми, Електроніка та Акустика: Том 22 № 5 (2017)
Oleksandr Viktorovich Machulianskyi, Оптичні властивості наночастинок нікелю в системах зі статистично неоднорідною структурою , Мікросистеми, Електроніка та Акустика: Том 23 № 1 (2018)

1-10 з 33 Наступне

Ви також можете розпочати розширений пошук схожих статей для цієї статті.

[1] E. Mandanici, L. Tavasci, F. Corsini and e. al., "A multi-image super-resolution algorithm applied to thermal imagery," Appl. Geomat., vol. 11, p. 215–228, 2019. DOI: https://doi.org/10.1007/s12518-019-00253-y .

[2] "ULTRAMAX – The Ultimate Resolution," [Online]. Available: https://www.flirmedia.com/MMC/THG/Brochures/IND_023/IND_023_EN.pdf . [Accessed 05 02 2021].

[3] "MicroScan significantly increases the geometrical resolution capability of the ImageIR® camera series," [Online]. Available: https://www.ndt.net/search/docs.php3?id=21250&content=1 . [Accessed 03 01 2021].

[4] "FLIR MSX Multi-Spectral Dynamic Imaging," [Online]. Available: https://www.tequipment.net/FlirMSXMulti-SpectralDynamicImaging.html . [Accessed 03 01 2021].

[5] S. Liu, Y. Yang, Q. Li, H. Feng, Z. Xu and Y. Chen, "Infrared Image Super Resolution Using GAN With Infrared Image Prior," in 2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP), Wuxi, China, 2019. DOI: https://doi.org/10.1109/SIPROCESS.2019.8868566 .

[6] C. Dong, C. C. Loy, K. He and X. Tang, "Image Super-Resolution Using Deep Convolutional Networks," IEEE Transactions on Pattern Analysis & Machine Intelligence (TPAMI), vol. 38, no. 2, pp. 295-307, 2014. DOI: https://doi.org/10.1109/TPAMI.2015.2439281 .

[7] J. Kim, J. K. Lee and K. M. Lee, "Accurate Image Super-Resolution Using Very Deep Convolutional Networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.182

[8] W. Shi, J. Caballero, F. Huszár, J. Totz, A. P. Aitken and R. Bishop, "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.207 .

[9] C. Ledig et al., "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. DOI: https://doi.org/10.1109/CVPR.2017.19 .

[10] Y. Choi, N. Kim, S. Hwang and I. S. Kweon, "Thermal image enhancement using convolutional neural network," in 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea (South), 2016. DOI: https://doi.org/10.1109/IROS.2016.7759059 .

[11] R. E. Rivadeneira, P. L. Suárez, A. D. Sappa and B. X. Vintimilla, "Thermal Image SuperResolution Through Deep Convolutional Neural Network," Image Analysis and Recognition. ICIAR 2019. Lecture Notes in Computer Science, vol. 11663, 2019. DOI: https://doi.org/10.1007/978-3-030-27272-2_37 .

[12] K. Lee, J. Lee, J. Lee, S. Hwang and S. Lee, "Brightness-based convolutional neural network for thermal image enhancement," IEEE Access, vol. 5, pp. 26867-26879, 2017. DOI: https://doi.org/10.1109/ACCESS.2017.2769687 .

[13] Y. Chang and B. Luo, "Bidirectional Convolutional LSTM Neural Network for Remote Sensing Image Super-Resolution," Remote Sens., vol. 11, no. 2333, 2019. DOI: https://doi.org/10.3390/rs11202333 .

[14] K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. DOI: https://doi.org/10.1109/CVPR.2016.90 .

[15] M. S. M. Sajjadi, R. Vemulapalli and M. Brown, "Frame-Recurrent Video Super-Resolution," in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00693 .

[16] A. Graves and J. Schmidhuber, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures," Neural Networks, vol. 18, no. (5–6), p. 602–610, 2005. DOI: https://doi.org/10.1016/j.neunet.2005.06.042 .

[17] X. Shi, Z. Chen, H. Wang, D.-Y. Yeung, W.-k. Wong and W.-c. Woo, "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting," in NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems, 2015.

[18] Z. Wojna, V. Ferrari, S. Guadarrama, N. Silberman, L.-C. Chen, A. Fathi and J. Uijlings, "The Devil is in the Decoder: Classification, Regression and GANs," International Journal of Computer Vision (IJCV), vol. 127, p. 1694–1706, 2019. DOI: https://doi.org/10.1007/s11263-019-01170-8 .

[19] C. Szegedy, S. Ioffe, V. Vanhoucke and A. Alemi, "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning," in AAAI'17: Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[20] "CVC-14: Visible-FIR Day-Night Pedestrian Sequence Dataset," [Online]. Available: http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/ . [Accessed 04 02 2021].

[21] L. N. Smith, "A disciplined approach to neural network hyper-parameters: Part 1 - learning rate, batch size, momentum, and weight decay," CoRR, arXiv: https://arxiv.org/abs/1803.09820