ОПТИМІЗАЦІЯ LSTM-МЕРЕЖ ДЛЯ ПРОГНОЗУВАННЯ ЧАСОВИХ РЯДІВ

Вадим Васильович Романюк

doi:10.20535/kpisn.2021.3.230989

Т. · № 3 · 2021 гру 15, 2021 статті

ОПТИМІЗАЦІЯ LSTM-МЕРЕЖ ДЛЯ ПРОГНОЗУВАННЯ ЧАСОВИХ РЯДІВ

ВР

Вадим Васильович Романюк Відповідальний Polish Naval Academy, Poland Україна

Опублікованогру 15, 2021

PDF

НВКПІ 3 ТОМ · 3

ТОМ · № 3 · 2021 Переглянути випуск

Анотація

Проблематика. Нейронні LSTM-мережі є надзвичайно перспективним засобом для розвитку аналізу та прогнозування часових рядів. Однак, як і нейронні мережі для інших дисциплін та застосувань, LSTM-мережі мають низку версій архітектури, параметрів навчання і гіперпараметрів, неправильний підбір яких може призвести до неприйнятно поганої продуктивності (поганих або дуже ненадійних прогнозів). Тому питання оптимізації LSTM-мереж все ще є відкритим. Мета дослідження. Встановити, чи досягається найкраща точність прогнозування за такої кількості нейронів у LSTM-шарі, яку можна визначити за лагом часового ряду. Методика реалізації. Для досягнення поставленої мети пропонується набір контрольних часових рядів для тестування точності прогнозування. Далі визначається порядок обчислювального дослідження для різних версій LSTM-мережі. У підсумку проводиться повна візуалізація й обговорення результатів обчислювального дослідження. Результати дослідження. Найгірше прогнозуються часові ряди з лінійним трендом, а визначення розміру LSTM-шару за лагом у часовому ряді не дуже допомагає. Найкраще прогнозуються часові ряди, що мають лише повторювані випадкові підпослідовності, або сезонність, або експоненціальне зростання. При застосуванні мережі з двома LSTM-шарами точність прогнозування покращується на 15...19 % як порівняти з мережею з одним LSTM-шаром. Висновки. Приблизно найкраща точність прогнозування може бути очікувано досягнута за встановлення числа нейронів у LSTM-шарі, яке дорівнює лагу часового ряду. Однак це не гарантує найкращу точність прогнозування. LSTM-мережі для прогнозування часових рядів можуть бути оптимізовані за використання лише двох LSTM-шарів, розмір яких дорівнює лагу часового ряду. Втім, деякі розбіжності є також прийнятними. Розмір другого LSTM-шару має бути не меншим від розміру першого.

Ключові слова

#прогнозування часових рядів #LSTM-мережа #розмір LSTM-шару #точність прогнозування #середньоквадратична помилка #максимальна абсолютна похибка

Посилання

B. Schelter, M. Winterhalder, and J. Timmer, Handbook of Time Series Analysis: Recent Theoretical Developments and Applications, Wiley, 2006, doi: 10.1002/9783527609970.
V. Kotu and B. Deshpande, “Chapter 10. Time Series Forecasting”, in: Predictive Analytics and Data Mining, Kotu V. and Deshpande B., Eds. Morgan Kaufmann, 2015, pp. 305–327, doi: 10.1016/B978-0-12-801460-8.00010-0.
V. Kotu and B. Deshpande, “Chapter 12. Time Series Forecasting”, in: Data Science, 2nd ed., Kotu V. and Deshpande B., Eds. Morgan Kaufmann, 2019, pp. 395–445, doi: 10.1016/B978-0-12-814761-0.00012-5.
J. G. De Gooijer and R. J. Hyndman, “25 years of time series forecasting”, Int. J. of Forecasting, vol. 22, no. 3, pp. 443–473, 2006, doi: 10.1016/j.ijforecast.2006.01.001.
R. DiPietro and G. D. Hager, “Chapter 21. Deep learning: RNNs and LSTM”, in: Handbook of Medical Image Computing and Computer Assisted Intervention, Zhou S. K., Rueckert D., and Fichtinger G., Eds. Academic Press, 2020, pp. 503–519, doi: 10.1016/B978-0-12-816176-0.00026-0.
M. Fakhfekh and A. Jeribi, “Volatility dynamics of crypto-currencies’ returns: Evidence from asymmetric and long memory GARCH models”, Res. in Int. Bus. and Finance, vol. 51, 101075, 2020, doi: 10.1016/j.ribaf.2019.101075.
M. Sangiorgio and F. Dercole, “Robustness of LSTM neural networks for multi-step forecasting of chaotic time series”, Chaos, Solitons & Fractals, vol. 139, 110045, 2020, doi: 10.1016/j.chaos.2020.110045.
V. V. Romanuke, “Regard of parameters and quality of forecast in selecting the neural net optimal architecture for a problem of the time series neuronet forecasting”, Sci. and Econ., no. 3 (27), pp. 164–168, 2012.
G. Box et al., Time Series Analysis: Forecasting and Control, Prentice Hall, Englewood Cliffs, NJ, 1994.
V. V. Romanuke, “Decision making criteria hybridization for finding optimal decisions’ subset regarding changes of the decision function”, J. of Uncertain Syst., vol. 12, no. 4, pp. 279–291, 2018.
R. Kneusel, Random Numbers and Computers, Springer International Publishing, 2018, doi: 10.1007/978-3-319-77697-2.
V. V. Romanuke, “Time series smoothing and downsampling for improving forecasting accuracy”, Appl. Comput. Syst., vol. 26, no. 1, pp. 60–70, 2021, doi: 10.2478/acss-2021-0008
R. E. Edwards, Functional Analysis. Theory and Applications, Hold, Rinehart and Winston, 1965.
V. V. Romanuke, “Wind speed distribution direct approximation by accumulative statistics of measurements and root-meansquare deviation control”, Elect., Control and Commun. Eng., vol. 16, no. 2, pp. 65–71, 2020, doi: 10.2478/ecce-2020-0010.
F. C. Pereira and S. S. Borysov, “Machine Learning Fundamentals”, in: Mobility Patterns, Big Data and Transport Analytics, Antoniou C., Dimitriou L., and Pereira F., Eds., Elsevier, 2019, pp. 9–29. doi: 10.1016/B978-0-12-812970-8.00002-6.
J.-T. Chien, “Deep Neural Network”, in: Source Separation and Machine Learning, Chien J.-T., Ed., Academic Press, 2019, pp. 259–320. doi 10.1016/B978-0-12-804566-4.00019-X.

Попередня у випуску МАСОВІДДАЧА ЗА ПРОТИТЕЧІЇ ПЛІВКИ РІДИНИ ТА ГАЗУ У ВЕРТИКАЛЬНІЙ ТРУБІ Наступна у випуску ЙМОВІРНІСНЕ МОДЕЛЮВАННЯ ОПЕРАЦІЙНИХ РИЗИКІВ

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

ДВОЕТАПНИЙ ПІДХІД ДО СЕГМЕНТАЦІЇ СУПУТНИКОВИХ ЗНІМКІВ ДЛЯ ОЦІНЮВАННЯ ПЛОЩІ АСФАЛЬТОВАНОГО ПОКРИТТЯ ПАРКОВОК

Олександр Гончарук, Надія Недашківська

Проблематика. Точна оцінка площі асфальтованих парковок є важливою для містобудування та екологічного моніторингу. Однак спектральна подібність асфальту паркувальних…

#семантична сегментація #супутникові знімки #паркінг #нейронна мережа

10.20535/kpisn.2026.3.367540

ФОРМАЛІЗАЦІЯ РОЗРІДЖЕНОГО ANP З БІНАРНИМИ ПОРІВНЯННЯМИ НА ОСНОВІ ДАНИХ У КОЛІ ОДНОРІДНИХ КОМПОНЕНТІВ ДЛЯ ПРІОРИТИЗАЦІЇ РОЗПОДІЛУ РЕСУРСІВ

Вадим Романюк

Проблематика. Задачі розподілу обмежених ресурсів між взаємозалежними однорідними об’єктами виникають у багатьох прикладних сферах — зокрема, під час конкурсного…

#розподіл ресурсів #однорідні компоненти #взаємозалежності #аналітичний мережевий процес

10.20535/kpisn.2026.3.368158

РОЗРОБКА МЕТОДУ ФОРМАЛІЗАЦІЇ ДИНАМІЧНИХ ТЕПЛОВИХ ПОРТРЕТІВ ДЛЯ НАДІЙНОГО ВИЯВЛЕННЯ ЦІЛЕЙ

Степан Лис, Оксана Оборська

Проблематика. Автоматизовані системи спостереження з БпЛА стикаються з подвійним викликом: виявленням теплоконтрастних об'єктів у реальному часі та їх ідентифікацією в…

#тепловізійні системи #ідентифікація цілей #локалізація зони інтересу #динамічний тепловий портрет

10.20535/kpisn.2026.3.359114

Статті цього автора (цих авторів), які найбільше читають

Схожі статті

Костянтин Д. Грішин, Nadezhda Nedashkovskaya, МОДЕЛЬ МАШИННОГО НАВЧАННЯ ДЛЯ РОЗПІЗНАВАННЯ КОНФІГУРАЦІЙ РУК УКРАЇНСЬКОЇ ЖЕСТОВОЇ МОВИ , Наукові вісті КПІ: Том 143 № 2 (2026)
Віталій Голубінка, АВТОНОМНА СИСТЕМА РЕКОМЕНДАЦІЇ ІНДЕКСІВ ДЛЯ РЕЛЯЦІЙНИХ БАЗ ДАНИХ НА ОСНОВІ COST-MODEL ТА PLAN COVERING , Наукові вісті КПІ: Том 143 № 2 (2026)
Костянтин Бровко, Павло Буданов, Олег Великогорський, Юлія Олійник, Наталія Винокурова, Сергій Войтенко, ІМІТАЦІЙНА МОДЕЛЬ ЦИФРОВОГО ДВІЙНИКА ТЕХНОЛОГІЧНОГО ПРОЦЕСУ ЕНЕРГОБЛОКУ АЕС , Наукові вісті КПІ: Том 143 № 2 (2026)
Євген Панкратов, Григорій Тимчик, МІКРОСЕРВІСНА АРХІТЕКТУРА ТА АЛГОРИТМИ МОДУЛЬНОЇ СИСТЕМИ АВТОМАТИЗАЦІЇ ТЕХНОЛОГІЧНИХ ПРОЦЕСІВ МАЛОГО БІЗНЕСУ , Наукові вісті КПІ: Том 143 № 2 (2026)
Дмитро Петренко, Анатолій Протасов, АЛГОРИТМ БЕЗКАРТОГРАФІЧНОЇ НАВІГАЦІЇ РОБОТА HUSKY НА ОСНОВІ МОДЕЛЕЙ ГЛИБОКОГО НАВЧАННЯ З ПІДКРІПЛЕННЯМ ТА АДАПТИВНОГО НАВЧАЛЬНОГО ПЛАНУ , Наукові вісті КПІ: Том 143 № 2 (2026)
Павло Кость, Лариса Гліненко, МЕТОДИКА ВИБОРУ СТРУКТУРИ ПЕРЕДАВАЛЬНОГО ТРАКТУ ДЛЯ ТЕРМОЯДЕРНИХ УСТАНОВОК , Наукові вісті КПІ: Том 143 № 2 (2026)
Валерій Лось, Олександр Ряхін, МОДИФІКАЦІЯ НЕЙРОМЕРЕЖЕВОГО МЕТОДУ SPINN ДЛЯ НАБЛИЖЕНОГО РОЗВ'ЯЗАННЯ МІШАНОЇ ЗАДАЧІ ДЛЯ РІВНЯННЯ ТЕПЛОПРОВІДНОСТІ В ЕЛІПТИЧНІЙ ОБЛАСТІ , Наукові вісті КПІ: Том 144 № 3 (2026)
Vadim V. Romanuke, ПРОГРАМА КОНТРОЛЮ ПОТУЖНОСТІ У ВИСХІДНОМУ НАПРЯМКУ ДЛЯ ВИРІВНЮВАННЯ ЯКОСТІ СЕРВІСУ В БЕЗПРОВОДОВИХ МЕРЕЖАХ ПЕРЕДАЧІ ДАНИХ З ОБМЕЖЕННЯМ ДО РІВНОВІДДАЛЕНИХ РІВНІВ ПОТУЖНОСТІ , Наукові вісті КПІ: № 2 (2019)
Vadim V. Romanuke, ТОЧНІСТЬ ЕВРИСТИКИ ДЛЯ МІНІМІЗАЦІЇ ЗАГАЛЬНОГО ЗВАЖЕНОГО ЧАСУ ЗАВЕРШЕННЯ В ОДНОМАШИННІЙ ЗАДАЧІ ПЛАНУВАННЯ З ПЕРЕМИКАННЯМИ БЕЗ ІНТЕРВАЛІВ ПРОСТОЮ , Наукові вісті КПІ: № 3 (2019)
Yana O. Smirnova, Ievgen V. Solodkyi, Iryna M. Huriia, Petro I. Loboda, КІНЕТИКА ФОРМУВАННЯ ПЕРЕХІДНОГО ШАРУ ПРИ ВЗАЄМОДІЇ Ti-TiB З РІДКИМ АЛЮМІНІЄМ , Наукові вісті КПІ: № 2 (2019)

1-10 з 38 Наступне

Ви також можете розпочати розширений пошук схожих статей для цієї статті.

[1] B. Schelter, M. Winterhalder, and J. Timmer, Handbook of Time Series Analysis: Recent Theoretical Developments and Applications, Wiley, 2006, doi: 10.1002/9783527609970.

[2] V. Kotu and B. Deshpande, “Chapter 10. Time Series Forecasting”, in: Predictive Analytics and Data Mining, Kotu V. and Deshpande B., Eds. Morgan Kaufmann, 2015, pp. 305–327, doi: 10.1016/B978-0-12-801460-8.00010-0.

[3] V. Kotu and B. Deshpande, “Chapter 12. Time Series Forecasting”, in: Data Science, 2nd ed., Kotu V. and Deshpande B., Eds. Morgan Kaufmann, 2019, pp. 395–445, doi: 10.1016/B978-0-12-814761-0.00012-5.

[4] J. G. De Gooijer and R. J. Hyndman, “25 years of time series forecasting”, Int. J. of Forecasting, vol. 22, no. 3, pp. 443–473, 2006, doi: 10.1016/j.ijforecast.2006.01.001.

[5] R. DiPietro and G. D. Hager, “Chapter 21. Deep learning: RNNs and LSTM”, in: Handbook of Medical Image Computing and Computer Assisted Intervention, Zhou S. K., Rueckert D., and Fichtinger G., Eds. Academic Press, 2020, pp. 503–519, doi: 10.1016/B978-0-12-816176-0.00026-0.

[6] M. Fakhfekh and A. Jeribi, “Volatility dynamics of crypto-currencies’ returns: Evidence from asymmetric and long memory GARCH models”, Res. in Int. Bus. and Finance, vol. 51, 101075, 2020, doi: 10.1016/j.ribaf.2019.101075.

[7] M. Sangiorgio and F. Dercole, “Robustness of LSTM neural networks for multi-step forecasting of chaotic time series”, Chaos, Solitons & Fractals, vol. 139, 110045, 2020, doi: 10.1016/j.chaos.2020.110045.

[8] V. V. Romanuke, “Regard of parameters and quality of forecast in selecting the neural net optimal architecture for a problem of the time series neuronet forecasting”, Sci. and Econ., no. 3 (27), pp. 164–168, 2012.

[9] G. Box et al., Time Series Analysis: Forecasting and Control, Prentice Hall, Englewood Cliffs, NJ, 1994.

[10] V. V. Romanuke, “Decision making criteria hybridization for finding optimal decisions’ subset regarding changes of the decision function”, J. of Uncertain Syst., vol. 12, no. 4, pp. 279–291, 2018.

[11] R. Kneusel, Random Numbers and Computers, Springer International Publishing, 2018, doi: 10.1007/978-3-319-77697-2.

[12] V. V. Romanuke, “Time series smoothing and downsampling for improving forecasting accuracy”, Appl. Comput. Syst., vol. 26, no. 1, pp. 60–70, 2021, doi: 10.2478/acss-2021-0008

[13] R. E. Edwards, Functional Analysis. Theory and Applications, Hold, Rinehart and Winston, 1965.

[14] V. V. Romanuke, “Wind speed distribution direct approximation by accumulative statistics of measurements and root-meansquare deviation control”, Elect., Control and Commun. Eng., vol. 16, no. 2, pp. 65–71, 2020, doi: 10.2478/ecce-2020-0010.

[15] F. C. Pereira and S. S. Borysov, “Machine Learning Fundamentals”, in: Mobility Patterns, Big Data and Transport Analytics, Antoniou C., Dimitriou L., and Pereira F., Eds., Elsevier, 2019, pp. 9–29. doi: 10.1016/B978-0-12-812970-8.00002-6.

[16] J.-T. Chien, “Deep Neural Network”, in: Source Separation and Machine Learning, Chien J.-T., Ed., Academic Press, 2019, pp. 259–320. doi 10.1016/B978-0-12-804566-4.00019-X.