Перейти до вмісту
Наукові вісті КПІ
ISSN 2617-5509 · e‑ISSN 2663-7472 Відкритий доступ · CC BY 4.0
Т. 139 · № 2 · 2025 лип 21, 2025 статті

ЕФЕКТИВНІСТЬ МЕТОДУ TALL ARRAY У ЗНИЖЕННІ РОЗМІРНОСТІ НАБОРІВ ДАНИХ НА ОСНОВІ МЕТОДУ ГОЛОВНИХ КОМПОНЕНТІВ

ВР
Вадим Романюк Відповідальний Vinnytsia Trade and Economics Institute of the State Trade and Economics University, Vinnytsia, Ukraine Україна
Опублікованолип 21, 2025
PDF
НВКПІ 2 ТОМ 139 · 2
ТОМ 139 · № 2 · 2025 Переглянути випуск

Анотація

Проблематика. Розвідковий аналіз даних значно зростає ще з початку 2000-х років. Станом на 2025 рік більшість реальних наборів даних класифікуються як великі дані. Робочий процес аналітики великих даних включає етап попередньої обробки даних, який є початковою точкою обробки великих даних. На цьому кроці дані намагаються максимально спростити. Основною парадигмою є зниження розмірності, що дозволяє спростити та візуалізувати масиви даних великої розмірності. Метод головних компонентів (PCA) є лінійним методом зниження розмірності. PCA можна прискорити, застосувавши Tall Arrays, якщо дані зберігаються на диску. Tall Array PCA (TAPCA) обчислює головні компоненти поступово, використовуючи стратегію divide-and-conquer. Мета дослідження. Мета полягає у тому, щоб визначити, коли TAPCA фактично ефективний для зниження розмірності. Вивчаються два типи чисел — з подвійною та одинарною точністю. Методика реалізації. Для досягнення зазначеної мети генеруються випадкові великі набори даних у вигляді матриць певного числового типу. Потім вимірюється час обчислень звичайного PCA у середовищі MATLAB, застосованого до згенерованих матриць. Далі вимірюється обчислювальний час перетворення масивів (згенерованих матриць) у пам’яті у tall-масиви. Також вимірюється час обчислення TAPCA, застосованого до тих згенерованих матриць, до яких PCA застосовувався раніше. Результати дослідження. Порівняльний аналіз усередненого часу обчислень показує, що часова складність обчислень як PCA, так і TAPCA є радше поліноміальною, ніж строго квадратичною чи кубічною. Існує майже гіперболічна границя, яку альтернативно можна назвати порогом ефективності TAPCA, у площині кількості спостережень набору даних і кількості ознак набору даних, за якою TAPCA та звичайний PCA потребують приблизно однаковий час для обчислення головних компонентів. Висновки. В обчисленні головних компонентів для зниження розмірності великих наборів даних, що зберігаються на диску, метод Tall Array стає ефективним за двох паралельних процесорів, якщо набір даних містить принаймні 5...6 мільйонів записів. Метод Tall Array більш ефективний для наборів даних з подвійною точністю, де його поріг ефективності становить майже 6 мільйонів записів, тоді як поріг ефективності для наборів даних з одинарною точністю становить від 5 до 15.2 мільйонів записів

Посилання

  1. Ü. Demirbaga et al., Big Data Analytics. Theory, Techniques, Platforms, and Applications, Springer, Cham, 2024. Available: https://doi.org/10.1007/978-3-031-55639-5
  2. A. Jamarani et al., “Big data and predictive analytics: A systematic review of applications”, in Artificial Intelligence Review, 2024, vol. 57, Art. no. 176. Available: https://doi.org/10.1007/s10462-024-10811-5
  3. I. Si-ahmed et al., “Principal component analysis of multivariate spatial functional data”, in Big Data Research, 2025, vol. 39, Art. no. 100504. Available: https://doi.org/10.1016/j.bdr.2024.100504
  4. A. Meepaganithage et al., Enhanced Maritime Safety Through Deep Learning and Feature Selection, in Advances in Visual Computing. ISVC 2024. Lecture Notes in Computer Science, vol. 15047, Springer, Cham, 2025, pp. 309–321. Available: https://doi.org/10.1007/978-3-031-77389-1_24
  5. W. J. Ewens and K. Brumberg, Introductory Statistics for Data Analysis, Springer, Cham, 2023. Available: https://doi.org/10.1007/978-3-031-28189-1
  6. S. Akter and S. F. Wamba, Handbook of Big Data Research Methods, Edward Elgar Publishing, 2023. Available: https://doi.org/10.4337/9781800888555
  7. V. V. Romanuke, “Fast Kemeny consensus by searching over standard matrices distanced to the averaged expert ranking by minimal difference”, in Research Bulletin of NTUU “Kyiv Polytechnic Institute”, 2016, no. 1, pp. 58–65. Available: https://doi.org/10.20535/1810-0546.2016.1.59784
  8. J. Cao, Data Collection in the Era of Big Data, in E-Commerce Big Data Mining and Analytics. Advanced Studies in E-Commerce, Springer, Singapore, 2023, pp. 19–28. Available: https://doi.org/10.1007/978-981-99-3588-8_2
  9. W. K. Härdle et al., Principal Component Analysis, in: Applied Multivariate Statistical Analysis, Springer, Cham, 2024, pp. 309–345. Available: https://doi.org/10.1007/978-3-031-63833-6_11
  10. I. T. Jolliffe and J. Cadima, “Principal component analysis: a review and recent developments”, in Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2016, vol. 374, iss. 2065, Art. no. 20150202. Available: https://doi.org/10.1098/rsta.2015.0202
  11. A. C. Olivieri, Principal Component Analysis, in: Introduction to Multivariate Calibration, Springer, Cham, 2024, pp. 71–87. Available: https://doi.org/10.1007/978-3-031-64144-2_4
  12. V. V. Romanuke, “Speedup of the k-means algorithm for partitioning large datasets of flat points by a preliminary partition and selecting initial centroids”, in Applied Computer Systems, 2023, vol. 28, no. 1, pp. 1–12. Available: https://doi.org/10.2478/acss-2023-0001
  13. S. Ekici et al., Electricity Consumption Analysis with Matlab Tall Arrays, in 1st International Engineering and Technology Symposium (1st IETS), May 2018, Batman University, Batman, Turkey, 2018. Available: https://www.researchgate.net/publication/327987720_Electricity_Consumption_Analysis_with_Matlab_Tall_Arrays
  14. M. Paluszek and S. Thomas, Data for Machine Learning in MATLAB, in MATLAB Machine Learning Recipes, Apress, Berkeley, CA, 2024, pp. 21–48. Available: https://doi.org/10.1007/978-1-4842-9846-6_2
  15. V. V. Romanuke, “Limitation of effectiveness in using MATLAB gpuArray method for calculating products of transpose-symmetrically sized matrices”, in Herald of Khmelnytskyi national university. Technical sciences, 2015, no. 5, pp. 243–248. Available: https://elar.khmnu.edu.ua/handle/123456789/4611
  16. V. V. Romanuke, “Maximum-versus-mean absolute error in selecting criteria of time series forecasting quality”, in Bionics of intelligence, 2021, no. 1, pp. 3–9. Available: https://doi.org/10.30837/bi.2021.1(96).01
  17. C. L. Valenzuela and A. J. Jones, “Evolutionary divide and conquer (I): A novel genetic approach to the TSP”, in Evolutionary Computation, 1993, vol. 1, iss. 4, pp. 313–333. Available: https://doi.org/10.1162/evco.1993.1.4.313
  18. V. V. Romanuke, “Deep clustering of the traveling salesman problem to parallelize its solution”, in Computers & Operations Research, 2024, vol. 165, Art. no. 106548. Available: https://doi.org/10.1016/j.cor.2024.106548
  19. T. Weinzierl, Principles of Parallel Scientific Computing: A First Guide to Numerical Concepts and Programming Methods, Springer, Cham, 2021. Available: https://doi.org/10.1007/978-3-030-76194-3
  20. V. V. Romanuke, “Optimal construction of the pattern matrix for probabilistic neural networks in technical diagnostics based on expert estimations”, in Information, Computing and Intelligent Systems, 2021, no. 2, pp. 19–25. Available: https://doi.org/10.20535/2708-4930.2.2021.244186
  21. R. Han and Y. Wang, The Advance and Performance Analysis of MapReduce, in Proceedings of 2nd International Conference on Artificial Intelligence, Robotics, and Communication. ICAIRC 2022. Lecture Notes in Electrical Engineering, vol. 1063, Springer, Singapore, 2023, pp. 205–213. Available: https://doi.org/10.1007/978-981-99-4554-2_20
  22. S. Hedayati et al., “MapReduce scheduling algorithms in Hadoop: a systematic study”, in Journal of Cloud Computing, 2023, vol. 12, Art. no. 143. Available: https://doi.org/10.1186/s13677-023-00520-9
§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.
Усі випуски

МЕТОДИКА ПАРАМЕТРИЧНОГО СИНТЕЗУ ЗУМ-АФОКАЛЬНИХ СИСТЕМ НА ОСНОВІ НЕРУХОМИХ ВАРІОЛІНЗ

Ігор Г. Чиж

Проблематика Зум-оптичні системи, в яких використовуються механічно нерухомі електрично керовані варіолінзи, не можуть вважатися такими, що мають нерухомі оптичні…

#зум-афокальні системи #головні точки варіолінз #синтез зум-афокальних систем #стабільна афокальність зум-системи
10.20535/kpisn.2026.3.351645

МОДИФІКАЦІЯ НЕЙРОМЕРЕЖЕВОГО МЕТОДУ SPINN ДЛЯ НАБЛИЖЕНОГО РОЗВ'ЯЗАННЯ МІШАНОЇ ЗАДАЧІ ДЛЯ РІВНЯННЯ ТЕПЛОПРОВІДНОСТІ В ЕЛІПТИЧНІЙ ОБЛАСТІ

Валерій Лось, Олександр Ряхін

Проблематика. Параболічні диференціальні рівняння є математичними моделями інженерії, призначеними для дослідження широкого кола прикладних задач. Це приводить до…

#рівняння теплопровідності #мішана параболічна задача #еліптична область #фізико-інформативна нейронна мережа
10.20535/kpisn.2026.3.367316

ДВОЕТАПНИЙ ПІДХІД ДО СЕГМЕНТАЦІЇ СУПУТНИКОВИХ ЗНІМКІВ ДЛЯ ОЦІНЮВАННЯ ПЛОЩІ АСФАЛЬТОВАНОГО ПОКРИТТЯ ПАРКОВОК

Олександр Гончарук, Надія Недашківська

Проблематика. Точна оцінка площі асфальтованих парковок є важливою для містобудування та екологічного моніторингу. Однак спектральна подібність асфальту паркувальних…

#семантична сегментація #супутникові знімки #паркінг #нейронна мережа
10.20535/kpisn.2026.3.367540

Статті цього автора (цих авторів), які найбільше читають