Перейти до вмісту
Наукові вісті КПІ
ISSN 2617-5509 · e‑ISSN 2663-7472 Відкритий доступ · CC BY 4.0
Т. 137 · № 1-4 · 2024 гру 31, 2024 статті

Системний підхід до комбінованого використання великих мовних та класичних моделей в задачах передбачення

ВС
Володимир Савастьянов Відповідальний National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, IASA, MMSA, Ukraine Україна
МС
Михайло Столяр National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, IASA, MMSA, Ukraine Україна
Опублікованогру 31, 2024
PDF
НВКПІ 1-4 ТОМ 137 · 1-4
ТОМ 137 · № 1-4 · 2024 Переглянути випуск

Анотація

Проблематика. Великі мовні моделі (LLMs) та повʼязані з ними агенти широко застосовують у різних сферах життя та є одними з технологічних проривів за останні роки. Ці найсучасніші моделі демонструють вражаючий потенціал, але в деяких ситуаціях вони демонструють неефективність. У цій статті досліджено виявлені обмеження у конкретних галузевих сферах і на прикладах задач передбачення. Мета дослідження . У статті висвітлено можливості, які пропонують моделі на основі GPT, та зіставлено висновки із класичними методами аналізу текстових даних у задачах класифікації на прикладі методології передбачення. Метою дослідження є розроблення системного підходу до комбінованого використання традиційних підходів машинного навчання як практичної альтернативи LLMs у задачах передбачення (форсайту) на прикладі STEEP-аналізу, який дає можливість отримувати цінну інформацію із текстових даних. Методи. Це дослідження структуроване на чотири сегменти: Data Mining, передобробка тексту з використанням LLMs, передобробка тексту за допомогою класичних методів обробки природної мови (NLP) та порівняльний аналіз результатів. Data Mining включає етапи збрирання даних і попередної обробки даних для навчальних і тестових спостережень. Для використання LLMs було застосовано підходи “chains of thought” та “prompt engineering”. Результати. За результатами дослідження було встановлено, що LLMs можуть бути застосовані у комбінації із класичними методами машинного навчання для доменних специфічних сфер у STEEP-аналізі завдачах прогнозування. Результати показали, що запропонованих підхід є значно швидшим і має меншу складність порівняно з LLMs, такими як GPT і Mistral. Збільшення кількості використаних моделей приводить до більш стабільних результатів. Висновки. Основний результат роботи полягає в тому, що патерни, які виявляють LLMs за певних налаштувань, також можуть бути виявлені класичними моделями. Понад те збільшення кількості використаних LLMs на етапах обробки даних сприяє підвищенню стабільності результатів. Використання класичних моделей у комбінації з LLMs прискорить час відповіді та зменшить експлуатаційні витрати на запуск моделей.

Ключові слова

#cистемний аналіз #методологія передбачення #текстова аналітика #класифікація #LLM #NLP

Посилання

  1. Li et al. “Knowledge structure of technology licensing based on co-keywords network: A review and future directions” International Review of Economics & Finance, vol. 66, pp. 154–165, 2020. doi: 10.1016/j.iref.2019.11.007.
  2. UNIDO, UNIDO Technology Foresight Manual, vol. 1. United Nations Industrial Development Organization, Vienna (2005).
  3. European Commission. 2020. “Strategic Foresight Report – Charting the course towards a more resilient Europe”. Available online at: https://ec.europa.eu/info/strategy/priorities-2019-2024/new-push-european-democracy/strategic-foresight/2020-strategic-foresight-report_en .
  4. Shuohang Wang, Yang Liu, Yichong Xu, Chenguang Zhu and Michael Zeng, “Want To Reduce Labeling Cost? GPT-3 Can Help”, arXiv preprint arXiv.2108.13487, 2023, doi: 10.48550/arXiv.2108.13487.
  5. P. Liu, W. Yuan, J. Fu, Z. Jiang, H. Hayashi, and G. Neubig, “Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing”, ACM Computing Surveys, vol. 55, no. 9, pp. 1–35, 2023.
  6. A. B. Rosa, N. Gudowsky, P. Repo “Repo Sensemaking and lens-shaping: Identifying citizen contributions to foresight through comparative topic modelling”, Futures 129, pp. 1–15, 2021, doi: 10.1016/j.futures.2021.102733.
  7. M. Vignoli, J. Rörden, D. Wasserbacher and S Kimpeler, “An Exploration of the Potential of Machine Learning Tools for Media Analysis to Support Sense-Making Processes in Foresight”, Frontiers in Communication 7:750614, 2022. doi :10.3389/fcomm.2022.750614.
  8. N. Pankratova, V. Savastiyanov, “Assessment of situations in the field of social disasters based on the methodology of foresight and textual analytics”. Proceedings of the 2019 IEEE. Second International Conference IEEE UKRCON-2019. pp. 1207–1210, ISBN 9781728138831.
  9. Callie Y. Kim, Christine P. Lee and Bilge Mutlu, “Understanding Large-Language Model (LLM)-powered Human-Robot Interaction”, In Proceedings of the 2024 ACM/IEEE, International Conference on Human-Robot Interaction (HRI ’24). Association for Computing Machinery, New York, NY, USA, pp. 371–380, 2024, doi: 10.1145/3610977.3634966.
  10. T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell et al., “Language models are few-shot learners,” Advances in neural information processing systems, vol. 33, pp. 1877–1901, 2020.
  11. B. Zhang and H. Soh, “Large Language Models as Zero-Shot Human Models for Human-Robot Interaction”, 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Detroit, MI, USA, pp. 7961–7968, 2023, doi: 10.1109/IROS55552.2023.10341488.
  12. F. Pourpanah et al., “A Review of Generalized Zero-Shot Learning Methods”, in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 4, pp. 4051–4070, 1 April 2023, doi: 10.1109/TPAMI.2022.3191696.
  13. C. Mühlroth and M. Grottke, “Artificial Intelligence in Innovation: How to Spot Emerging Trends and Technologies”, in IEEE Transactions on Engineering Management, vol. 69, no. 2, pp. 493–510, April 2022, doi: 10.1109/TEM.2020.2989214.
  14. M. Stoliar and V. Savastiyanov, “Using LLM classification in foresight studies”: Scientific Collection “InterConf”, vol. 157, pp. 367–375, 2023.
  15. En Yu, Liang Zhao, Yana Wei, Jinrong Yang, Dongming Wu, Lingyu Kong, Haoran Wei, Tiancai Wang, Zheng Ge, Xiangyu Zhang and Wenbing Tao, “Merlin: Empowering Multimodal LLMs with Foresight Minds”, arXiv preprint arXiv:2312.00589, 2023, doi: 10.48550/arXiv.2312.00589.
  16. Y. Luo, S. Xu and C. Xie, “E-commerce Big Data Classification and Mining Algorithm based on Artificial Intelligence”, 2022 IEEE 2nd International Conference on Electronic Technology, Communication and Information (ICETCI), Changchun, China, pp. 1153–1155, 2022, doi: 10.1109/ICETCI55101.2022.9832370.
  17. Chan A., “GPT-3 and InstructGPT: technological dystopianism, utopianism, and “Contextual” perspectives in AI ethics and industry”, AI Ethics 3, pp. 53–64, 2023, doi: 10.1007/s43681-022-00148-6.
  18. Dave Wild, “Futurework – A Guidebook for The Future of Work”, Aotearoa New Zealand: Smith & Wild. 218 p., 2023, ISBN 978-0-473-66594-4.
  19. Mowafak Allaham and Nicholas Diakopoulos, “Supporting Anticipatory Governance using LLMs: Evaluating and Aligning Large Language Models with the News Media to Anticipate the Negative Impacts of AI”, arXiv preprint arXiv:2401.18028, 2024, doi: 10.48550/arXiv.2401.18028.
  20. Cambria Erik, Bebo White., “Jumping NLP curves: A review of natural language processing research”, IEEE Computational intelligence magazine 9.2, pp. 48–57, 2014, doi: 10.1109/MCI.2014.2307227.
  21. A. Jalilifard, V.F. Caridá, A.F. Mansano, R.S. Cristo, F.P.C. da Fonseca, “Semantic Sensitive TF-IDF to Determine Word Relevance in Documents”, Thampi, S.M., Gelenbe, E., Atiquzzaman, M., Chaudhary, V., Li, KC. (eds) Advances in Computing and Network Communications. Lecture Notes in Electrical Engineering, vol 736. Springer, Singapore, 2021, doi.org: 10.1007/978-981-33-6987-0_27.
  22. B. Ahmed, G. Ali, A. Hussain, A. Baseer and J. Ahmed, “Analysis of Text Feature Extractors using Deep Learning on Fake News”, Eng. Technol. Appl. Sci. Res., vol. 11, no. 2, pp. 7001–7005, Apr. 2021.
  23. Lucky Agarwal, Kartik Thakral, Gaurav Bhatt, and Ankush Mittal, “Authorship Clustering using TF-IDF weighted Word-Embeddings”, In Proceedings of the 11th Annual Meeting of the Forum for Information Retrieval Evaluation (FIRE ’19). Association for Computing Machinery, New York, NY, USA, pp. 24–29, 2019, doi: 10.1145/3368567.3368572.
  24. Fanghui Liu, Xiaolin Huang, and Jie Yang, “Indefinite Kernel Logistic Regression”, In Proceedings of the 25th ACM International Conference on Multimedia (MM ’17). Association for Computing Machinery, New York, NY, USA, pp. 846–853, 2017, doi: 10.1145/3123266.3123295
§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.
Усі випуски

МЕТОДИКА ФОРМУВАННЯ ІНФОРМАТИВНОГО ПРОСТОРУ ОЗНАК ТЕХНІЧНИХ ІНДИКАТОРІВ ФІНАНСОВИХ ПРОЦЕСІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ

Роман Тертичний, Денис Чупрін, Петро Бідюк

Проблематика. Фінансові часові ряди характеризуються нелінійністю, нестаціонарністю та високим рівнем шуму, що суттєво ускладнює їх моделювання та прогнозування.…

#методика формування інформативного простору ознак #технічні індикатори #волатильність Паркінсона #нейронні мережі
10.20535/kpisn.2026.3.359610

МЕТОДИ ЗАБЕЗПЕЧЕННЯ ЦІЛІСНОСТІ ОБРОБКИ ТА ПЕРЕДАЧІ ДАНИХ У ПРОМИСЛОВИХ СИСТЕМАХ АВТОМАТИЗАЦІЇ

Ярослав Корпань, Євген Федоров, Ольга Нечипоренко

Проблематика. Сучасні промислові системи контролю характеризуються високим рівнем інтеграції інформаційних і фізичних процесів та використанням розподілених…

#промислові системи автоматизації #SCADA-системи #цілісність даних #кібербезпека ICS
10.20535/kpisn.2026.3.361520

МЕТОДИКА ПАРАМЕТРИЧНОГО СИНТЕЗУ ЗУМ-АФОКАЛЬНИХ СИСТЕМ НА ОСНОВІ НЕРУХОМИХ ВАРІОЛІНЗ

Ігор Г. Чиж

Проблематика Зум-оптичні системи, в яких використовуються механічно нерухомі електрично керовані варіолінзи, не можуть вважатися такими, що мають нерухомі оптичні…

#зум-афокальні системи #головні точки варіолінз #синтез зум-афокальних систем #стабільна афокальність зум-системи
10.20535/kpisn.2026.3.351645

Схожі статті

1-10 з 62

Ви також можете розпочати розширений пошук схожих статей для цієї статті.