ГЕНЕРУВАННЯ КОРПУСІВ ТЕКСТОВИХ ДАНИХ НА ОСНОВІ ДЕТЕРМІНОВАНОГО МЕТОДУ

Яків Олексійович Юсин; Тетяна Миколаївна Заболотня

doi:10.20535/kpisn.2021.3.240780

Т. · № 3 · 2021 гру 15, 2021 статті

ГЕНЕРУВАННЯ КОРПУСІВ ТЕКСТОВИХ ДАНИХ НА ОСНОВІ ДЕТЕРМІНОВАНОГО МЕТОДУ

ЯЮ

Яків Олексійович Юсин Відповідальний Igor Sikorsky Kyiv Polytechnic Institute, Ukraine Україна

ТЗ

Тетяна Миколаївна Заболотня Igor Sikorsky Kyiv Polytechnic Institute, Ukraine Україна

Опублікованогру 15, 2021

PDF

НВКПІ 3 ТОМ · 3

ТОМ · № 3 · 2021 Переглянути випуск

Анотація

Проблематика. Розв’язання великої кількості задач у галузі оброблення природної мови передбачає використання корпусів текстових даних, що зумовлює актуальність підготовки останніх. Їх формування на основі справжніх текстів потребує часових витрат, а також є не завжди доцільним. Тому популярності набуває автоматизоване генерування корпусів на основі різних методів й алгоритмів, що значно спрощує підготовку експериментальних даних. Мета дослідження. Збільшити кількість знаходжуваних дефектів під час тестування програмних реалізацій методів оброблення природномовних текстових даних, розробивши новий метод генерування корпусів текстових даних задля їх використання як вхідних даних для тестування. Методика реалізації. Запропоновано детермінований метод генерації корпусів текстових даних CorDeGen (від Corpora Deterministic Generation), що задовольняє такі вимоги: детермінованість; залежність на вході лише від бажаної кількості термів у корпусі, що генерується; забезпечення генерування корпусу нетривіальної структури. На основі запропонованого методу розроблено відповідний алгоритм, а також виконано програмну реалізацію на платформі .NET (мова програмування – C#). За допомогою цієї програмної реалізації оцінено швидкодію та ефективність розробленого методу. Результати дослідження. Оцінювання швидкодії розробленого методу CorDeGen показало степеневу залежність часу генерування корпусу від кількості термів (вхідного параметра) з показником степеня близьким до 1,5. У межах дослідження доцільність використання розробленого методу для тестування коректності програмних реалізацій показана на прикладі тестування методу кластеризації k-середніх. Висновки. Тестування створеного детермінованого методу генерації корпусів текстових даних довело його ефективність при тестуванні інших методів оброблення природномовних даних, як-от кластеризації, замість природних корпусів.

Ключові слова

#корпус текстових даних #генерація корпусів #оброблення природномовних даних #кластеризація даних #метод k-means #метод k-середніх

Посилання

N.S. Dash and S. Arulmozi, History, Features, and Typology of Language Corpora, Singapore: Springer, 2018, doi: 10.1007/978-981-10-7458-5.
W3-Corpora Project. (2012, February 5). Introduction: Corpus Linguistics [Online]. Available: https://www1.essex.ac.uk/linguistics/external/clmt/w3c/corpus_ling/content/introduction2.html .
Library “Chtyvo”. (2017, October 13). Corpus of Ukrainian language [Online]. Available: http://korpus.org.ua .
The UCI KDD Archive. (1999, February 16). Reuters-21578 Text Categorization Collection [Online]. Available: https://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html .
J. Lichtarge, C. Alberti, S. Kumar, N. Shazeer, N. Parmar, and S. Tong, “Corpora Generation for Grammatical Error Cor- rection,” in Proc. 2019 Conf. North American Chapter Association for Computational Linguistics: Human Language Technologies, Minneapolis, MN, 2019, pp. 3291–3301, doi: 10.18653/v1/N19-1333.
J.B. MacQueen, “Some methods for classification and analysis of multivariate observations,” in Proc Fifth Berkeley Symp. Mathematical Statistics and Probability, 1967, pp. 281–297.
Microsoft Ignite. (2019, April 12). What’s new in .NET Core 3.1 [Online]. Available: https://docs.microsoft.com/en-us/dotnet/ core/whats-new/dotnet-core-3-1.
Roslyn. (2015, January 14). The Roslyn .NET compiler [Online]. Available: https://github.com/dotnet/roslyn .
BenchmarkDotNet. (2018, January 14). Overview | BenchmarkDotNet [Online]. Available: https://benchmarkdotnet.org/articles/ overview.html.
G. Salton, A. Wong, and C. S. Yang, “A vector space model for automatic indexing,” Commun. ACM, vol. 18, no. 11, pp. 613–620, 1975, doi: 10.1145/361219.361220.
Microsoft. (2018, May 7). ML.NET [Online]. Available: https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet .
Y. Ding, Y. Zhao, X. Shen, M. Musuvathi, and T. Mytkowicz, “Yinyang K-Means: A Drop-In Replacement of the Classic K-Means with Consistent Speedup,” in Proc. 32nd Int. Conf. Machine Learning, Lille, France, 2015, pp. 579–587.

Попередня у випуску ЙМОВІРНІСНЕ МОДЕЛЮВАННЯ ОПЕРАЦІЙНИХ РИЗИКІВ Наступна у випуску ПОРІВНЯЛЬНИЙ АНАЛІЗ МОДЕЛЕЙ ГЛИБОКИХ НЕЙРОННИХ МЕРЕЖ ДЛЯ ПРОГНОЗУВАННЯ ДІАГНОЗУ COVID-19

§ 06 — Пов'язані

Схожі статті в цьому журналі

Пов'язані рецензовані дослідження, опубліковані в цьому журналі.

Усі випуски

МЕТОДИ ЗАБЕЗПЕЧЕННЯ ЦІЛІСНОСТІ ОБРОБКИ ТА ПЕРЕДАЧІ ДАНИХ У ПРОМИСЛОВИХ СИСТЕМАХ АВТОМАТИЗАЦІЇ

Ярослав Корпань, Євген Федоров, Ольга Нечипоренко

Проблематика. Сучасні промислові системи контролю характеризуються високим рівнем інтеграції інформаційних і фізичних процесів та використанням розподілених…

#промислові системи автоматизації #SCADA-системи #цілісність даних #кібербезпека ICS

10.20535/kpisn.2026.3.361520

МЕТОДИКА ПАРАМЕТРИЧНОГО СИНТЕЗУ ЗУМ-АФОКАЛЬНИХ СИСТЕМ НА ОСНОВІ НЕРУХОМИХ ВАРІОЛІНЗ

Ігор Г. Чиж

Проблематика Зум-оптичні системи, в яких використовуються механічно нерухомі електрично керовані варіолінзи, не можуть вважатися такими, що мають нерухомі оптичні…

#зум-афокальні системи #головні точки варіолінз #синтез зум-афокальних систем #стабільна афокальність зум-системи

10.20535/kpisn.2026.3.351645

МОДИФІКАЦІЯ НЕЙРОМЕРЕЖЕВОГО МЕТОДУ SPINN ДЛЯ НАБЛИЖЕНОГО РОЗВ'ЯЗАННЯ МІШАНОЇ ЗАДАЧІ ДЛЯ РІВНЯННЯ ТЕПЛОПРОВІДНОСТІ В ЕЛІПТИЧНІЙ ОБЛАСТІ

Валерій Лось, Олександр Ряхін

Проблематика. Параболічні диференціальні рівняння є математичними моделями інженерії, призначеними для дослідження широкого кола прикладних задач. Це приводить до…

#рівняння теплопровідності #мішана параболічна задача #еліптична область #фізико-інформативна нейронна мережа

10.20535/kpisn.2026.3.367316

Схожі статті

Костянтин Д. Грішин, Nadezhda Nedashkovskaya, МОДЕЛЬ МАШИННОГО НАВЧАННЯ ДЛЯ РОЗПІЗНАВАННЯ КОНФІГУРАЦІЙ РУК УКРАЇНСЬКОЇ ЖЕСТОВОЇ МОВИ , Наукові вісті КПІ: Том 143 № 2 (2026)
Павло Кость, Лариса Гліненко, МЕТОДИКА ВИБОРУ СТРУКТУРИ ПЕРЕДАВАЛЬНОГО ТРАКТУ ДЛЯ ТЕРМОЯДЕРНИХ УСТАНОВОК , Наукові вісті КПІ: Том 143 № 2 (2026)
Костянтин Бровко, Павло Буданов, Олег Великогорський, Юлія Олійник, Наталія Винокурова, Сергій Войтенко, ІМІТАЦІЙНА МОДЕЛЬ ЦИФРОВОГО ДВІЙНИКА ТЕХНОЛОГІЧНОГО ПРОЦЕСУ ЕНЕРГОБЛОКУ АЕС , Наукові вісті КПІ: Том 143 № 2 (2026)
Віталій Голубінка, АВТОНОМНА СИСТЕМА РЕКОМЕНДАЦІЇ ІНДЕКСІВ ДЛЯ РЕЛЯЦІЙНИХ БАЗ ДАНИХ НА ОСНОВІ COST-MODEL ТА PLAN COVERING , Наукові вісті КПІ: Том 143 № 2 (2026)
Дмитро Петренко, Анатолій Протасов, АЛГОРИТМ БЕЗКАРТОГРАФІЧНОЇ НАВІГАЦІЇ РОБОТА HUSKY НА ОСНОВІ МОДЕЛЕЙ ГЛИБОКОГО НАВЧАННЯ З ПІДКРІПЛЕННЯМ ТА АДАПТИВНОГО НАВЧАЛЬНОГО ПЛАНУ , Наукові вісті КПІ: Том 143 № 2 (2026)
Mykola V. Onai, Olga K. Sulema, Andrii I. Dychka, КОДУВАННЯ ДАНИХ НА ОСНОВІ ЗАСТОСУВАННЯ ТРИКОЛІРНИХ МАТРИЧНИХ ШТРИХКОДІВ , Наукові вісті КПІ: № 2 (2019)
Vadim V. Romanuke, ПРОГРАМА КОНТРОЛЮ ПОТУЖНОСТІ У ВИСХІДНОМУ НАПРЯМКУ ДЛЯ ВИРІВНЮВАННЯ ЯКОСТІ СЕРВІСУ В БЕЗПРОВОДОВИХ МЕРЕЖАХ ПЕРЕДАЧІ ДАНИХ З ОБМЕЖЕННЯМ ДО РІВНОВІДДАЛЕНИХ РІВНІВ ПОТУЖНОСТІ , Наукові вісті КПІ: № 2 (2019)
Tetiana M. Gensitska, Tetiana I. Gural, Volodymyr M. Tiagur, МЕТОД КАЛІБРУВАННЯ КУТОВИХ ПАРАМЕТРІВ СКАНЕРІВ ДИСТАНЦІЙНОГО ЗОНДУВАННЯ ЗЕМЛІ , Наукові вісті КПІ: № 1 (2019)
Vadim V. Romanuke, НАБІР ДАНИХ НЕСКІНЧЕННОГО МАСШТАБУВАННЯ ІЗ ЗОБРАЖЕНЬ У ГРАДАЦІЯХ СІРОГО З ОДНИМ БАГА¬ТО-КУТНИКОМ ЯК ШВИДКА ТЕСТОВА ПЛАТФОРМА ДЛЯ СЕМАНТИЧНОЇ СЕГМЕНТАЦІЇ ЗОБРАЖЕНЬ , Наукові вісті КПІ: № 1 (2019)
Вадим Романюк, ФОРМАЛІЗАЦІЯ РОЗРІДЖЕНОГО ANP З БІНАРНИМИ ПОРІВНЯННЯМИ НА ОСНОВІ ДАНИХ У КОЛІ ОДНОРІДНИХ КОМПОНЕНТІВ ДЛЯ ПРІОРИТИЗАЦІЇ РОЗПОДІЛУ РЕСУРСІВ , Наукові вісті КПІ: Том 144 № 3 (2026)

1-10 з 61 Наступне

Ви також можете розпочати розширений пошук схожих статей для цієї статті.

[1] N.S. Dash and S. Arulmozi, History, Features, and Typology of Language Corpora, Singapore: Springer, 2018, doi: 10.1007/978-981-10-7458-5.

[2] W3-Corpora Project. (2012, February 5). Introduction: Corpus Linguistics [Online]. Available: https://www1.essex.ac.uk/linguistics/external/clmt/w3c/corpus_ling/content/introduction2.html .

[3] Library “Chtyvo”. (2017, October 13). Corpus of Ukrainian language [Online]. Available: http://korpus.org.ua .

[4] The UCI KDD Archive. (1999, February 16). Reuters-21578 Text Categorization Collection [Online]. Available: https://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html .

[5] J. Lichtarge, C. Alberti, S. Kumar, N. Shazeer, N. Parmar, and S. Tong, “Corpora Generation for Grammatical Error Cor- rection,” in Proc. 2019 Conf. North American Chapter Association for Computational Linguistics: Human Language Technologies, Minneapolis, MN, 2019, pp. 3291–3301, doi: 10.18653/v1/N19-1333.

[6] J.B. MacQueen, “Some methods for classification and analysis of multivariate observations,” in Proc Fifth Berkeley Symp. Mathematical Statistics and Probability, 1967, pp. 281–297.

[7] Microsoft Ignite. (2019, April 12). What’s new in .NET Core 3.1 [Online]. Available: https://docs.microsoft.com/en-us/dotnet/ core/whats-new/dotnet-core-3-1.

[8] Roslyn. (2015, January 14). The Roslyn .NET compiler [Online]. Available: https://github.com/dotnet/roslyn .

[9] BenchmarkDotNet. (2018, January 14). Overview | BenchmarkDotNet [Online]. Available: https://benchmarkdotnet.org/articles/ overview.html.

[10] G. Salton, A. Wong, and C. S. Yang, “A vector space model for automatic indexing,” Commun. ACM, vol. 18, no. 11, pp. 613–620, 1975, doi: 10.1145/361219.361220.

[11] Microsoft. (2018, May 7). ML.NET [Online]. Available: https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet .

[12] Y. Ding, Y. Zhao, X. Shen, M. Musuvathi, and T. Mytkowicz, “Yinyang K-Means: A Drop-In Replacement of the Classic K-Means with Consistent Speedup,” in Proc. 32nd Int. Conf. Machine Learning, Lille, France, 2015, pp. 579–587.