Морфологически ориентированная методика тематического моделирования казахоязычной поэзии: проектирование исследования на материале произведений М. Макатаева

Аннотация

В статье предложена методика тематического моделирования поэтических текстов на казахском языке, учитывающая агглютинативную морфологию языка и специфику стихотворной формы. На материале произведений Мукагали Макатаева описаны принципы формирования и верификации корпуса, схема разбиения текстов на документы, пять сценариев лингвистической предобработки (от базовой токенизации до морфологической лемматизации с выделением устойчивых словосочетаний), а также способы векторизации для моделей LDA, NMF и BERTopic. Обосновано, почему перплексия не может служить основным критерием сравнения моделей, построенных на разных словарях, и предложен интегральный критерий выбора числа тем, объединяющий когерентность C_v, NPMI, разнообразие тем и устойчивость решения. Представлена модульная архитектура программного решения для анализа и визуализации результатов. Методика может применяться к корпусам других казахских авторов.

Ключевые слова: тематическое моделирование, казахский язык, М. Макатаев, лемматизация, LDA, BERTopic, когерентность тем, перплексия, цифровые гуманитарные исследования

References

1. Абишева С.Д., Саметова Ж.Ш. Мұқағали Мақатаевтың балаларға арналған шығармаларының поэтикалық ерекшеліктері // Ясауи университетінің хабаршысы. – 2023. – № 1 (127). – С. 22–34. – DOI: 10.47526/2023-1/2664-0686.02.
2. Blei D.M., Ng A.Y., Jordan M.I. Latent Dirichlet Allocation // Journal of Machine Learning Research. – 2003. – Vol. 3. – P. 993–1022.
3. Jockers M.L., Mimno D. Significant themes in 19th-century literature // Poetics. – 2013. – Vol. 41, No. 6. – P. 750–769.
4. Navarro-Colorado B. On poetic topic modeling: extracting themes and motifs from a corpus of Spanish poetry // Frontiers in Digital Humanities. – 2018. – Vol. 5. – Art. 15.
5. Akanova A. [et al.] Development of a thematic and neural network model for data learning // Eastern-European Journal of Enterprise Technologies. – 2022. – DOI: 10.15587/1729-4061.2022.263421.
6. Akanova A. [et al.] Neurocomputer system of semantic analysis of the text in the Kazakh language // ACM Transactions on Asian and Low-Resource Language Information Processing. – 2024. – DOI: 10.1145/3652159.
7. Porter M.F. An algorithm for suffix stripping // Program. – 1980. – Vol. 14, No. 3. – P. 130–137.
8. Washington J., Salimzyanov I., Tyers F. Finite-state morphological transducers for three Kypchak languages // Proceedings of LREC 2014. – Reykjavik, 2014. – P. 3378–3385.
9. Kessikbayeva G., Cicekli I. Rule based morphological analyzer of Kazakh language // Proceedings of the 2014 Joint Meeting of SIGMORPHON and SIGFSM. – Baltimore, 2014. – P. 46–54.
10. Qi P., Zhang Y., Zhang Y., Bolton J., Manning C.D. Stanza: a Python natural language processing toolkit for many human languages // Proceedings of ACL 2020: System Demonstrations. – 2020. – P. 101–108.
11. Lee D.D., Seung H.S. Learning the parts of objects by non-negative matrix factorization // Nature. – 1999. – Vol. 401. – P. 788–791.
12. Grootendorst M. BERTopic: neural topic modeling with a class-based TF-IDF procedure // arXiv preprint. – 2022. – arXiv:2203.05794.
13. Feng F., Yang Y., Cer D., Arivazhagan N., Wang W. Language-agnostic BERT sentence embedding // Proceedings of ACL 2022. – 2022. – P. 878–891.
14. Vorontsov K., Potapenko A. Additive regularization of topic models // Machine Learning. – 2015. – Vol. 101. – P. 303–323.
15. Wallach H.M., Murray I., Salakhutdinov R., Mimno D. Evaluation methods for topic models // Proceedings of ICML 2009. – 2009. – P. 1105–1112.
16. Chang J., Gerrish S., Wang C., Boyd-Graber J., Blei D.M. Reading tea leaves: how humans interpret topic models // Advances in Neural Information Processing Systems 22. – 2009. – P. 288–296.
17. Newman D., Lau J.H., Grieser K., Baldwin T. Automatic evaluation of topic coherence // Proceedings of NAACL HLT 2010. – 2010. – P. 100–108.
18. Mimno D., Wallach H., Talley E., Leenders M., McCallum A. Optimizing semantic coherence in topic models // Proceedings of EMNLP 2011. – 2011. – P. 262–272.
19. Röder M., Both A., Hinneburg A. Exploring the space of topic coherence measures // Proceedings of WSDM 2015. – 2015. – P. 399–408.
20. Makhambetov O., Makazhanov A., Yessenbayev Zh., Matkarimov B., Sabyrgaliyev I., Sharafudinov A. Assembling the Kazakh Language Corpus // Proceedings of EMNLP 2013. – 2013. – P. 1022–1031.
21. Hoyle A., Goel P., Hian-Cheong A., Peskov D., Boyd-Graber J., Resnik P. Is automated topic model evaluation broken? The incoherence of coherence // Advances in Neural Information Processing Systems 34. – 2021.
22. Dieng A.B., Ruiz F.J.R., Blei D.M. Topic modeling in embedding spaces // Transactions of the Association for Computational Linguistics. – 2020. – Vol. 8. – P. 439–453.
23. Řehůřek R., Sojka P. Software framework for topic modelling with large corpora // Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks. – Valletta, 2010. – P. 45–50.
24. Sievert C., Shirley K. LDAvis: a method for visualizing and interpreting topics // Proceedings of the Workshop on Interactive Language Learning, Visualization, and Interfaces. – 2014. – P. 63–70.

How to cite

Сәрсембай Қ.Д. Морфологически ориентированная методика тематического моделирования казахоязычной поэзии: проектирование исследования на материале произведений М. Макатаева // Central Asian Scientific Journal. – 2026. – №4(32), Т. 2. – С. 79–86. – DOI: 10.5281/zenodo.23771572.