Үлкен тілдік модельдер: жұмыс істеу принципі және білім берудегі қолданылуы

Аннотация

Соңғы жылдары жасанды интеллект саласында үлкен тілдік модельдер (LLM) ерекше орын алып отыр. Мақалада тілдік модельдердің n-граммнан Transformer архитектурасына дейінгі даму жолы, зейін (attention) механизмінің жұмыс принципі, модельдерді оқыту кезеңдері қарастырылған. Сонымен қатар информатиканы оқытуда үлкен тілдік модельдерді қолданудың мүмкіндіктері мен тәуекелдері талданып, оларды тиімді әрі саналы пайдалану бойынша ұсыныстар берілген.

References

1. Russell S., Norvig P. Artificial Intelligence: A Modern Approach. 4th ed. – Hoboken: Pearson, 2020. – 1136 p.
2. Jurafsky D., Martin J.H. Speech and Language Processing (3rd ed. draft) [Электронный ресурс]. URL: https://web.stanford.edu/~jurafsky/slp3/ (дата обращения: 11.11.2026).
3. Vaswani A., Shazeer N., Parmar N. et al. Attention Is All You Need // Advances in Neural Information Processing Systems 30 (NIPS 2017). – 2017. – P. 5998–6008.
4. Radford A., Narasimhan K., Salimans T., Sutskever I. Improving Language Understanding by Generative Pre-Training. – San Francisco: OpenAI, 2018.
5. Radford A., Wu J., Child R. et al. Language Models are Unsupervised Multitask Learners. – San Francisco: OpenAI, 2019.
6. Brown T.B., Mann B., Ryder N. et al. Language Models are Few-Shot Learners // Advances in Neural Information Processing Systems 33 (NeurIPS 2020). – 2020. – P. 1877–1901.
7. Ouyang L., Wu J., Jiang X. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems 35 (NeurIPS 2022). – 2022. – P. 27730–27744.
8. Kasneci E., Sessler K., Küchemann S. et al. ChatGPT for good? On opportunities and challenges of large language models for education // Learning and Individual Differences. – 2023. – Vol. 103. – Art. 102274.
9. Bender E.M., Gebru T., McMillan-Major A., Shmitchell S. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? // Proceedings of FAccT '21. – 2021. – P. 610–623.

How to cite

Дулат К.И. Үлкен тілдік модельдер: жұмыс істеу принципі және білім берудегі қолданылуы // Central Asian Scientific Journal. – 2026. – №4(32), Т. 2. – Б. 219–222.