WHY AI-GENERATED CODE FAILS A BENCHMARK: A FAILURE ANALYSIS OF THREE OPEN LANGUAGE MODELS ON 30 HUMANEVAL+ TASKS

Abstract

Many people now write programs by asking a language model for the code and running what it returns. Benchmarks such as HumanEval+ are meant to show how often such code actually works. I gave the first 30 tasks of HumanEval+ to three open models, Qwen3.8 27B, gpt-oss-120b and Cohere North Mini Code, in five runs, and recorded for every failed task why it failed. In the first scoring, the pass counts ranged from 4 to 29 out of 30, and Qwen passed 24 tasks at the default temperature but 29 at temperature 0. Re-checking the saved answers showed that most of these failures were not in the code's logic. Of 35 failed checks, 8 happened because the answer relied on an import line or a helper function that was in the task prompt but not in the answer, 22 because the code was wrapped in markdown fences, 2 because the answer was cut off at the token limit, and 1 was a check that failed once and passed when it was repeated. Only 2 failures, one for gpt-oss-120b and one for North Mini Code, were real logic errors. When the same 30 saved answers of Qwen were scored together with the prompt, the result changed from 24 to 30 out of 30 (exact McNemar test, p = 0.031). After the scoring was made the same for all runs, the models passed 29 or 30 tasks each, and no difference between models or temperatures could be seen. For small benchmark studies like this one, the way the answer is taken out of the model's reply and scored can matter more than the choice of model.

Keywords: large language models, code generation, HumanEval+, benchmark evaluation, reproducibility, failure analysis

Аннотация

ПОЧЕМУ КОД, НАПИСАННЫЙ ИИ, НЕ ПРОХОДИТ БЕНЧМАРК: АНАЛИЗ ОШИБОК ТРЁХ ОТКРЫТЫХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА 30 ЗАДАЧАХ HUMANEVAL+

Сегодня многие пишут программы, попросив языковую модель сгенерировать код и запуская то, что она вернула. Бенчмарки вроде HumanEval+ должны показывать, как часто такой код действительно работает. Первые 30 задач HumanEval+ были даны трём открытым моделям — Qwen3.8 27B, gpt-oss-120b и Cohere North Mini Code — в пяти прогонах, и для каждой невыполненной задачи записана причина неудачи. При первой оценке число пройденных задач составило от 4 до 29 из 30, а Qwen прошла 24 задачи при температуре по умолчанию и 29 при температуре 0. Повторная проверка сохранённых ответов показала, что большинство неудач не связано с логикой кода. Из 35 неудачных проверок 8 произошли потому, что ответ опирался на строку импорта или вспомогательную функцию, которые были в условии задачи, но не в ответе, 22 — потому что код был обёрнут в разметку markdown, 2 — потому что ответ обрезан по лимиту токенов, и 1 проверка не прошла один раз, но прошла при повторе. Лишь 2 неудачи — по одной у gpt-oss-120b и North Mini Code — были настоящими логическими ошибками. Когда те же 30 сохранённых ответов Qwen оценили вместе с условием задачи, результат изменился с 24 до 30 из 30 (точный тест Мак-Немара, p = 0,031). После того как оценка была унифицирована для всех прогонов, модели прошли по 29 или 30 задач, и различий между моделями или температурами не обнаружено. В небольших исследованиях бенчмарков, подобных этому, способ извлечения ответа из реплики модели и его оценки может значить больше, чем выбор модели.

Ключевые слова: большие языковые модели, генерация кода, HumanEval+, оценка на бенчмарках, воспроизводимость, анализ ошибок

Аңдатпа

НЕГЕ ЖИ ЖАЗҒАН КОД БЕНЧМАРКТАН ӨТПЕЙДІ: ҮШ АШЫҚ ТІЛДІК МОДЕЛЬДІҢ 30 HUMANEVAL+ ТАПСЫРМАСЫНДАҒЫ ҚАТЕЛЕРІН ТАЛДАУ

Қазір көптеген адамдар тілдік модельден код сұрап, ол қайтарған нәтижені іске қосу арқылы бағдарлама жазады. HumanEval+ сияқты бенчмарктер мұндай кодтың шын мәнінде қаншалықты жиі жұмыс істейтінін көрсетуге арналған. HumanEval+ жинағының алғашқы 30 тапсырмасы үш ашық модельге — Qwen3.8 27B, gpt-oss-120b және Cohere North Mini Code — бес рет берілді және орындалмаған әр тапсырма үшін сәтсіздік себебі тіркелді. Алғашқы бағалауда өткен тапсырмалар саны 30-дың 4-тен 29-ына дейін болды, ал Qwen әдепкі температурада 24, ал 0 температурада 29 тапсырмадан өтті. Сақталған жауаптарды қайта тексеру сәтсіздіктердің көбі кодтың логикасымен байланысты емес екенін көрсетті. 35 сәтсіз тексерудің 8-і жауап тапсырма шартында болған, бірақ жауапта жоқ импорт жолына немесе көмекші функцияға сүйенгендіктен, 22-сі код markdown белгілеуіне оралғандықтан, 2-еуі жауап токен шегінде үзілгендіктен болды, ал 1 тексеру бір рет өтпей, қайталағанда өтті. Тек 2 сәтсіздік — gpt-oss-120b және North Mini Code модельдерінде біреуден — нақты логикалық қателер болды. Qwen-нің сол 30 сақталған жауабы тапсырма шартымен бірге бағаланғанда нәтиже 30-дың 24-інен 30-ына өзгерді (Мак-Немардың дәл тесті, p = 0,031). Барлық іске қосулар үшін бағалау бірізді етілгеннен кейін модельдер 29 немесе 30 тапсырмадан өтті және модельдер мен температуралар арасында айырмашылық байқалмады. Мұндай шағын бенчмарк зерттеулерінде жауапты модель репликасынан алу және бағалау тәсілі модельді таңдаудан да маңыздырақ болуы мүмкін.

Түйін сөздер: үлкен тілдік модельдер, код генерациясы, HumanEval+, бенчмарк бойынша бағалау, қайталанымдылық, қателерді талдау

References

1. Sarkar, A., & Drosos, I. (2025). Vibe coding: Programming through conversation with artificial intelligence. arXiv preprint arXiv:2506.23253. https://doi.org/10.48550/arXiv.2506.23253
2. Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. de O., Kaplan, J., ... Zaremba, W. (2021). Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374. https://doi.org/10.48550/arXiv.2107.03374
3. Austin, J., Odena, A., Nye, M., Bosma, M., Michalewski, H., Dohan, D., ... Sutton, C. (2021). Program synthesis with large language models. arXiv preprint arXiv:2108.07732. https://doi.org/10.48550/arXiv.2108.07732
4. Liu, J., Xia, C. S., Wang, Y., & Zhang, L. (2023). Is your code generated by ChatGPT really correct? Rigorous evaluation of large language models for code generation. In Advances in Neural Information Processing Systems 36 (NeurIPS 2023) (pp. 21558-21572). https://doi.org/10.52202/075280-0943
5. Biderman, S., Schoelkopf, H., Sutawika, L., Gao, L., Tow, J., Abbasi, B., ... Zou, A. (2024). Lessons from the trenches on reproducible evaluation of language models. arXiv preprint arXiv:2405.14782. https://doi.org/10.48550/arXiv.2405.14782
6. Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2023). Quantifying language models' sensitivity to spurious features in prompt design or: How I learned to start worrying about prompt formatting. arXiv preprint arXiv:2310.11324. https://doi.org/10.48550/arXiv.2310.11324
7. Ouyang, S., Zhang, J. M., Harman, M., & Wang, M. (2025). An empirical study of the non-determinism of ChatGPT in code generation. ACM Transactions on Software Engineering and Methodology, 34(2), 1-28. https://doi.org/10.1145/3697010
8. Atil, B., Aykent, S., Chittams, A., Fu, L., Passonneau, R. J., Radcliffe, E., ... Baldwin, B. (2024). Non-determinism of "deterministic" LLM settings. arXiv preprint arXiv:2408.04667. https://doi.org/10.48550/arXiv.2408.04667
9. Miller, E. (2024). Adding error bars to evals: A statistical approach to language model evaluations. arXiv preprint arXiv:2411.00640. https://doi.org/10.48550/arXiv.2411.00640
10. Blackwell, R. E., Barry, J., & Cohn, A. G. (2024). Towards reproducible LLM evaluation: Quantifying uncertainty in LLM benchmark scores. arXiv preprint arXiv:2410.03492. https://doi.org/10.48550/arXiv.2410.03492
11. OpenRouter. (n.d.). Qwen: Qwen3.8 27B [model page]. Retrieved September 26, 2026, from https://openrouter.ai/qwen/qwen3.8-27b
12. OpenAI. (2025). gpt-oss-120b & gpt-oss-20b model card. arXiv preprint arXiv:2508.10925. https://doi.org/10.48550/arXiv.2508.10925
13. OpenRouter. (n.d.). Cohere: North Mini Code [model page]. Retrieved September 26, 2026, from https://openrouter.ai/cohere/north-mini-code
14. Groq. (n.d.). API reference: Chat completions. Retrieved September 26, 2026, from https://console.groq.com/docs/api-reference
15. Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212. https://doi.org/10.1080/01621459.1927.10502953
16. McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157. https://doi.org/10.1007/BF02295996

How to cite

Azamatuly Y. WHY AI-GENERATED CODE FAILS A BENCHMARK: A FAILURE ANALYSIS OF THREE OPEN LANGUAGE MODELS ON 30 HUMANEVAL+ TASKS // Central Asian Scientific Journal. – 2026. – No. 4(32), Vol. 1. – Pp. 197–205.