ВЛИЯНИЕ AI-ИНСТРУМЕНТОВ АВТОДОПОЛНЕНИЯ КОДА НА ПРОИЗВОДИТЕЛЬНОСТЬ И КАЧЕСТВО РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ: ОБЗОР ЭМПИРИЧЕСКИХ ИССЛЕДОВАНИЙ Северо-Кавказский федеральный университет, г. Ставрополь, Россия Аннотация. В статье представлен обзор эмпирических исследований, посвящённых влиянию AI-инструментов автодополнения кода (GitHub Copilot и аналогичных решений на основе больших языковых моделей) на производительность разработчиков программного обеспечения и качество получаемого кода. Рассмотрены результаты контролируемых экспериментов, промышленных кейс-стади и лонгитюдных наблюдений, демонстрирующие как значительный прирост скорости выполнения задач, так и риски, связанные со снижением качества и безопасности сгенерированного кода. Проведён критический анализ методологических ограничений существующих исследований, обозначены направления, требующие дальнейшего изучения — в частности, сравнительный анализ современных инструментов нового поколения (агентных ассистентов, работающих на уровне всего проекта, а не отдельной строки кода). Ключевые слова: искусственный интеллект, автодополнение кода, GitHub Copilot, большие языковые модели, производительность разработки, качество кода, безопасность кода. Введение С момента публичного релиза GitHub Copilot в 2021 году AI- инструменты автодополнения кода на основе больших языковых моделей (LLM) стали неотъемлемой частью повседневной практики многих разработчиков программного обеспечения. Одновременно с ростом популярности таких инструментов формируется и растущий корпус эмпирических исследований, пытающихся ответить на два взаимосвязанных, но не тождественных вопроса: насколько AI-ассистенты действительно повышают производительность разработки, и какой ценой — с точки зрения качества и безопасности получаемого кода — это достигается. Цель настоящего обзора — систематизировать результаты ключевых эмпирических работ по обоим направлениям и обозначить методологические ограничения, характерные для текущего состояния исследований. Методология обзора Отбор источников проводился по научной базе arXiv, публикациям исследовательских подразделений компаний (Microsoft Research, GitHub) и рецензируемым изданиям (IEEE Transactions on Dependable and Secure Computing). Приоритет отдавался работам, содержащим количественные метрики (время выполнения задач, доля принятых предложений, число выявленных дефектов), а не только качественным/опросным данным. В обзор включены как работы, посвящённые производительности, так и работы, посвящённые качеству и безопасности кода, что позволяет избежать одностороннего представления темы, характерного для многих индустриальных публикаций. Влияние на производительность разработки Наиболее цитируемым контролируемым экспериментом в этой области остаётся исследование Microsoft Research: разработчикам предлагалось реализовать HTTP-сервер на JavaScript максимально быстро, часть участников имела доступ к GitHub Copilot. Группа с доступом к инструменту справилась с задачей на 55,8% быстрее контрольной группы [1]. Похожая величина эффекта — 55% — была получена в собственном контролируемом эксперименте GitHub на выборке из 95 профессиональных разработчиков, писавших HTTP-сервер на Jav * aScript: группа с доступом к Copilot справилась в среднем за 1 час 11 минут против 2 часов 41 минуты у контрольной группы [6]. В корпоративной среде эффект оказывается более умеренным: шестинедельный эксперимент в ANZ Bank (свыше 5000 инженеров, из них около 1000 — активных пользователей Copilot к моменту исследования) зафиксировал заметный прирост продуктивности и качества кода при использовании инструмента, тогда как влияние на безопасность кода осталось неоднозначным [5]. Отдельный класс данных — метрики принятия предложений (acceptance rate). В исследовании на выборке более 400 разработчиков компании ZoomInfo средняя доля принятых предложений составила 33% (20% в пересчёте на строки кода), при уровне удовлетворённости инструментом 72% [3]. Схожие показатели были получены и в независимых исследованиях, что говорит об устойчивости этой метрики между организациями [4]. При этом опросные данные самой GitHub (свыше 2000 респондентов) демонстрируют не только количественный, но и качественный эффект: 73% опрошенных отметили, что инструмент помогает сохранять состояние потока, а 87% — что он снижает когнитивную нагрузку на рутинных задачах [6]. Методологические ограничения измерения продуктивности Не все данные столь однозначны. Лонгитюдное исследование в норвежской государственной IT-организации NAV, основанное на анализе более 26 тысяч коммитов за двухлетний период, не выявило статистически значимых изменений в активности разработчиков по объективным метрикам на основе коммитов после внедрения Copilot, несмотря на положительное восприятие инструмента в опросах и интервью [2]. Авторы также отмечают, что пользователи Copilot были более активны ещё до начала использования инструмента — это указывает на возможный эффект самоотбора (self-selection bias), когда более продуктивные разработчики охотнее осваивают новые инструменты, а не наоборот. Это расхождение между самоотчётами о продуктивности и объективными поведенческими метриками — существенное методологическое ограничение большей части исследований в данной области: контролируемые лабораторные эксперименты хорошо изолируют причинный эффект, но плохо отражают сложность реальной разработки, тогда как полевые наблюдения страдают от смешивающих факторов [2]. Влияние на качество и безопасность кода Прирост скорости не означает автоматического сохранения качества. Одна из ранних работ, посвящённых сравнению Copilot с практикой парного программирования, показала, что использование инструмента увеличивает объём написанного кода, но одновременно снижает его качество [7]. Более поздний количественный анализ вывода пяти современных LLM (включая Claude Sonnet и GPT-4o) на 4 442 заданиях по программированию на Java с использованием статического анализатора SonarQube показал, что даже функционально корректный сгенерированный код систематически содержит дефекты — от предупреждений уровня code smell до критических уязвимостей, таких как захардкоженные учётные данные [8]. Крупномасштабный анализ общедоступных репозиториев GitHub, содержащих код, сгенерированный различными AI-инструментами, выявил, что около 12% файлов содержат уязвимости, сопоставимые с классификацией CWE, при этом уровень риска существенно зависит от языка программирования: для Python он оказался заметно выше (16,18– 18,50%), чем для JavaScript (8,66–8,99%) и тем более TypeScript (2,50– 7,14%) [9]. Показательно и то, что ни один инструмент не продемонстрировал стабильно лучшую безопасность во всех языках одновременно — например, GitHub Copilot показал лучшую плотность безопасности для Python и TypeScript, тогда как для JavaScript более безопасный код чаще генерировал ChatGPT [9]. Дополнительный фактор, отмечаемый в литературе — формулировка запроса к модели существенно влияет на безопасность результата: в одном из экспериментов явное указание на необходимость безопасной реализации почти полностью устраняло уязвимость, воспроизводимую при нейтральной формулировке того же задания [10]. Это подчёркивает роль пользователя (разработчика) как активного участника процесса, а не пассивного потребителя генерируемого кода. Обсуждение Сопоставление рассмотренных исследований показывает, что эффект AI-инструментов автодополнения кода нельзя свести к единственному выводу «повышают производительность» или «снижают качество» — оба эффекта присутствуют одновременно и в существенной степени зависят от контекста применения: языка программирования, опыта разработчика, формулировки запроса и наличия последующей проверки (code review, статический анализ). Практическим следствием для организаций, внедряющих подобные инструменты, представляется необходимость сохранения — а не ослабления — практик статического анализа и код- ревью как компенсирующего механизма, а не избыточной меры [8; 9]. Отдельного внимания заслуживает методологический разрыв между большинством цитируемых исследований и текущим состоянием рынка инструментов: подавляющее большинство эмпирических работ анализирует GitHub Copilot версий 2022–2024 годов как классический инструмент построчного автодополнения, тогда как современные агентные ассистенты (работающие на уровне всего проекта, с доступом к файловой системе и возможностью выполнения многошаговых задач) представляют качественно иной класс инструментов, для которого сопоставимых по строгости сравнительных исследований на момент написания статьи существенно меньше. Выводы Обзор эмпирических исследований показывает, что AI-инструменты автодополнения кода демонстрируют статистически значимый и воспроизводимый эффект на скорость выполнения типовых задач разработки — от 33 до 55% в зависимости от условий эксперимента, — однако этот эффект неоднороден между опытными уровнями разработчиков и не всегда подтверждается объективными поведенческими метриками в долгосрочной перспективе. Одновременно с этим растёт корпус исследований, фиксирующих системные риски для качества и безопасности генерируемого кода, зависящие от языка программирования и формулировки запроса. Направлением для дальнейших исследований представляется сравнительный анализ современных агентных AI- инструментов разработки по единой методологии, сопоставимой с уже проведёнными исследованиями классических инструментов автодополнения. Список литературы 1. Peng S., Kalliamvakou E., Cihon P., Demirer M. The Impact of AI on Developer Productivity: Evidence from GitHub Copilot // Microsoft Research / arXiv:2302.06590, февраль 2023. URL: https://www.microsoft.com/en-us/research/publication/the-impact-of-ai-on- developer-productivity-evidence-from-github-copilot/ (дата обращения: 03.09.2026). 2. Stray V., Brandtzæg E. G., Wivestad V. T., Barbala A., Moe N. B. Developer Productivity With and Without GitHub Copilot: A Longitudinal Mixed-Methods Case Study // arXiv:2509.20353, 2026. URL: https://arxiv.org/abs/2509.20353 (дата обращения: 03.09.2026). 3. Bakal G., Dasdan A., Katz Y., Kaufman M., Levin G. Experience with GitHub Copilot for Developer Productivity at Zoominfo // arXiv:2501.13282, январь 2025. URL: https://arxiv.org/abs/2501.13282 (дата обращения: 03.09.2026). 4. Brandebusemeyer C., Zunic K., Zimmermann T., Schimmer T., Arnrich B. Developers' Experience with Generative AI Beyond Productivity Assessment — Insights from an Empirical Mixed-Methods Field Study // arXiv:2607.02337, 2026. URL: https://arxiv.org/abs/2607.02337 (дата обращения: 03.09.2026). 5. Chatterjee S., Liu C. L., Rowland G., Hogarth T. The Impact of AI Tool on Engineering at ANZ Bank: An Empirical Study on GitHub Copilot within Corporate Environment // arXiv:2402.05636, февраль 2024. URL: https://arxiv.org/abs/2402.05636 (дата обращения: 03.09.2026). 6. Kalliamvakou E. Research: quantifying GitHub Copilot's impact on developer productivity and happiness // The GitHub Blog, сентябрь 2022 (обновлено май 2024). URL: https://github.blog/news-insights/research/research-quantifying- github-copilots-impact-on-developer-productivity-and-happiness/ (дата обращения: 03.09.2026). 7. Mastropaolo A., Pascarella L., Guglielmi E., Ciniselli M., Scalabrino S., Oliveto R., Bavota G. On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot // arXiv:2302.00438, февраль 2023. URL: https://arxiv.org/pdf/2302.00438 (дата обращения: 03.09.2026). 8. Sabra A., Schmitt O., Tyler J. Assessing the Quality and Security of AI- Generated Code: A Quantitative Analysis // arXiv:2508.14727, август 2025. URL: https://arxiv.org/abs/2508.14727 (дата обращения: 03.09.2026). 9. Schreiber M., Tippe P. Security Vulnerabilities in AI-Generated Code: A Large-Scale Analysis of Public GitHub Repositories // arXiv:2510.26103, октябрь 2025. URL: https://arxiv.org/abs/2510.26103 (дата обращения: 03.09.2026). 10. Torka S., Albayrak S. Optimizing AI-Assisted Code Generation // arXiv:2412.10953, декабрь 2024. URL: https://arxiv.org/abs/2412.10953 (дата обращения: 03.09.2026).