Исследование: одинаково правильные исправления кода могут сильно различаться по производительности
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
Исследователи изучили, можно ли оценивать производительность исправлений кода, используя уже существующие тесты в бенчмарках. В таких наборах задач, как SWE-bench и SWE-bench-Live, для каждого задания есть тесты FAIL_TO_PASS (F2P) — они проверяют именно то поведение, которое должно измениться после исправления. Обычно эти тесты используют только для проверки корректности, но авторы предположили, что они также могут показать, насколько быстро работает исправленный код.
В эксперименте четыре frontier-модели — Claude Opus 5, GPT-5.6, DeepSeek V4 Pro и Qwen-3.8 Max — решали задачи из отфильтрованного корпуса SWE-bench и SWE-bench-Live. Для 262 случаев модели предложили как минимум два разных, но одинаково корректных решения. Это позволило сравнить их производительность и выявить существенные различия.
Как это работает
Идея проста: если два патча проходят одни и те же тесты, значит, оба решают проблему. Но прохождение тестов не гарантирует одинаковую эффективность. Один патч может быть быстрее, потреблять меньше памяти или меньше нагружать систему. Авторы предложили измерять время выполнения тестов F2P для каждого патча и использовать эти данные как метрику производительности.
Такой подход не требует создавать специальные нагрузочные тесты для каждой задачи — бенчмарки уже содержат нужные проверки. Это делает оценку дешёвой и масштабируемой.
Почему это важно
Сейчас качество исправлений оценивают по принципу «работает или не работает». Но в реальных проектах важна не только корректность, но и скорость, особенно для код-ассистентов, которые предлагают патчи в продакшн. Если две модели предлагают одинаково правильные решения, но одно работает в два раза медленнее, выбор очевиден.
Редакционный вывод: это исследование может изменить подход к бенчмаркам. Разработчики инструментов на основе LLM получат возможность сравнивать модели не только по точности, но и по практической эффективности их решений. В будущем метрики производительности могут стать стандартной частью оценки в SWE-bench и аналогичных тестах.
Что это даёт пользователю
Практическая польза для разработчиков: при выборе ИИ-ассистента для генерации исправлений можно будет смотреть не только на проценты решённых задач, но и на то, насколько быстро и эффективно работают предложенные патчи. Это особенно важно для высоконагруженных систем, где даже небольшое замедление критично.
Также это открывает путь к оптимизации самих моделей: зная, что производительность патчей будет оцениваться, разработчики могут обучать модели создавать более эффективные решения, а не просто «правильные». Для конечного пользователя это означает более качественные и быстрые исправления в реальных проектах.
Что пока неизвестно
Пока неясно, насколько значимы различия в производительности между патчами на больших выборках — исследование ограничено 262 случаями. Также не описаны конкретные метрики (время, память) и методология их измерения. Препринт не прошёл рецензирование, поэтому выводы нужно воспринимать осторожно.