Новый бенчмарк qtBench: 29 открытых задач по комбинаторике для ИИ-систем
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
На arXiv опубликован препринт «AI Discovery in Combinatorics: From Problems to Solutions and Back to Bigger Problems». В нём авторы (точные имена не указаны) представляют qtBench — набор эталонных задач, которые пока не имеют известного простого решения. Для помощи ИИ-агентов предоставлен специальная среда: scaffold для работы с комбинаторными объектами, механизм противодействия мошенничеству и система тестирования кандидатных решений.
Что такое qtBench
qtBench — это не просто список задач. Исследователи предусмотрели инфраструктуру для автоматического поиска решений. Агент может взаимодействовать с комбинаторными структурами, проверять гипотезы и получать обратную связь. Бенчмарк охватывает проблемы, связанные с полиномами, коэффициентами и тождествами, которые имеют значение для алгебраической комбинаторики.
Почему это важно
Этот проект поднимает более крупные мета-вопросы, выходящие за рамки конкретных задач. Авторы обсуждают этичность масштабного ИИ-открытия, как следует публиковать такие результаты и как организовать «переваривание» доказательств. Редакционный вывод: qtBench может стать полигоном для исследования границ ИИ в математике, но одновременно ставит вопросы о контроле и проверке автоматически найденных решений.
Что это даёт пользователю
Для разработчиков ИИ и исследователей в области машинного обучения qtBench — это готовый инструмент для тестирования способностей агентов к комбинаторному рассуждению. Практический сценарий: запустить ИИ-агента на qtBench, оценить его успешность в поиске простых алгоритмов и сравнить с результатами, полученными в сотрудничестве с OpenAI (как указано в препринте).
Что пока неизвестно
Пока не раскрыты точные решения, предложенные сотрудниками OpenAI, не указаны конкретные методы, использованные для их получения. Также не объявлен точный план публикации результатов и организации проверки доказательств.