Оценка лёгких LLM для диагностики сетей 5G/6G в формате свободного текста
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Оценка лёгких LLM для диагностики сетей 5G/6G в формате свободного текста
Кратко: Исследователи оценили три лёгких языковых модели — Claude-Haiku-4.5, GPT-5.4-Mini и Gemini-3.1-Flash-Lite — на задачах анализа свободно-текстовой диагностики сетей 5G и 6G. Работа выполнена в формате генерации текста, а не традиционных тестов с множественным выбором (MCQ).
Что произошло
В новом препринте на arXiv представлена методология оценки больших языковых моделей для понимания предметной области 5G и анализа неисправностей. В отличие от существующих бенчмарков, которые полагаются на фиксированные ответы, авторы перешли к формату свободного текста. Это позволило проверить способность лёгких, развёртываемых на граничных устройствах моделей проводить глубокую диагностику, включая анализ первопричин и рекомендации по действиям.
Для оценки использовались три бенчмарка, включая TeleQNA ORAN FT. Тестировались три модели: Claude-Haiku-4.5, GPT-5.4-Mini и Gemini-3.1-Flash-Lite.
Что изменилось по сравнению с предыдущей версией
Ранее подобные исследования проводились в формате MCQ (multiple choice questions) с заранее заданными вариантами ответов. Новая работа переводит задачу в режим свободной генерации, что приближает оценку к реальным сценариям эксплуатации, где диагност пишет пояснения в произвольной форме.
Цены и доступность
Все три модели доступны через API соответствующих провайдеров. Claude-Haiku-4.5, GPT-5.4-Mini и Gemini-3.1-Flash-Lite позиционируются как лёгкие и подходящие для развёртывания на граничных устройствах. Точные цены на момент публикации не указаны, но модели обычно дешевле полноразмерных аналогов.
Почему это важно
Реальный анализ неисправностей в сетях 5G и будущих 6G требует понимания свободного текста. Возможность использовать лёгкие LLM на граничных устройствах снижает задержки и зависимость от облачных вычислений. Исследование показывает, что даже компактные модели способны справляться с предметной диагностикой, что открывает путь к дешёвым и автономным системам поддержки операторов.
Для пользователей AI-Sphere
Если вы разрабатываете решения для телеком-инфраструктуры, обратите внимание на эти три модели. Они могут быть интегрированы в системы мониторинга и диагностики без необходимости в мощных серверах. Сравнение их производительности на открытых бенчмарках поможет выбрать оптимальный вариант для вашего проекта.
Источники