Измерение токенизационной премии: как языки влияют на стоимость LLM
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Кратко: Исследователи представили бенчмарк Tokenization Equity Audit (TEA) для оценки токенизационных премий в техническом образовательном контенте. Анализ показал, что для Bengali требуется значительно больше токенов при одинаковом содержании, что ведет к росту затрат API и задержек.
Что произошло
Опубликован препринт на arXiv (2608.09046v1), в котором представлен бенчмарк TEA. Он оценивает три токенизатора: GPT-4o (o200k base), Qwen2.5-7B и Mistral-7B на корпусе из 120 примеров отладки Python, переведенных с английского на бенгальский, хинди, арабский, тамильский и йоруба. Bengali и Hindi стали основными проверенными языками, остальные — для кросс-скриптовых сравнений. Результаты показывают, что Bengali требует существенно больше токенов для семантически эквивалентного контента.
Что изменилось по сравнению с предыдущей версией
Работа является новым исследованием, а не обновлением. Аналогов, систематически измеряющих токенизационную премию для технического контента на нескольких языках, ранее не было.
Цены и доступность
Бенчмарк доступен как открытый препринт. Дата опубликования: 2608.09046v1. Конкретные цены API не указаны, но акцент сделан на росте стоимости из-за разницы в токенах.
Почему это важно
Токенизация — недооцененный фактор неравенства языков в LLM. Разные токен-каунты для одного и того же содержания увеличивают API-затраты, задержки и уменьшают полезную длину контекста для неродных языков. Бенчмарк TEA впервые количественно оценивает эту премию для технического контента на малообеспеченных языках.
Для пользователей AI-Sphere
Для пользователей, работающих с многоязычными техническими запросами (например, отладка на Python на разных языках), результаты означают, что стоимость и скорость работы могут существенно отличаться. При выборе модели стоит учитывать, что токенизаторы по-разному обрабатывают языки, и Bengali может стоить дороже английского.
Источники