In-Cell Learning: языковые модели учатся без изменения хранимых битов
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
In-Cell Learning: языковые модели учатся без изменения хранимых битов
Кратко: Исследователи представили парадигму In-Cell Learning, при которой новые знания записываются в интервалы, отбрасываемые при квантовании 4-битных весов. Обновление представляет собой отдельный файл, который можно отозвать вычитанием, а дрейф ограничен радиусами, заданными сеткой до обучения. Реализация CellFill работает на стандартных 4-битных релизах.
Что произошло
На arXiv опубликован препринт (arXiv:2608.20873v2) с описанием подхода In-Cell Learning. Авторы показывают, что развёрнутая языковая модель — это файл, от которого зависят бенчмарки, сертификации и целые парки устройств, и любой способ обучения новому приводит к созданию другого файла. Предложенный метод позволяет этого избежать: 4-битный релиз хранит каждый вес как целочисленный код и общий масштаб, а между сохранёнными значениями остаётся интервал, который квантователь отбрасывает. В этот интервал и записываются новые знания, так что повторное квантование обслуживаемых весов воспроизводит исходные коды и масштабы точно.
Гарантия проверяется в целочисленной области для каждого веса. Обновление — это отдельный файл (fill), который можно отозвать вычитанием. Дрейф ограничен радиусами, которые сетка фиксирует до обучения. Реализация CellFill создаёт низкоранговую позицию внутри ячейки и обучается на собственном 4-битном релизе вендора — NF4, QAT и GPTQ-подобных сетках.
Что изменилось по сравнению с предыдущей версией
В аннотации указан тип замены (Announce Type: replace), что говорит о новой версии препринта, однако детали изменений в доступных данных не раскрываются.
Цены и доступность
Метод ориентирован на 4-битные релизы: NF4, QAT и GPTQ-подобные сетки. Публикация размещена на arXiv в виде препринта, не прошедшего рецензирование.
Почему это важно
Подход меняет представление о том, как можно дообучать развёрнутые модели: вместо создания нового файла модели достаточно отдельного файла-заполнения, который не изменяет исходные веса. Это потенциально упрощает обновление моделей на устройствах и снижает риски, связанные с заменой файла.
Для пользователей AI-Sphere
Технология объясняет, как можно обновлять знания модели без перезаписи её весов: новые данные помещаются в пустоты, оставленные квантованием. Если подход получит распространение, пользователи смогут получать обновления в виде небольших аддитивных файлов, которые легко откатывать. Следите за карточкой модели на ai-sphere.ru — при появлении новых данных мы дополним описание.
Источники