Федеративное обучение с LLM для приватной когнитивной диагностики: новый подход
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
В статье предложен фреймворк федеративного вывода (federated inference), в котором несколько коммерческих LLM API, включая LLaMA-3.3-70B, GPT-4o-mini и Claude-3-Haiku, совместно работают для оценки знаний учеников. При этом ни одна из моделей не получает доступа к сырым данным учащихся или к проприетарному внутреннему устройству других моделей. Каждый LLM обрабатывает запрос локально, а затем результаты агрегируются с помощью специального механизма, обеспечивающего конфиденциальность.
Как работает механизм приватности
Основой защиты данных служит локальная дифференциальная приватность (epsilon-local differential privacy). Перед отправкой на центральный сервер к предсказанию каждого LLM добавляется шум Лапласа. Это искажает результат ровно настолько, чтобы нельзя было восстановить исходные данные, но при этом сохраняется общая статистическая точность. Для устранения различий между разными LLM (гетерогенности моделей) применяется residual-based aggregation — метод, который корректирует несоответствия в их выходах.
В модели безопасности предполагается, что провайдеры API следуют сценарию «честный, но любопытный» (honest-but-curious): они не злонамеренно искажают запросы, но могут попытаться извлечь информацию из поступающих данных. Предложенный механизм затрудняет такие атаки, защищая итоговые диагностические результаты даже от внешнего наблюдателя.
Почему это важно
Современные образовательные платформы всё активнее внедряют ИИ для персонализации обучения, но это требует сбора чувствительных данных об успеваемости. Использование мощных LLM напрямую часто означает передачу данных на серверы разработчиков, что вызывает вопросы приватности. Предложенный фреймворк позволяет объединить сильные стороны нескольких моделей (например, GPT-4o-mini для глубоких объяснений и LLaMA-3.3-70B для быстрой обработки) без компромисса в безопасности. Редакционный вывод: если подход подтвердит свою эффективность в экспериментах, он может стать стандартом для построения ИИ-тьюторов, которые не требуют от школ и учеников раскрытия персональной информации.
Что это даёт пользователю
Для образовательных учреждений и разработчиков EdTech открывается сценарий, в котором можно арендовать доступ к ведущим LLM, не создавая собственную инфраструктуру, но при этом не нарушая законодательство о защите данных. Например, платформа для подготовки к экзаменам может одновременно использовать несколько моделей, чтобы оценить пробелы в знаниях ученика по математике, не сохраняя его ответы на серверах. Диагностика при этом будет точнее, чем при использовании одной модели, а риски утечки минимизированы.
Что пока неизвестно
Авторы работы не указаны, а сама публикация является препринтом и не прошла рецензирование. В аннотации не приводятся конкретные показатели точности диагностики, сравнение с другими методами защиты приватности или результаты экспериментов. Также неясно, на каких наборах данных проводилось тестирование и какова вычислительная стоимость добавления шума. Отсутствует информация о доступности реализации или кода для воспроизведения. Без этих данных сложно оценить практическую применимость предложения в реальных образовательных системах.