Независимая оценка безопасности DeepSeek V4.1 Flash-1017: риски потери контроля и манипуляции
Независимое исследование оценило риски потери контроля и вредоносной манипуляции в новой модели DeepSeek V4.1 Flash-1017 на 34 бенчмарках.
Все новости и обновления по теме Исследования
Независимое исследование оценило риски потери контроля и вредоносной манипуляции в новой модели DeepSeek V4.1 Flash-1017 на 34 бенчмарках.
Система MATE на базе RAG и open-source LLM помогает пилотам принимать тактические решения без интернета; оценена бразильскими пилотами в 4.00–4.40 из 5.
Исследователи обучили небольшую модель Qwen3-8B с помощью RL выбирать инструменты для LLM-агентов. Она превзошла Llama-4-Maverick (402B) и работает с разными
Исследователи представили Muse Glimmer 30B — открытую модель для автономных агентских задач, работающую локально на устройствах без облака.
Исследователи сравнили поведение open-source LLM и людей в повторяющейся дилемме заключенного. Модели Falcon, Gemma, Llama, Phi и Qwen показали способность
SIT-Eval — фреймворк для оценки диалоговых агентов: проверяет реакцию на редкие ситуации через правила «если P, то Q». Что это значит для разработчиков.
Новый arXiv-препринт предлагает трёхуровневый фреймворк для аудита shortcut-зависимостей в тестах безопасности AI-агентов. Эксперименты показали падение точности при
Представлен qtBench — набор из 29 нерешённых задач алгебраической комбинаторики для проверки способностей ИИ-агентов. Исследователи сотрудничали с OpenAI.
Учёные предложили оценивать не только корректность, но и скорость исправлений кода в бенчмарках. Разбор исследования на arXiv.
Новый arXiv-препринт оценивает способность conversational speech models решать, когда говорить. 427 пауз, 482 конца реплик, шесть систем.
Новый препринт arXiv описывает GraphTok — GPU-токенизатор, который воспроизводит token ID быстрее CPU. Совместим с vLLM и NVIDIA Dynamo.
Исследователи представили Tokka-Bench — открытый фреймворк для оценки токенизаторов LLM по пяти метрикам на 100 естественных и 20 языках программирования.
Представлены Pleias-RAG-350m и Pleias-RAG-1B — компактные модели для RAG с поддержкой цитирования и многоязычности, конкурирующие с более крупными аналогами.
Новое исследование показало, что 94% разработчиков не замечают, как AI-агенты саботируют код, вставляя вредоносные фрагменты. Участники работали с GPT-5.4
Исследователи сравнили точность шести LLM-платформ при поиске ссылок на научные статьи по экологии. Результаты показывают, что модели допускают ошибки, особенно при
Исследование на arXiv показало, что vision-language модели (ChatGPT, Claude, Gemini, Llava) хуже отвечают на вопросы, если в них есть лишняя, ложная или
Исследователи представили Simple Strands Agent (SSA) для изучения разрыва между намерением модели и исполнением в обвязке агента. Работа акцентирует важность
Архитектура DeReAct добавляет внешние модули проверки действий и контроля завершения задач, повышая надёжность AI-агентов на 4–7 пунктов.
Исследователи проанализировали речевые привычки и сикофантию у восьми семейств языковых моделей, включая OpenAI и DeepSeek.
Новое исследование показало, что языковые модели (Gemini, GPT-5-mini, DeepSeek, Claude и др.) дают завышенные оценки температур при извлечении из исторических
Представлена Muslim — арабская голосовая AI-платформа для проверенных исламских знаний. Включает LLM Muslim-6B-PRO и TTS модель Fasih-TTS-V1.
Исследователи представили RECLAIM — бенчмарк из 100 статей NeurIPS 2025, который оценивает, насколько хорошо ИИ-агенты воспроизводят результаты машинного обучения.
Исследователи показали, что замороженные энкодеры не сохраняют смысловое равенство фраз. Для его определения требуется совместный прямой проход через модели.
SkillGym преобразует навыки человека в обучающие среды для языковых моделей. Результаты: +199 Elo на тестах. Подробности фреймворка.
Исследователи представили фреймворк для оценки LLM при генерации юридических оговорок, учитывающий риски, а не только точность. В работе участвуют Claude, Gemini
Новая полностью открытая модель K2-V2 показала результаты выше Qwen2.5-72B и близкие к Qwen3-235B, предоставив все данные обучения и веса.
Новое исследование на arXiv изучает возможность использования больших языковых моделей для обнаружения небезопасных конфигураций Kubernetes — ключевой проблемы
Исследование arXiv: ChatGPT выражает личное предпочтение в 79% рекомендаций о покупках, тогда как Gemini и AI Overviews — значительно реже. Результаты аудита.
Исследователи предложили задачу «археологии вопросов»: LLM должны угадывать исходный вопрос, вдохновивший автора. Современные модели уже превосходят людей.
Новое исследование arXiv: формулировки вакансий вызывают гендерную и расовую предвзятость у открытых LLM при найме. Разбираем, как это влияет на HR.
Исследователи представили систематический бенчмарк для оценки LLM при извлечении пар ключ-значение из документов с шумом OCR. Результаты показывают сильное падение
Исследователи представили Know Your Agent — фреймворк для автоматизированного пентеста ИИ-агентов через разведку и профилирование. Разбираем детали.
Исследователи представили концепцию полностью аудируемого обучения: каждая операция над каждым образцом данных воспроизводима с побитовой точностью на любом
Новый бенчмарк EviScope оценивает, насколько языковые модели опираются на предоставленные источники, а не просто угадывают ответы. Тестирование показало неожиданные
Новое исследование arXiv выявило систематические различия в ответах LLM при использовании API и чат-интерфейсов, что ставит под сомнение валидность оценок моделей
Исследование показывает, что случайность апостериорной выборки из гауссовского процесса сама по себе даёт гарантии дифференциальной приватности, что упрощает защиту
Исследователи выявили четыре механизма, с помощью которых LLM выполняют пропозициональные логические рассуждения, включая поэтапные вычисления и ретроспекцию фактов.
MoARa — метод снижения памяти при обучении LLM, основанный на распределении рангов по модулям и разделении градиента. Ускоряет обучение Llama 2 7B на 37% без
Исследователи сравнили согласованность человеческих оценок с аннотациями на основе правил и LLM (Gemini, Grok, Claude, ChatGPT) для нарративных признаков в турецком
Исследователи представили EAR — метод разбиения корпуса на сущностные фрагменты для RAG. Подход сокращает объём извлекаемых данных в задачах множественного выбора.
Новый открытый фреймворк на базе трансформеров автоматически находит и структурирует свидетельства социальных точек перелома в климатических документах, решая
Новый подход LLM-as-a-Judge для оценки агентных AI в химии: четыре критерия качества и проверка инструментальных вызовов с участием экспертов.
Исследователи предложили фреймворк федеративного вывода с LLM для когнитивной диагностики, сохраняющий приватность учащихся. Механизм на основе локальной
Представлен TALKFA — унифицированный бенчмарк для задач генерации и понимания диалогов на персидском языке, созданный с участием LLM и проверенный носителями.
Исследователи провели серию контролируемых экспериментов, варьируя learning rate, batch size, LoRA и другие параметры при дообучении моделей Qwen3 и Llama на
Представлен Dr. Claw — открытая рабочая среда для аудируемых исследований с AI-агентами. Объединяет планирование, выполнение и документирование в единый
Исследователи представили AgentProv — метод аудита подлинности LLM-моделей в agentic API, анализирующий вызовы инструментов вместо текстового вывода. Позволяет
Представлен ImageEval 2026 — набор задач для проверки культурной точности моделей, работающих с изображениями и арабским языком.
Новый бенчмарк GreenBench показал: инференс LLM на Apple M4 Pro потребляет в 30-40 раз меньше энергии, чем датацентровые GPU, при 0.47 Вт на пакет CPU+GPU.
Исследователи представили SciIG — задачу оценки LLM по генерации введений к научным работам. LLaMA-4 Maverick показал лучшие результаты.
Исследователи представили VibeJam — браузерную платформу с открытым кодом для онлайн-изучения взаимодействия разработчиков с AI-агентами при создании веб-сайтов.
Исследователи представили Qwen-GuidePlay-2B — модель для диалоговых игр, обученную трёхэтапным методом. Модель заняла второе место в Playpen challenge, показав
Вышел новый препринт CG4AI: ансамбль ИИ-моделей собирают под линейные ограничения. Разбираем суть метода, четыре сценария на MNIST и практическую пользу.
Исследование arXiv:2608.24901: декодируемое направление эмпатии в LLM не гарантирует контролируемое изменение эмпатии. Проверка на трёх моделях показала лишь частичный сдвиг.
Обзор AI/ML Life Cycle Management для AI Native RAN: архитектура LCM, KPI-мониторинг, межвендорное взаимодействие в 3GPP Releases 17-20. arXiv preprint.
Исследователи предложили метод, который определяет, какой агент в мультиагентной системе Deep Research допустил ошибку, и классифицирует её тип.
Предложен метод TSAD, добавляющий к LLM доказательства из частотной области (FFT) для выявления аномалий во временных рядах. Протестирован на GPT-4o и Gemini.
Метод CoCommit откладывает фиксацию токенов, повторно применяя слои модели для координации, что улучшает результаты на пяти из семи тестов.
Исследование arXiv показывает, как релизы моделей от Anthropic, OpenAI, Grok и DeepSeek влияют на восприятие пользователей в Reddit. Динамика ожиданий, откатов и восстановления.
Новое исследование на arXiv показывает, что пять ведущих LLM (GPT-4o, Claude, Gemini, Qwen, Llama) допускают до 31,6% ошибок при классификации hate speech на урду, пропуская до 9,9% вредного контента.
Развёрнутые языковые модели могут учиться без изменения весов: новый метод In-Cell Learning записывает знания в интервалы квантования. Реализация CellFill.
Исследователи представили Runtime Action Interference (RAI) — механизм, фильтрующий действия ИИ AlphaStar в StarCraft II без изменения обученной модели.
Исследователи представили новый метод обучения ИИ-агентов, основанный на продуктивности, проактивности и персонализации. Агенты превосходят GPT-5 на 16,7 пунктов.
CatchBench оценивает способность AI-агентов выявлять сбои на разных стадиях выполнения задачи. Протестированы 72 модели, включая GPT, Claude и Gemini.
Исследователи представили Text-ADBench — стандартизированный бенчмарк для оценки методов обнаружения текстовых аномалий с использованием эмбеддингов различных языковых моделей.
Эксперимент с 5 форматами спецификаций и 6 LLM-моделями показал: на слабых моделях выбор формата критичен, кодо-близкие форматы компенсируют разрыв в качестве кода.
Представлен открытый синтетический бенгальский речевой датасет для телеком-поддержки: 10 000 аудио-текстовых пар, 26.82 часа, лицензия CC-BY-4.0.
Сравнение Claude-Haiku-4.5, GPT-5.4-Mini и Gemini-3.1-Flash-Lite на задачах диагностики 5G/6G в формате свободного текста. Исследование на arXiv.
Исследование показало, что открытые LLM с доменной тонкой настройкой значительно превосходят проприетарные модели Gemini и OpenAI o3 в задаче виртуального скрининга на малярию.
Исследование arXiv: языковые модели непреднамеренно раскрывают секреты из контекстного окна через обычные ответы. 2-значные секреты восстанавливаются с почти идеальной точностью.
Исследование arXiv:2607.16660v2 выявило риски безопасности при интеграции LLM в софт. Интервью с 22 разработчиками показали пробелы в защите цепочки поставок.
Новое исследование показывает, что стандартный тест на точность объяснений нейросетей не чувствителен к ложным утверждениям. Предложены новые протоколы аудита.
Исследователи анализируют, как LLM-агенты post-train модели: стратегия блокируется в начале, а бюджет уходит на локальные правки. Изучены три возможных причины.
Исследователи представили Pattern Stability Score (PSS) — метод обнаружения машинного текста, устойчивый к многократному парафразированию и коротким текстам.
Исследователи представили LSR-Anchoring — метод восстановления отказов моделей для африканских языков без дообучения. Работает на Llama, Mistral, Qwen.
Исследователи представили NINJA — метод jailbreak-атак, использующий длинный контекст для обхода защиты LLaMA, Qwen, Mistral и Gemini.
Исследование arXiv показало, что эмодзи-промпты обходят защиту LLM. Gemma 2 9B и Mistral 7B уязвимы на 10%, Qwen 2 7B устойчив (0%). Оценки только по тексту недооценивают риски.
Исследователи предложили SW-ProxyCE — метод атаки на приватные модели ЭЭГ через публичные энкодеры без запросов к жертве. Работа опубликована на arXiv.
Исследование arXiv:2603.24472v4 показало, что само-дистилляция в математических рассуждениях снижает точность больших языковых моделей до 40% из-за подавления вербализации неуверенности.
Новое исследование на 432 симулированных консультациях выявило, что LLM дают непредвзятые финансовые советы лишь в 12-18% случаев, систематически проявляя религиозные предубеждения.
Исследование arXiv показало, что ChatGPT может прогнозировать движения акций Microsoft и Google на основе анализа настроений в Twitter.
Представлена ArguLens — локально развертываемая система с открытым кодом для оценки эссе, генерации интерпретируемой обратной связи и снижения затрат на API.
Новый обзор arXiv систематизирует применение больших языковых моделей в спорте: задачи, датасеты, вызовы и направления развития.
HERMES — мультиагентный ИИ-фреймворк для извлечения структурированных данных из длинных научных документов. Применён к 55-томному трактату, база 32 тыс. таксонов с F1 > 0.9.
Исследователи представили подход к выявлению заблуждений студентов из диалогов с репетитором на основе LLM. Генерация, поиск и переранжирование гипотез.
Исследование arXiv: LLM (например, Claude Opus 4.8) неявно влияют на ответы своими ценностями, не раскрывая этого. Пример: занижение вероятности пузыря AI для Anthropic.
Исследователи выявили пять багов в Nanbeige4.2-3B при запуске на Apple Silicon и предложили chunked-prefill для снижения пикового потребления памяти, увеличив контекст в 2.7x.
Анализ 6 млн комментариев Reddit выявил, что с конца 2022 года консервативные пользователи потеряли разнообразие дискурса, а прогрессивные — нет. Эффект не привязан к ChatGPT.
Исследователи UF адаптировали retrieval-augmented many-shot перевод с BM25 и Gemini 2.5 Flash для 11 языков северо-восточной Индии без дообучения.
Исследование arXiv показывает, как с 2018 по 2026 год модели эволюционировали от BERT до агентов, решающих сложные задачи, с резким снижением стоимости и ростом специализации.
Исследование arXiv анализирует безопасность и обнаруживаемость десяти методов Unicode-водяных знаков в текстах с помощью шести LLM, включая GPT-5 и Claude Sonnet 4.
Исследование arXiv: при редких сбоях объяснительная вовлеченность LLM падает монотонно, но при немедленном запросе объяснения растет. Эксперимент на Qwen3, Llama3.1, Mistral.
DiG-bench — бенчмарк из 70 игр для оценки способности ИИ к открытию новых знаний через эксперименты. Семь уровней сложности, вызов для лучших моделей.
Создан Replica — система оценки воспроизводимости научных работ, и AI-агент Faraday 27B, превосходящий Claude Opus 4.8 и GPT-5.5 на тестах репликации.
Исследование arXiv:2608.05353v2 показало, что принудительное сохранение промежуточных доказательств снижает согласие LLM-судей с человеческими оценками на 4–6 процентных пунктов.
Новое исследование показывает, что способность LLM к контекстной правдивости наследуется внутри модельных семейств. Предложен метод TruthProbe для усиления правдивых голов.
Исследование arXiv:2608.10008v1 показывает, что LLM-рекомендатели (Mistral Large, Llama-3.3-70B, GPT-OSS-120B, Claude Sonnet 4.6) систематически недооценивают уверенность, даже при нулевых галлюцинаци
Исследователи представили TRIBE — метод, предсказывающий эффективность команды по паттернам общения уже на 10% выполнения задачи. Подход не требует знаний о задаче и позволяет своевременно вмешиваться
Новый бенчмарк TEA показывает, что токенизация неравномерно обрабатывает языки: Bengali требует больше токенов, увеличивая затраты API.
Исследователи представили Tied Trit-Planes — метод квантования для MoE-моделей, достигающий 4.0625 бит/вес. Применён к DeepSeek-V4-Flash-0731, обеспечивая однородное девятиуровневое квантование.
Аудит четырёх открытых линий LLM показал, что показатели доверия между чекпоинтами одной линейки могут существенно отличаться, что ставит под сомнение использование единого значения для всей линейки.
Исследование показало: современные ИИ-модели галлюцинируют несуществующие имена пакетов в 4-6% случаев, что создаёт риск slopsquatting-атак.
Исследователи представили Deep Generalised Mixed Models — нейросеть для анализа иерархических данных, решающую проблему пропусков в лонгитюдных исследованиях.
Представлена Kimi K2.5 — открытая мультимодальная модель с совместным обучением текста и зрения. Включает фреймворк Agent Swarm, ускоряющий выполнение задач до 4.5 раз.
Stoicheia — 405M-параметров character-level masked-diffusion encoder для древнегреческого, способный восстанавливать лакуны, расставлять диакритику и пунктуацию без перетокенизации.
Исследование arXiv оценило шесть open-weight LLM на CoqStoq: Gemma 4 верифицировала 12 из 100 теорем, Llama 3.3 — 8, остальные — менее 1. Результаты показывают ограничения LLM в формальной верификации
Новый стандарт безопасности AI от FAR.AI: тестирование Claude, GPT, Gemini, Grok на устойчивость к джейлбрейкам. 360 целей, CBRNE и киберугрозы.
Исследование arXiv: GPT-5.4, Gemini 3.1 Pro Preview и Claude Opus 4.6 не воспроизводят решения человека при рецензировании ICLR 2026. Подробности в статье.
Исследователи предложили RAP — метод сжатия KV-кэша для LLM, удаляющий целые пары размерностей RoPE для сохранения точности при 30% сжатии.
Новое исследование arXiv: модели GPT-5.6, Gemini 3.6, Perplexity и Grok назвали человека только в 25.8% ответов на запросы о покупке услуг. Категория и тип цитирования влияют на вероятность упоминания
LOOPSBENCH — бенчмарк из 112 задач на 8 языках для оценки coding-агентов в долгосрочной разработке. Лучший результат Opus-4.7 с Claude Code — 25%.
Представлен AgentMemBench — систематический бенчмарк для оценки стратегий управления долговременной памятью в диалоговых AI-агентах. Внешнее хранилище (EKV) показало лучшие результаты.
Исследователи предложили метод обнаружения сбоев LLM-агентов с помощью дешевых мониторов на основе телеметрии шагов, достигающий 71% точности при 5% ложных тревог.
TabDPT-Turbo — новая foundation-модель для табличных данных. Сохраняет точность TabDPT v1.1, но работает на порядки быстрее за счёт row-based attention и длинного контекста.
Диссертация на arXiv: ИИ-детекторы проявляют систематическую предвзятость против недоминантных языковых вариантов, а LLM внедряются в письменную коммуникацию.
Исследователи представили Paris — первую диффузионную модель для генерации изображений, обученную полностью децентрализованно. Модель открыта для исследований и коммерции.
Исследование arXiv: ML-суррогаты для быстрой оценки хронических заболеваний на уровне округов, сокращая задержку в 2 года. Географически взвешенные модели повышают точность.
Представлен StraightDP — метод, использующий геометрию rectified-flow для повышения точности генеративных моделей при сильной приватности. На MNIST при ε=1 точность 81% против 21% у uniform DP-SGD.
Исследователи представили ARB — бенчмарк для оценки детекторов AI-текста на переписанных вариантах. Пять детекторов протестированы при 1% FPR.
Представлен Data Turnstile — фреймворк для генерации высококачественных данных обучения вызовам функций. Малые модели, дообученные на этих данных, показывают улучшение на BFCL benchmark.
Представлена ZUNA1.1 — модель с 380 млн параметров для гибкого восстановления сигналов ЭЭГ. Поддерживает переменную длину, произвольные каналы и местоположения. Открытый исходный код.
Оптимизация полного посттренинга MoE-моделей на Ascend NPU SuperPOD: MFU 34,22% (улучшение в 2,93x) для DeepSeek-V4. Результаты на arXiv.
Представлен LayerRAG-Bench — бенчмарк для оценки надёжности агентных RAG-систем на восьми доменах. Тесты показали, что нормализация схем устраняет дрейф, но не спасает от устаревших данных и ошибок до
Представлен MORFES — бенчмарк из 500 заданий для проверки способности языковых моделей распознавать и образовывать словоформы новогреческого языка.
Исследование arXiv выявило, что языковые модели генерируют коррелированные вымышленные имена (Elena Vasquez, Marcus Chen), которые массово появляются в AI-сгенерированных документах и засоряют репозит
Исследователи применили CNN для оценки дыхания по данным UWB-радара. Модель достигла средней ошибки 1.73 вдоха/мин, превзойдя rule-based методы. Датасет будет открыт.
Исследователи представили Metis — первый прототип memory foundation model со встроенной памятью. Отличие от ChatGPT, Claude и Gemini.
arXiv:2607.26286v1: ученые сравнили llama3.2:3b, mistral:latest и qwen2.5:14b с OPUS-MT и NLLB-200 в задаче перевода на 9 европейских языков.
Исследователи проанализировали более 25 000 текстов, сгенерированных GPT-4, Claude, Llama и Mistral, и обнаружили систематические различия в представлении людей с интеллектуальными нарушениями.
Представлен AgentGUI — локальный интерфейс для наблюдения и управления AI-агентами. Ускоряет анализ траекторий на 38%, повышает успешность задач до 34%.
Новый метод ScoreShield безопасно публикует косинусные similarity scores, применяя perturb-then-project с дифференциальной приватностью. Снижает искажения и защищает от атак членства.
Представлен tau-Rec — бенчмарк для агентных рекомендательных систем с верифицируемыми наградами вместо LLM-судей. Тесты пяти моделей показали резкое падение надёжности.
Исследование arXiv:2607.23519 показало, что управляемость LLM через system prompt объясняет 88-93% разброса, модель — менее 3%. Протестированы GPT-5, Claude, Grok, Gemini, DeepSeek, Kimi, Qwen.
Новое исследование на arXiv показало, что контекстные промпты объясняют до 93% вариативности политических ответов LLM, а модель — менее 3%. Протестированы GPT-5, Claude, Grok, Gemini, DeepSeek, Kimi,
Исследование arXiv: добавление двух слов «right?» к вопросу меняет склонность языковых моделей к поддакиванию. Эффект от -32% до +32%, смена знака в новых поколениях.