Безопасность AI без GPU: guardrail-модели работают в 2.3× быстрее на CPU ноутбука, чем SOTA на A100

Контекст: зачем нужны guardrails и почему они дорогие

Guardrail-модели — это фильтры, которые проверяют входящие и исходящие сообщения LLM на prompt injection, jailbreak-атаки, токсичный контент и утечку приватных данных. В продакшне каждый запрос к основной модели проходит через guardrail до и после генерации. Это удваивает (а иногда утраивает) инфраструктурные расходы.

Текущие SOTA-решения — Prompt Guard 2 от Meta, ArchGuard, PIGuard, ProtectAI V2 — работают на GPU. Они требуют выделенных видеокарт, увеличивают латентность и создают бутылочное горлышко при масштабировании. При длинных промптах жёсткий лимит в 512 токенов заставляет нарезать вход на куски и запускать 16 параллельных GPU-воркеров для обработки одного запроса.

Группа исследователей утверждает, что GPU можно убрать из уравнения безопасности — и публикует бенчмарки для внешней валидации.

Resource-aware attention: внимание, спроектированное под CPU

Ключевая идея — это не квантизация, не прунинг и не оптимизация рантайма. Авторы разработали новый механизм внимания — resource-aware attention, спроектированный вокруг иерархии памяти CPU: кэши L1/L2/L3, предсказание ветвлений, prefetch-паттерны.

Классический self-attention проектировался для GPU, где тысячи CUDA-ядер параллельно обрабатывают матричные умножения. На CPU этот паттерн работает плохо: случайный доступ к памяти, cache misses, низкая утилизация SIMD-инструкций. Resource-aware attention переосмысливает вычислительный граф так, чтобы операции шли последовательно по кэш-линиям CPU — минимизируя промахи кэша и максимизируя пропускную способность шины памяти.

Это фундаментальное архитектурное решение, а не инженерный трюк поверх существующей архитектуры.

Цифры: что показывают бенчмарки

Результаты получены на потребительском Intel Core i7:

Латентность: 23 guardrail-модели на i7 CPU — ~8.39 мс (полный gRPC round-trip). SOTA-модели на NVIDIA A100 — ~19.3 мс. Разница: 2.3× в пользу CPU.

Контекстное окно: Resource-aware attention — 65 536 токенов в одном forward pass без чанкинга. Существующие guardrail-модели — 512 токенов (требуются параллельные GPU-воркеры для длинных промптов).

Точность (JailBreakBench, PIGuard, WildJailbreak, Qualifire PI): Balanced accuracy — ~84.56%. Attack pass-through rate — ~15.97%. False refusal rate — ~14.92%.

Почему 65K токенов — это важно

512-токенный лимит — это не просто техническое ограничение, а архитектурная проблема с каскадным эффектом.

Когда агент формирует промпт из system prompt + history + RAG-контекста + пользовательского запроса, результат легко превышает 4000–8000 токенов. При лимите в 512 токенов guardrail должен: нарезать вход на 8–16 чанков, запустить каждый на отдельном GPU-воркере, агрегировать результаты, обработать edge cases на границах (атака может быть разнесена по двум чанкам).

Resource-aware attention обрабатывает 65K токенов за один проход. Нет чанкинга — нет граничных случаев. Нет параллельных воркеров — нет сложности оркестрации. Один CPU, один forward pass, один результат.

Что это значит для инфраструктуры

Допустим, 1000 запросов в секунду, каждый проходит через guardrail.

Текущая архитектура: выделенная A100 ($2–3/час в облаке), при длинных промптах — кластер из 16 GPU-воркеров на один запрос, латентность guardrail ~19 мс.

С resource-aware attention: потребительский CPU (i7 или серверный Xeon), стоимость на порядок ниже, один forward pass на любую длину до 65K, латентность ~8.4 мс.

Для стартапов это разница между «мы можем позволить себе guardrails» и «мы пропускаем этот слой, потому что GPU дорого».

Что вызывает вопросы

Accuracy. 84.56% balanced accuracy — хороший результат, но не выдающийся. Attack pass-through ~16% означает, что примерно каждая шестая атака проходит. Для production-систем с финансовыми или медицинскими данными это может быть недостаточно.

Методология сравнения. Авторы сравнивают 23 специализированные модели на CPU с 4 SOTA-моделями на GPU. Корректно ли сравнивать ансамбль с одиночными моделями — открытый вопрос.

Воспроизводимость. Код и веса не выложены в открытый доступ. Авторы приглашают к внешней валидации — хороший сигнал, но критически важно для доверия к результатам.

Масштабирование. Бенчмарки на i7. Как ведёт себя resource-aware attention на серверных Xeon с другой топологией кэшей? На ARM-процессорах (Apple Silicon, Graviton)?

Контекст: тренд на CPU-first inference

Эта работа вписывается в более широкий тренд. Mozilla llamafile, llama.cpp, MLX — движение в сторону inference на потребительском железе. Но до сих пор речь шла о генеративных моделях, где CPU проигрывает GPU по скорости генерации токенов.

Guardrail-модели — классификаторы. Им не нужно генерировать текст токен за токеном. Один forward pass, один ответ: safe / unsafe. Это принципиально другая вычислительная задача — и именно здесь CPU-оптимизированная архитектура может дать преимущество.

Resource-aware attention — первая попытка спроектировать механизм внимания специально под CPU для задачи классификации. Если результаты подтвердятся, это может изменить экономику безопасности AI-инференса.

Выводы

GPU не обязательна для guardrails. Resource-aware attention показывает, что архитектурный подход может компенсировать разницу в сырой вычислительной мощности.
65K токенов без чанкинга — потенциально важнее, чем выигрыш в скорости: убирает целый класс инфраструктурных проблем.
Результаты требуют независимой валидации. Авторы это понимают и открыто приглашают к проверке.
Если подтвердится — guardrails перестанут быть роскошью для компаний с GPU-бюджетом и станут стандартным слоем для любого LLM-деплоя.