LLM-кеширование: GPTCache, Redis, KV Cache и Prompt Cache — сравниваем инструменты для семантического кеширования 2026

Семантическое кеширование — как это работает

Каждый запрос к LLM стоит денег. На H100 SXM5 — $2,54/час за GPU, на Claude Sonnet — $3/$15 за миллион токенов ввода/вывода. Проблема в том, что в production нагрузка постоянно повторяется: агентские фреймворки шлют одни и те же описания инструментов на каждый вызов, FAQ-боты получают «Как сбросить пароль?» в сотый раз, RAG-пайплайны индексируют запросы, различающиеся на пару слов.

Семантическое кеширование решает это просто: запрос превращается в вектор через embedding-модель (BGE-M3, text-embedding-3-small), вектор ищется среди сохранённых через ANN-индекс (FAISS, Qdrant, Redis), и если косинусная близость выше порога (обычно 0,90-0,95) — возвращается сохранённый ответ. LLM не трогается. Всё — за 3-8 миллисекунд вместо 500-2000.

Четыре шага семантического кеширования:

Шаг 1 — Embedding. Запрос пользователя превращается в вектор размерностью 512-1536. BGE-M3 (512 dim) на GPU — 2 ms, на CPU — 12 ms. Стоимость: меньше $1 на миллион запросов.

Шаг 2 — Vector Search. Вектор сравнивается со всеми сохранёнными через косинусную близость. FAISS с HNSW-индексом на миллионе записей — меньше 10 ms.

Шаг 3 — Решение по порогу. Если совпадение выше 0,92 — возвращаем кеш. Если ниже — пропускаем к LLM.

Шаг 4 — Сохранение. Новый ответ LLM сохраняется в кеш вместе с эмбеддингом запроса для будущих совпадений.

Когда стоит: FAQ-боты (hit rate 50-70%), вызовы агентов с фиксированными схемами (40-65%), RAG по статическому корпусу (30-50%). Когда не стоит: креативная генерация (0-5%), персонализированные рекомендации, мульти-тур диалоги с растущим контекстом (5-15%).

Инструменты семантического кеширования: GPTCache, Redis, Qdrant

На рынке open-source 2026 года выделяются три основных подхода к семантическому кешированию: специализированная библиотека GPTCache, встроенный векторный поиск Redis Stack и кастомные решения на Qdrant.

GPTCache

GPTCache (8 092 звёзд GitHub, MIT) — библиотека от Zilliz (создателей Milvus), заточенная именно под LLM-кеширование. Две строки кода оборачивают OpenAI-клиент: from gptcache import cache и cache.init(). Внутри — plug-and-play архитектура: embedding-модуль подменяется на любой (OpenAI, HuggingFace, ONNX), векторное хранилище — FAISS, Qdrant, Milvus, Redis. Ответы сохраняются с TTL, поддерживается семантическое сравнение с настраиваемым порогом.

GPTCache автоматически сериализует ответы LLM, поддерживает cache.init(pre_embedding_func=...) для кастомной предобработки запросов и умеет фильтровать по модели (разные кеши для GPT-4 и Claude). Главный минус — Python-only и однопоточная архитектура: при 1000+ RPS становится узким местом.

Redis Vector Cache

Redis Stack (75K звёзд) с модулем RediSearch поддерживает векторный поиск прямо в оперативной памяти. Латенность — 2-5 ms, что быстрее GPTCache за счёт C-реализации. Redis-кеш разделяем между несколькими pod'ами инференса — подходит для мультиязычных и распределённых деплоев.

RedisVL (библиотека Redis для векторного поиска) предоставляет LLMCache как готовый класс для семантического кеширования. Поддерживаются фильтры по метаданным (кеш для конкретного user tier или tenant), что важно для SaaS-мультитенантности. Минус — RSAL-лицензия (ограничения для конкурентов Redis).

Qdrant-backed Custom Cache

Qdrant (33K звёзд) — выбор команд, которым нужен полный контроль над HNSW-индексом, payload-фильтрацией и REST API для управления кешем. Латенность — 3-8 ms, лицензия Apache 2.0. На одном Qdrant-сервере держат до 10M кеш-записей с фильтрацией по модели, версии промпта, user tenant. Минус — нужно самому писать cache proxy (пример — FastAPI-прослойка из гайда Spheron).

KV Cache и Prompt Cache на уровне инференса

Семантическое кеширование — верхний уровень. Есть ещё два слоя, которые работают до него — внутри инференс-фреймворка.

KV Cache — это слои внимания (key-value tensors) для каждого обработанного токена, которые хранятся в GPU-памяти. Вместо того чтобы пересчитывать attention для всей истории диалога при каждом новом токене, vLLM (85K звёзд) и SGLang (30K звёзд) кешируют уже вычисленные KV-тензоры. Это даёт 20-40% ускорения на длинных диалогах с общим префиксом (один system prompt на тысячу запросов).

Prompt Cache / Prefix Cache — более умная версия KV-кеша. SGLang использует RadixAttention: он идентифицирует одинаковые префиксы в промптах между разными запросами и переиспользует их вычисленные тензоры. Если ваш system prompt одинаков для 90% запросов, RadixAttention срезает 20-40% compute без потери качества. У vLLM есть автоматическое prefix caching через блоковое хеширование.

Важно: эти два слоя не заменяют семантический кеш, а дополняют его. KV-кеш экономит compute внутри модели на повторяющихся токенах. Семантический кеш вообще не даёт запросу дойти до модели. В production stack используются все три слоя одновременно.

Сравнительная таблица инструментов кеширования

По данным TokenMix (апрель 2026), семантическое кеширование даёт hit rate в 3-5 раз выше, чем exact-match (25-50% против 5-15%). Spheron (апрель 2026) приводит цифры для production FAQ-бота на Llama 3.1 8B: при 40% cache hit экономия $466/мес, при 70% — $983/мес. По данным Braintrust, 68% AI-команд в 2026 используют минимум два инструмента: один для тестирования промптов (Promptfoo) и один для observability + деплоя (Langfuse/Helicone).

Экономика кеширования: сколько денег экономит cache hit

Посчитаем на реальных цифрах. Берём production FAQ-бот на Llama 3.1 8B, 1 млн запросов в день, средний промпт + ответ = 800 токенов, vLLM на H100 — ~12 000 токен/сек в batch.

Без кеша: 1M × 800 / 12 000 = 66 667 секунд = 18,5 GPU-часов в день. H100 SXM5 по $2,54/час = $46,99/день = $1 410/мес.

С семантическим кешем при 40% hit rate: 11,1 GPU-часов = $846/мес (экономия $564/мес). При 70%: 5,6 GPU-часов = $427/мес (экономия $983/мес). Цифры — из расчёта Spheron на апрель 2026.

Формула прикидки:

gpu_hours_saved = total_requests × hit_rate × avg_tokens / tokens_per_second / 3600

monthly_savings = gpu_hours_saved × 30 × gpu_hourly_rate

На Claude Sonnet через API экономика другая: 100K запросов/мес × 500 ввод + 300 вывод токенов при $3/$15 за миллион — базовый счёт $600/мес. При 35% hit rate — $395/мес (экономия 34%). Сам кеш добавляет меньше $0,10/час — embedding + Qdrant на одном GPU используют меньше 5 GB VRAM.

Как настроить порог схожести и политики вытеснения

Порог косинусной близости — самая важная ручка в семантическом кеше. Слишком низкий — возвращаете неправильные ответы (ложные hit). Слишком высокий — hit rate падает к нулю.

Рекомендуемые пороги по типу нагрузки:

Политики вытеснения:

TTL-вытеснение — правильный старт по умолчанию. Новости/актуальные события — 24 часа, документация/спеки — 72 часа, FAQ — 7 дней. LRU — когда память ограничена, но без TTL рискуете раздавать устаревшие ответы вечно. Capacity-based — установите максимум записей (например, 500K) и вытесняйте LRU при превышении. Лучшая комбинация: TTL + LRU.

Cache poisoning: валидируйте запросы перед эмбеддингом. Злоумышленник может подобрать запрос, коллизирующий по эмбеддингу с другим запросом, и получить чужой ответ. Namespace кеш по user tier + hash system prompt + model version.

Что ещё важно знать