← Блог

Как бизнесу сэкономить на AI-инфраструктуре: Unishift + FreeLLMAPI

Корпоративная база знаний с AI-чатом уже не «приятно иметь», а необходимость. Но стоимость внешних LLM-API быстро съедает бюджет — особенно когда команда активно пользуется чатом каждый день. Рассказываем, как подключить FreeLLMAPI к Unishift и получить полноценную AI-инфраструктуру почти без затрат на токены.


Проблема: дорогое API

При ежедневном использовании AI-чата команда «съедает» токены очень быстро. Вот типичная нагрузка для небольшой компании:

Параметр

Значение

Сотрудников

5

Запросов в день на сотрудника

20

Токенов на запрос (средне)

~4 000

Токенов в день

2 000 000

Токенов в месяц (22 раб. дня)

~44 000 000

44 миллиона токенов в месяц — это реальный объём для небольшой команды, которая действительно работает с AI каждый день. 1 млн токенов закончится уже за первую смену.


Решение: FreeLLMAPI как провайдер токенов

FreeLLMAPI (https://github.com/tashfeenahmed/freellmapi) — агрегатор бесплатных LLM-провайдеров:

  • 7,4 млрд токенов в месяц — бесплатного лимита хватит на полтора года работы команды

  • 34 провайдера в пуле, 635 модельных эндпоинтов

  • Единый /v1-эндпоинт — стандартный OpenAI-совместимый интерфейс

  • Автоматический failover — при падении одного провайдера запрос уходит на следующий

  • Подключение к Unishift за пару минут в настройках AI-провайдера

Unishift из коробки поддерживает любые OpenAI-совместимые эндпоинты, поэтому интеграция сводится к указанию URL и ключа.


Безопасность: встроенный DLP

Бесплатные модели живут на сторонних серверах, и каждый запрос технически «видит» провайдер. Unishift закрывает этот риск встроенным DLP:

  • Фильтрация на входе — данные с метками «конфиденциально», «коммерческая тайна», PII не покидают периметр

  • Контроль контекста — документы из защищённых разделов не попадают в промпт

  • Аудит — полный лог всех запросов к модели

  • Политики по группам — разные правила для разных ролей

Вы пользуетесь бесплатными моделями, но чувствительные данные в них не уходят.


Экономика: сколько мы платим

Статья

Коммерческое LLM-API

Unishift + FreeLLMAPI

Токены (44 млн/мес)

~44 000 ₽*

0 ₽ (в рамках лимита)

Хостинг / VPS

—

~1 500 ₽

Итого в месяц

~44 000 ₽

~1 500 ₽

Итого в год

~528 000 ₽

~18 000 ₽

* Средневзвешенная стоимость ~1 000 ₽ за 1 млн токенов (смесь input/output для mid-tier моделей: GPT-3.5-класс, Llama, Mistral). Для premium-моделей (GPT-4, Claude) цифра выше — до 50 000–100 000 ₽/мес.

Экономия: порядка 500 000 ₽ в год на одной только статье «токены», при том что единственная регулярная трата — VPS за 1 500 ₽.


Ограничения и что с ними делать

Лицензия FreeLLMAPI. Проект помечен как personal experimentation only. Для промышленного использования:

  • Прогнать вопрос через юрисконсульт

  • Изучить ToS конкретных провайдеров в пуле

  • Разумная стратегия: использовать как основной канал для рутинных запросов, а для критичных задач подключить платный эндпоинт (Unishift позволяет задать несколько провайдеров и маршрутизировать по правилам)

Стабильность. Бесплатные эндпоинты могут падать или тrottling'ить. Встроенный failover FreeLLMAPI переключает запрос на следующий провайдер из 635 доступных, но для 100% SLA стоит держать один платный эндпоинт как fallback.

Качество. Бюджетные модели уступают GPT-4/Claude в точности на сложных задачах. Для большинства сценариев базы знаний (поиск по документам, ответы на вопросы по инструкциям, черновики писем) этого достаточно. Для аналитики и кода — подключите платную модель только для этих типов запросов.


Как подключить (кратко)

  1. Разворачиваете Unishift на своём VPS (~1 500 ₽/мес).

  2. Загружаете документы в базу знаний, настраиваете роли и доступы.

  3. В настройках AI-провайдера указываете эндпоинт FreeLLMAPI и API-ключ.

  4. Настраиваете DLP-политики: какие разделы нельзя отправлять во внешнюю модель.

  5. Тестируете на «чистых» данных, потом открываете команде.

  6. Следите за дашбордом: расход токенов, топ запросов, триггеры DLP.


Итог

 

 

Экономия на токенах

~42 500 ₽/мес

Экономия в год

~510 000 ₽

Постоянные затраты

1 500 ₽/мес (VPS)

Безопасность

DLP из коробки, чувствительные данные не уходят

Сложность подключения

1–2 часа

Для небольшой компании, которая хочет дать команде доступ к AI без пятизначных ежемесячных счетов, связка Unishift + FreeLLMAPI — рабочий вариант уже сегодня.

Перед промышленным запуском согласуйте использование FreeLLMAPI с юридической службой и проверьте актуальные условия провайдеров в пуле.