Корпоративная база знаний с AI-чатом уже не «приятно иметь», а необходимость. Но стоимость внешних LLM-API быстро съедает бюджет — особенно когда команда активно пользуется чатом каждый день. Рассказываем, как подключить FreeLLMAPI к Unishift и получить полноценную AI-инфраструктуру почти без затрат на токены.
Проблема: дорогое API
При ежедневном использовании AI-чата команда «съедает» токены очень быстро. Вот типичная нагрузка для небольшой компании:
|
Параметр |
Значение |
|---|---|
|
Сотрудников |
5 |
|
Запросов в день на сотрудника |
20 |
|
Токенов на запрос (средне) |
~4 000 |
|
Токенов в день |
2 000 000 |
|
Токенов в месяц (22 раб. дня) |
~44 000 000 |
44 миллиона токенов в месяц — это реальный объём для небольшой команды, которая действительно работает с AI каждый день. 1 млн токенов закончится уже за первую смену.
Решение: FreeLLMAPI как провайдер токенов
FreeLLMAPI (https://github.com/tashfeenahmed/freellmapi) — агрегатор бесплатных LLM-провайдеров:
-
7,4 млрд токенов в месяц — бесплатного лимита хватит на полтора года работы команды
-
34 провайдера в пуле, 635 модельных эндпоинтов
-
Единый
/v1-эндпоинт — стандартный OpenAI-совместимый интерфейс -
Автоматический failover — при падении одного провайдера запрос уходит на следующий
-
Подключение к Unishift за пару минут в настройках AI-провайдера
Unishift из коробки поддерживает любые OpenAI-совместимые эндпоинты, поэтому интеграция сводится к указанию URL и ключа.
Безопасность: встроенный DLP
Бесплатные модели живут на сторонних серверах, и каждый запрос технически «видит» провайдер. Unishift закрывает этот риск встроенным DLP:
-
Фильтрация на входе — данные с метками «конфиденциально», «коммерческая тайна», PII не покидают периметр
-
Контроль контекста — документы из защищённых разделов не попадают в промпт
-
Аудит — полный лог всех запросов к модели
-
Политики по группам — разные правила для разных ролей
Вы пользуетесь бесплатными моделями, но чувствительные данные в них не уходят.
Экономика: сколько мы платим
|
Статья |
Коммерческое LLM-API |
Unishift + FreeLLMAPI |
|---|---|---|
|
Токены (44 млн/мес) |
~44 000 ₽* |
0 ₽ (в рамках лимита) |
|
Хостинг / VPS |
— |
~1 500 ₽ |
|
Итого в месяц |
~44 000 ₽ |
~1 500 ₽ |
|
Итого в год |
~528 000 ₽ |
~18 000 ₽ |
* Средневзвешенная стоимость ~1 000 ₽ за 1 млн токенов (смесь input/output для mid-tier моделей: GPT-3.5-класс, Llama, Mistral). Для premium-моделей (GPT-4, Claude) цифра выше — до 50 000–100 000 ₽/мес.
Экономия: порядка 500 000 ₽ в год на одной только статье «токены», при том что единственная регулярная трата — VPS за 1 500 ₽.
Ограничения и что с ними делать
Лицензия FreeLLMAPI. Проект помечен как personal experimentation only. Для промышленного использования:
-
Прогнать вопрос через юрисконсульт
-
Изучить ToS конкретных провайдеров в пуле
-
Разумная стратегия: использовать как основной канал для рутинных запросов, а для критичных задач подключить платный эндпоинт (Unishift позволяет задать несколько провайдеров и маршрутизировать по правилам)
Стабильность. Бесплатные эндпоинты могут падать или тrottling'ить. Встроенный failover FreeLLMAPI переключает запрос на следующий провайдер из 635 доступных, но для 100% SLA стоит держать один платный эндпоинт как fallback.
Качество. Бюджетные модели уступают GPT-4/Claude в точности на сложных задачах. Для большинства сценариев базы знаний (поиск по документам, ответы на вопросы по инструкциям, черновики писем) этого достаточно. Для аналитики и кода — подключите платную модель только для этих типов запросов.
Как подключить (кратко)
-
Разворачиваете Unishift на своём VPS (~1 500 ₽/мес).
-
Загружаете документы в базу знаний, настраиваете роли и доступы.
-
В настройках AI-провайдера указываете эндпоинт FreeLLMAPI и API-ключ.
-
Настраиваете DLP-политики: какие разделы нельзя отправлять во внешнюю модель.
-
Тестируете на «чистых» данных, потом открываете команде.
-
Следите за дашбордом: расход токенов, топ запросов, триггеры DLP.
Итог
|
|
|
|---|---|
|
Экономия на токенах |
~42 500 ₽/мес |
|
Экономия в год |
~510 000 ₽ |
|
Постоянные затраты |
1 500 ₽/мес (VPS) |
|
Безопасность |
DLP из коробки, чувствительные данные не уходят |
|
Сложность подключения |
1–2 часа |
Для небольшой компании, которая хочет дать команде доступ к AI без пятизначных ежемесячных счетов, связка Unishift + FreeLLMAPI — рабочий вариант уже сегодня.
Перед промышленным запуском согласуйте использование FreeLLMAPI с юридической службой и проверьте актуальные условия провайдеров в пуле.