Развертывание локальной LLM-станции (Dify + Ollama, Multi-GPU) с полной сетевой изоляцией (Air-Gap)
Описание
Проект: Локальная мультиагентная система (LLMOps) на базе Dify Ищу опытного DevOps/MLOps-инженера для развертывания системы из 5 AI-агентов на выделенной рабочей станции. Система работает строго локально (без облаков) с требованием абсолютной изоляции данных. Оборудование и стек: Железо: RTX 3090 (24GB) + RTX 5060Ti (16GB), 64GB RAM, Windows 10/11 Pro.
Стек: Ollama (2 независимых инстанса), Dify (через Docker Desktop в WSL 2), Powercom WinPower (для ИБП). Модели: DeepSeek-R1-Distill-Qwen-32B (GPU 0), Qwen2.5-Coder-14B (GPU 1). Ключевые задачи (КРИТИЧНО): Изоляция (IP Protection): Настроить систему так, чтобы процессы локальных моделей не имели доступа к внешней сети.
Исходящий трафик от ollama.exe на внешние IP — не более 1 КБ за 5 минут генерации. Multi-GPU: Развернуть два независимых инстанса Ollama (порты 11434 и 11435) на разных GPU. Dify: Развернуть 5 Chat-приложений (не Workflow!) с готовыми заглушками промптов.
ИБП: Настроить корректный graceful shutdown через WinPower при отключении питания (таймер 5 минут + страховка по заряду 30%).