Настроить локальный AI-помощник (RAG) на моём ПК
Описание
Нужно настроить локальный AI-помощник (RAG) на моём ПК Что нужно: Настроить локальную систему, которая отвечает на вопросы строго по моим файлам (документы, база знаний). Работает офлайн, данные никуда не уходят. Железо (уже есть): Core i7 + RTX 4090, Windows/Linux. Всё ставится на мой комп.
Задачи
1. Установить Ollama + RAG-систему (Mnemosyne-RAG, AnythingLLM или аналог). 2. Загрузить модели: bge-m3 (эмбеддинги) + компактную генеративную (qwen2.5:7b или похожую). 3. Проиндексировать мою папку с файлами. 4. Настроить промпт, чтобы модель отвечала только по моим данным и говорила «нет в базе», если ответа нет. 5.
Протестировать на 10–15 вопросах, показать ссылки на источники. 6. Обучить меня: как добавлять файлы, переиндексировать, запускать. Что НЕ нужно: · Fine-tune модели (дорого и не нужно). · Облачные API (OpenAI и т.п.). · Аренда серверов и подписки. · Кастомная разработка с нуля — только готовые open-source решения.
Требования
Опыт с Ollama, RAG, векторными базами (FAISS/ChromaDB). Готов приехать в офис Москва. В отклике напишите: 1. С каким стеком будете делать. 2. Сколько времени займёт. 3. Цена и из чего складывается.