Свой ChatGPT без подписки
Локальные модели уже догоняют облачные в типовых задачах: перевод, суммаризация, код-ревью, чат по своим документам. Приоритет — приватность: ничего не уходит в сеть, работает офлайн.
LM Studio — как запустить за 10 минут
Скачайте с lmstudio.ai, в поиске моделей выберите под ваше железо: для 16 ГБ RAM — Qwen2.5-14B или Gemma 2 9B в квантовании Q4; для 8 ГБ — 7B-модели. Диалоговый чат выглядит как любой мессенджер, есть локальный API-сервер (OpenAI-совместимый) — можно подключать свои скрипты.
AnythingLLM — чат со своими файлами
Обёртка над моделями с RAG: закидываете PDF/DOCX/заметки — модель отвечает с цитатами из ваших документов. Подходит для локальной работы с договорами, техдоками, базами знаний. Работает с моделями из LM Studio или встроенным движком.
Что по железу
Минимум для 7B Q4 — 8 ГБ RAM (тесновато, но живо); комфорт — 16 ГБ и видеокарта на 8+ ГБ VRAM. На CPU всё тоже работает, просто медленнее: 7B модель даёт ~3–5 токенов/с, что для чата терпимо.
Вердикт
Попробовать стоит каждому — после первого запуска непонятно, как вы раньше обходились без локального «вопросника» с полной приватностью.
Комментарии