Локальная нейросеть работает прямо на компьютере: запросы, документы и ответы можно оставить внутри устройства. Разбираемся, какой ПК потребуется, чем отличаются Ollama и LM Studio и как подобрать модель без бесконечных ошибок памяти. Материал актуален на 17 августа 2026 года.
Что значит запустить нейросеть локально
При локальном запуске файл модели хранится на диске, а вычисления выполняют процессор, видеокарта или единая память компьютера. После загрузки модели базовый чат может работать без интернета. Это отличается от приложения облачного сервиса: установленный клиент ChatGPT все равно отправляет запросы на серверы OpenAI.
Главные преимущества локального варианта – контроль над файлами, офлайн-режим и отсутствие платы за каждый запрос. Компромиссы тоже заметны: домашняя модель обычно слабее облачного флагмана, занимает гигабайты на диске, требует памяти и не получает актуальные сведения из интернета без отдельного поиска.
Ollama или LM Studio – что выбрать
LM Studio удобнее для первого знакомства. У него есть графический интерфейс, каталог GGUF-моделей, настройки контекста и выгрузки слоев на GPU. Программа умеет заранее оценить расход памяти и запустить локальный OpenAI-совместимый сервер.
Ollama подходит тем, кто готов работать с командами и подключать модель к редактору кода, боту или собственному приложению. Он загружает модели из каталога, запускает локальный API на компьютере и показывает, используется ли GPU.
Проверяем компьютер перед установкой
LM Studio рекомендует для Windows не менее 16 ГБ оперативной памяти и 4 ГБ выделенной видеопамяти. Для x64-процессора требуется AVX2. Ollama работает на актуальных версиях Windows 10 и 11, macOS и Linux, а поддержка GPU зависит от видеокарты и драйверов.
- Оперативная память. В ней размещаются модель, контекст разговора и служебные данные.
- Видеопамять. Если модель помещается в VRAM, ответы обычно появляются заметно быстрее.
- Свободное место. Одна модель занимает от нескольких до десятков гигабайт, а разные квантизации скачиваются отдельными файлами.
- Контекст. Чем больше документов и сообщений модель должна помнить одновременно, тем больше памяти занимает KV-кэш.
Сколько RAM и VRAM нужно локальной нейросети
Точные требования зависят от архитектуры, квантизации, длины контекста и мультимодальных компонентов. Следующие значения – практические ориентиры, а не гарантия запуска каждой модели.
- 8 ГБ RAM: компактные модели класса 3B–4B с коротким контекстом. Система может активно использовать файл подкачки.
- 16 ГБ RAM: разумный минимум для Q4-моделей класса 4B–8B и повседневного чата.
- 32 ГБ RAM: модели примерно 12B–20B, более длинные документы и запас для других программ.
- 64 ГБ RAM: многие квантизированные модели класса 30B–32B с частичной загрузкой на GPU.
- 96 ГБ RAM и больше: модели класса 70B, но скорость без мощной видеокарты может остаться низкой.
- 4 ГБ VRAM: начальный уровень для небольших моделей и частичного GPU-offload.
- 8 ГБ VRAM: распространенный вариант для моделей около 7B–8B в Q4.
- 12–16 ГБ VRAM: часть моделей 12B–20B и увеличенный контекст.
- 24 ГБ VRAM: многие модели около 30B в четырехбитной квантизации.
Как выбрать модель и квантизацию
Для первого запуска лучше выбрать инструктивную модель класса 4B–8B с поддержкой русского языка. Qwen3, Gemma 3 и другие открытые семейства доступны в нескольких размерах. У каждой сборки нужно проверить карточку модели, лицензию, дату обновления и поддерживаемые языки.
Обозначения Q4, Q5 и Q8 показывают степень сжатия весов. Q4_K_M часто становится удачной стартовой точкой: файл заметно меньше исходного, а качество сохраняется на приемлемом уровне. Q5 и Q8 требуют больше памяти, но могут точнее воспроизводить возможности модели. Мультимодальные сборки, которые анализируют картинки, расходуют дополнительную память.
Как установить и запустить модель через Ollama
- Скачайте Ollama только с официального сайта и установите приложение.
- Откройте PowerShell или терминал и выполните команду ollama run qwen3:4b. Ollama загрузит модель и откроет чат.
- В другом окне выполните ollama ps, чтобы увидеть процессор, GPU и занятую память.
- Для интеграций используйте локальный API по адресу http://localhost:11434. Не открывайте этот порт в интернет.
- Чтобы удалить ненужную модель и освободить диск, используйте ollama rm имя-модели.
Ollama различает локальные и облачные модели. Если нужна строгая офлайн-работа, отключите cloud-функции и не выбирайте теги с пометкой cloud. Локальный запуск сам по себе не добавляет веб-поиск: свежие данные придется передавать модели отдельно.
Как запустить модель в LM Studio
- Установите LM Studio с официального сайта и откройте каталог моделей.
- Найдите нужную GGUF-сборку и начните с варианта Q4_K_M подходящего размера.
- Перед загрузкой проверьте оценку памяти. В CLI это делает команда lms load --estimate-only с ключом модели.
- Загрузите модель, уменьшите контекст при нехватке памяти и настройте GPU-offload.
- Откройте локальный чат или включите OpenAI-совместимый сервер для подключения других программ.
Приватность и безопасность
Локальная модель повышает контроль над данными, но не делает компьютер автоматически безопасным. Шифруйте диск, ограничивайте доступ к рабочим папкам и проверяйте плагины. Не загружайте исполняемые файлы из случайных репозиториев вместе с весами модели.
- Не публикуйте локальный API в интернет без авторизации и сетевых ограничений.
- Проверьте, не включает ли интерфейс облачный поиск, телеметрию или удаленную модель.
- Скачивайте модели из официальных каталогов и изучайте лицензию перед коммерческим использованием.
- Не считайте ответ локальной модели фактом: она также способна придумывать ссылки и уверенно ошибаться.
Что делать при ошибках и медленной работе
- Out of memory: выберите меньшую модель или Q4, сократите контекст и уменьшите GPU-offload.
- Ответы идут через CPU: обновите драйверы и проверьте размещение модели командой ollama ps.
- Очень низкая скорость: часть весов не помещается в видеопамять или система использует файл подкачки.
- Слабый русский язык: смените семейство модели и проверьте его карточку на Hugging Face или в каталоге приложения.
- Закончился диск: удалите неиспользуемые квантизации. Несколько вариантов одной модели занимают место независимо друг от друга.
Какую конфигурацию выбрать
Для старого офисного компьютера подойдут модели 3B–4B. ПК с 16 ГБ RAM и 8 ГБ VRAM разумно начинать с 7B–8B Q4. При 32 ГБ RAM и 12–16 ГБ VRAM можно пробовать модели 12B–20B. Система с 64 ГБ RAM и видеокартой на 24 ГБ открывает доступ ко многим 30B–32B-моделям.
Лучший способ выбора – скачать компактную модель, измерить скорость на собственных задачах и только затем увеличивать размер. Если критичны веб-поиск, свежие данные и максимальное качество, облачный сервис останется удобнее. Если важны документы, приватность и предсказуемая стоимость, локальная модель может стать основным инструментом.
