Перейти к содержимому

Локальная нейросеть на ПК: Ollama, LM Studio и 5 шагов запуска

7 ноября 2026 · Александр Ковалев
Локальная нейросеть на ПК: Ollama, LM Studio и 5 шагов запуска

Представьте: у вас папка договоров с клиентами, и нужно быстро вытащить из каждого сроки и суммы. Отправлять такие документы в зарубежный чат-бот не хочется, а то и нельзя. Выход — локальная нейросеть: модель скачивается на ваш компьютер и отвечает без интернета. Проще всего запустить её через бесплатную программу Ollama, а если удобнее окна и кнопки — через LM Studio.

Ниже — зачем это нужно и когда не нужно, какие программы и модели актуальны на октябрь 2026 года, как посчитать память по официальным таблицам, а не на глаз, как пройти первый запуск за пять шагов и подключить модель к редактору кода или WordPress. Версии и цифры проверены по документации разработчиков на 21 октября 2026 года.

Зачем запускать нейросеть у себя

У облачного чата и локальной модели одна и та же природа: это языковая модель, которая продолжает текст. Разница в том, где она работает и кто видит ваш запрос. Причин держать модель у себя обычно четыре.

  • Приватность. Текст не покидает компьютер. В справке Ollama прямо сказано: «We don’t see your prompts or data when you run locally» — при локальном запуске разработчики программы не видят ни запросов, ни данных.
  • Закон о персональных данных. Отправка документов с именами и телефонами клиентов в зарубежный сервис — это трансграничная передача, и статья 12 закона «О персональных данных» требует заранее уведомить Роскомнадзор. Когда модель работает на вашем компьютере или сервере в России, данные никуда не передаются. Остальные обязанности оператора по 152-ФЗ при этом остаются.
  • Работа без интернета. Сеть нужна один раз — скачать программу и модель. Потом модель отвечает и в самолёте, и на объекте без связи.
  • Нет лимитов и подписок. Нет счётчика сообщений и пятичасовых окон. Платите вы железом и электричеством.

Есть и пятая причина, о которой вспоминают реже: предсказуемость. У облачного сервиса за одним и тем же именем модели может в любой день оказаться новая версия. Скачанный файл модели не меняется, пока вы сами его не обновите, и модель ведёт себя одинаково, пока вы её не обновите.

Локальная нейросеть на ноутбуке: документы и модель остаются на рабочем столе без подключения к сети
Документы и модель остаются на одном столе, сетевой кабель не нужен.

Когда локальная нейросеть не нужна

Честно о минусах, чтобы не потратить вечер впустую:

  • Качество ниже, чем у облачных флагманов. На домашнем компьютере помещаются модели на единицы и десятки миллиардов параметров. Крупные открытые модели вроде DeepSeek V4.1 Flash весят сотни гигабайт и требуют сервера с несколькими видеокартами.
  • Длинные документы требуют памяти. Чем больше контекст, тем больше нужно видеопамяти сверх самой модели.
  • Нужна команда — нужен сервер. Модель на ноутбуке доступна только вам. Чтобы ею пользовались коллеги, её придётся ставить на отдельную машину и защищать.

Если документы не содержат персональных данных и коммерческой тайны, а нужен лучший результат, облачная модель обычно проще и сильнее. Локальная выигрывает там, где важнее контроль, чем последний процент качества.

Чем запускать: Ollama, LM Studio, llama.cpp и другие

Программ для запуска моделей десятки, и многие из них, например LM Studio и Jan, работают на одном движке — llama.cpp. Вот основные варианты с версиями на октябрь 2026 года:

Программа Кому подходит Интерфейс Локальный API Лицензия Версия
Ollama всем: от первого запуска до сервера приложение и терминал localhost:11434 MIT 0.40.6 от 16.10.2026
LM Studio тем, кто хочет окна и кнопки приложение, CLI lms localhost:1234 приложение закрытое, бесплатно для дома и работы 0.4.26 от 13.10.2026
llama.cpp разработчикам и тем, кто хочет тонкой настройки терминал 127.0.0.1:9931 MIT сборки выходят почти ежедневно
Jan тем, кому нужен открытый аналог LM Studio приложение localhost:1337 Apache 2.0 0.8.7 от 20.10.2026
Open WebUI командам: веб-чат поверх Ollama браузер подключается к Ollama своя лицензия Open WebUI 0.12.3 от 16.10.2026

Ollama — разумный выбор по умолчанию. Это бесплатная программа для macOS, Windows и Linux с каталогом моделей: одна команда скачивает модель, вторая запускает. С 2025 года у Ollama есть и обычное приложение с окном чата для macOS и Windows. Пока программа запущена, работает и её API, совместимый с форматом OpenAI.

LM Studio удобнее тем, кто не любит терминал: модели ищутся, скачиваются и запускаются в окне программы. С 8 июля 2025 года LM Studio бесплатна и для работы, а не только дома. Код самого приложения закрыт, открыты только CLI и библиотеки.

Пара предупреждений про старые инструкции. С 9 октября 2026 года сервер llama.cpp по умолчанию слушает порт 9931, а не 8080, как было раньше. А GPT4All последний раз выходил 25 февраля 2025 года.

Облачные модели внутри Ollama

Здесь легко ошибиться. Кроме локальных моделей Ollama предлагает облачные, и выглядят они в каталоге почти так же. У облачных в названии есть cloud: например, gemma4:cloud или gpt-oss:120b-cloud. Такие модели не скачиваются, а запросы к ним уходят на серверы Ollama.

Если вам нужна именно локальная нейросеть, облачные функции лучше выключить. Это делается переменной окружения OLLAMA_NO_CLOUD=1 или строкой в файле ~/.ollama/server.json:

{ "disable_ollama_cloud": true }

После перезапуска в журнале Ollama появится строка Ollama cloud disabled: true. Теперь случайно отправить договор в облако не получится.

Сколько нужно памяти: считаем по официальным данным

Главный вопрос перед установкой — поместится ли модель. Для ответа достаточно двух чисел: сколько у модели параметров и сколько бит приходится на один параметр после сжатия, его называют квантованием.

Формула простая: миллиарды параметров × бит на вес ÷ 8 = гигабайты под веса. Самый ходовой формат сжатия Q4_K_M, по замерам в документации llama.cpp, тратит около 4,9 бита на вес. Модель на 8 млрд параметров весит в нём 4,9 ГБ, на 70 млрд — 43,1 ГБ. Без сжатия, в 16 битах, та же 8-миллиардная модель весит около 16 ГБ.

Там же есть важная оговорка: модель целиком загружается в память, поэтому требования к памяти и к диску совпадают. Сколько файл весит на диске, столько он займёт и в памяти. Сверху добавляется контекст — переписка и документы, которые модель держит в голове во время ответа.

У Google для Gemma 4 есть официальная таблица памяти с запасом 20% на служебные нужды, но без учёта контекста:

Модель 16 бит 8 бит 4 бита
Gemma 4 E2B 11,4 ГБ 5,7 ГБ 2,9 ГБ
Gemma 4 E4B 17,9 ГБ 8,9 ГБ 4,5 ГБ
Gemma 4 12B 26,7 ГБ 13,4 ГБ 6,7 ГБ
Gemma 4 26B A4B 57,7 ГБ 28,8 ГБ 14,4 ГБ
Gemma 4 31B 69,9 ГБ 34,9 ГБ 17,5 ГБ

Обратите внимание на 26B A4B. Это модель из «экспертов»: при ответе работают только 4 млрд параметров, но в память, как подчёркивает Google, нужно загрузить все 26 млрд. Поэтому такие модели быстрые, но не маленькие.

Сколько памяти нужно локальной нейросети: 8, 16 и 32 ГБ под модели разного размера
Модель весит в памяти столько же, сколько на диске, и ещё немного уходит на контекст.

Какая модель поместится в вашу память

Ниже размеры моделей из каталога Ollama на октябрь 2026 года. Под памятью имеется в виду видеопамять видеокарты или единая память Mac на Apple Silicon:

Память Что можно запустить Размер в Ollama
8 ГБ qwen3.5:4b, ministral-3:3b, gemma4:e2b 3,3–4,0 ГБ; 3,0 ГБ; 4,6–7,5 ГБ
16 ГБ qwen3.5:9b, gemma4:e4b, gemma4:12b, ministral-3:8b, gpt-oss:20b 6,6–7,6 ГБ; 6,6–9,5 ГБ; 7,7–8,0 ГБ; 6,0 ГБ; 14 ГБ
24–32 ГБ qwen3.8:27b, gemma4:31b, qwen3.6:35b, devstral-small-2 18 ГБ; 19–20 ГБ; 23–24 ГБ; 15 ГБ
64 ГБ и больше gpt-oss:120b, qwen3.5:122b 65 ГБ; 81 ГБ

Разработчики моделей подтверждают эти ориентиры. OpenAI пишет, что gpt-oss-20b работает в 16 ГБ памяти, а gpt-oss-120b — на одной видеокарте с 80 ГБ. Mistral называет Devstral Small 2 достаточно лёгкой для одной RTX 4090 или Mac с 32 ГБ. Для первого знакомства Ollama советует Gemma 4 E2B: загрузка около 7,2 ГБ, рекомендуемая видеопамять — 8 ГБ.

Видеокарта, оперативная память и Mac

Быстрее всего модель работает, когда целиком лежит в видеопамяти. Если видеопамяти не хватает, Ollama переносит часть модели в обычную оперативную память — работать будет, но, как честно предупреждает документация, медленнее. Проверить, где лежит модель, можно командой ollama ps: в колонке PROCESSOR должно стоять 100% GPU.

У Mac на Apple Silicon особая ситуация. Память там единая: процессор и графика берут данные из одного пула без копирования. Поэтому MacBook с 32 ГБ памяти может отдать модели заметную часть этого объёма, а для обычного ПК столько видеопамяти — это видеокарта высокого класса.

Какие открытые модели выбрать в октябре 2026 года

Модели для локального запуска выпускают крупные компании, и лицензии у них разные. Если собираетесь использовать модель в работе, лицензию стоит прочитать до установки:

Семейство Размеры Лицензия Что учесть
Gemma 4 (Google) E2B, E4B, 12B, 26B A4B, 31B Apache 2.0 понимает картинки; есть версии для телефонов
Qwen 3.5, 3.6, 3.8 (Alibaba) в каталоге Ollama от 0,8B до 122B Apache 2.0 у Qwen3.8-Flash-Next и старшей Qwen3.8 свои лицензии
gpt-oss (OpenAI) 20B и 120B Apache 2.0 только текст, вышла 5 августа 2025 года
Ministral 3 и Devstral Small 2 (Mistral) 3B, 8B, 14B и 24B Apache 2.0 Devstral сделана для программирования
Phi-4 (Microsoft) 14B MIT контекст в Ollama всего 16 тыс. токенов
DeepSeek-R1, дистиллированные версии от 1,5B до 70B MIT прошлое поколение, январь 2025 года

С чего начать, если нет предпочтений: на 8 ГБ — qwen3.5:4b или gemma4:e2b, на 16 ГБ — qwen3.5:9b или gemma4:e4b, на 32 ГБ — qwen3.8:27b или gemma4:31b. Возьмите две модели одного размера, задайте обеим одинаковые задачи из своей работы и оставьте ту, что отвечает лучше. Таблицы с рейтингами не заменят проверки на ваших текстах, особенно русских.

Первый запуск за пять шагов

Пройдём путь от установки до работающего API на примере Ollama. Для macOS нужна версия 14 Sonoma или новее, для Windows — Windows 10 22H2 или новее.

  1. Установите Ollama. На macOS и Linux — командой в терминале, на Windows — командой в PowerShell или установщиком с сайта:
    # macOS и Linux
    curl -fsSL https://ollama.com/install.sh | sh
    
    # Windows, PowerShell
    irm https://ollama.com/install.ps1 | iex

    Если нужна строго локальная работа, сразу выключите облако, как описано выше.

  2. Скачайте модель. Для компьютера с 16 ГБ памяти подойдёт qwen3.5:9b:
    ollama pull qwen3.5:9b
    ollama ls

    Вторая команда покажет список скачанных моделей. На Mac они хранятся в папке ~/.ollama/models, перенести хранилище на другой диск можно переменной OLLAMA_MODELS.

  3. Запустите и поговорите. Команда ollama run qwen3.5:9b открывает чат прямо в терминале. Длинный текст из нескольких строк оберните в тройные кавычки """. В соседнем окне выполните ollama ps и проверьте, что модель целиком в видеопамяти.
  4. Увеличьте контекст. Этот шаг легко пропустить. Если видеопамяти меньше 24 ГБ, Ollama по умолчанию даёт модели контекст всего в 4 тысячи токенов, и длинный договор она просто не увидит целиком. Для документов, агентов и кода документация советует от 64 тысяч:
    OLLAMA_CONTEXT_LENGTH=64000 ollama serve

    В приложении Ollama то же самое делается ползунком в настройках. Помните, что больший контекст занимает больше памяти.

  5. Проверьте API. Ollama уже слушает адрес localhost:11434, и с ним работает любая программа, которая умеет говорить с API OpenAI:
    curl http://localhost:11434/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{
        "model": "qwen3.5:9b",
        "messages": [
          {"role": "user", "content": "Перечисли три риска в пункте договора: оплата в течение 90 дней после подписания акта."}
        ]
      }'

    Ключ API локальному серверу не нужен: клиенты OpenAI требуют какое-то значение, но Ollama его игнорирует.

Первый запуск Ollama: установка, загрузка модели, проверка памяти и локальный API на порту 11434
Пять шагов: установка, модель, проверка памяти, контекст и API.

Если удобнее LM Studio

В LM Studio те же шаги делаются в окне: найти модель, скачать, открыть чат. На Mac программа работает только на Apple Silicon с macOS 14 и новее, на Windows с процессором x64 нужна поддержка инструкций AVX2. Разработчики рекомендуют от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти. Для API и автоматизации у LM Studio есть консольная утилита:

lms ls
lms server start

Первая команда покажет скачанные модели, вторая поднимет сервер на localhost:1234, адрес для программ — http://localhost:1234/v1. Новую модель из консоли скачивает lms get с именем модели из каталога LM Studio. Имена там свои и не всегда совпадают с именами в Ollama.

Подключение к редактору кода и WordPress

Локальный API делает модель доступной для любой программы на компьютере. Все четыре популярных сервера говорят на языке OpenAI, отличаются только адреса: Ollama — http://localhost:11434/v1, LM Studio — http://localhost:1234/v1, Jan — http://127.0.0.1:1337/v1, llama.cpp — http://127.0.0.1:9931/v1.

Редактор кода

  • VS Code. Свои модели подключаются без аккаунта GitHub и подписки Copilot, в том числе полностью офлайн. Встроенный провайдер Ollama объявлен устаревшим, вместо него ставят официальное расширение Ollama, как описано в документации VS Code.
  • Continue. Расширение для редакторов кода: в config.yaml указывают provider: ollama и имя модели.
  • Zed и Cline. Оба работают с Ollama и LM Studio, Zed — ещё и с llama.cpp напрямую.
  • Агенты в терминале. Ollama умеет сама запустить Claude Code, Codex или OpenCode со своими моделями: ollama launch claude, ollama launch codex, ollama launch opencode.

Я пишу плагины с Claude Code каждый день, и для агентной работы важны две вещи. Первая — контекст: агенту нужно видеть много файлов сразу, поэтому меньше 64 тысяч токенов ставить нет смысла. Вторая — размер модели: маленькая модель на ноутбуке справится с подсказками в коде и объяснением функции, но многошаговую правку проекта ей лучше не доверять. Как задать агенту правила проекта, чтобы он меньше ошибался, я разбирал в статье про CLAUDE.md и AGENTS.md.

WordPress

Подключить локальную модель к WordPress можно через любой плагин, где разрешено указать свой адрес OpenAI-совместимого API. Адрес — http://localhost:11434/v1, ключ — любой. Но есть ловушка, на которой легко споткнуться: localhost — это та машина, где работает WordPress.

  • Сайт на хостинге, модель на ноутбуке. Не соединится: для хостинга localhost — это сам хостинг. Модель нужно ставить на сервер, который сайт видит.
  • Сайт в Docker на том же компьютере. Из контейнера ваш компьютер доступен по имени host.docker.internal, адрес будет http://host.docker.internal:11434/v1.
  • Модель на отдельной машине в сети. По умолчанию Ollama слушает только 127.0.0.1. Адрес меняется переменной OLLAMA_HOST, например OLLAMA_HOST=0.0.0.0:11434. Но ключ API Ollama игнорирует, то есть любой, кто достучится до порта, сможет пользоваться моделью. Закройте порт файрволом и пускайте только нужные адреса.

Локальная нейросеть как сервер: Ollama отдаёт API редактору кода и сайту на WordPress
Одна модель на одной машине, а пользуются ею редактор и сайт.

Не только текст: картинки и речь

Локально работают не только языковые модели. Для изображений есть ComfyUI: в нём генерация собирается из блоков-узлов, как схема. Проект открыт под лицензией GPL-3.0, последний выпуск 0.42.1 вышел 19 октября 2026 года. А Stable Diffusion WebUI от AUTOMATIC1111 последний раз выходил в феврале 2025 года.

Для распознавания речи есть whisper.cpp — порт модели Whisper на C/C++ от авторов llama.cpp, лицензия MIT. Он превращает запись совещания в текст на вашем компьютере, а дальше этот текст можно отдать языковой модели для конспекта. Запись при этом тоже никуда не уходит.

Если нужно, чтобы модель отвечала по вашей базе документов, обучать её не обязательно. Обычно документы режут на фрагменты, превращают в числовые векторы и подкладывают модели подходящие куски к вопросу. Для векторов в Ollama есть свои модели, например embeddinggemma. Как это устроено, я объяснял в статье про эмбеддинги простыми словами.

Как проверить модель на своих задачах

Рейтинги моделей считают на общих наборах тестов, а вам нужен результат на ваших документах. Проверка занимает около часа и избавляет от разочарований через месяц.

  1. Соберите пять настоящих задач. Например: краткое изложение письма клиента, таблица сроков из договора, ответ на типовой вопрос, исправление текста, перевод абзаца.
  2. Напишите один промпт на задачу и не меняйте его между моделями, иначе сравнение потеряет смысл.
  3. Прогоните две-три модели одного размера. Ответы сохраните в файлы рядом друг с другом.
  4. Проверьте факты вручную. Каждую дату, сумму и фамилию в ответе сверьте с исходником. Красивый, но неточный пересказ хуже короткого и верного.
  5. Засеките время ответа. Модель, которая думает минуту над абзацем, на сотне документов растянется на весь день.

Для задач с документами удобно просить ответ в жёсткой форме, тогда ошибки сразу видны:

Ниже текст договора. Выпиши в таблицу: номер пункта, срок, сумма, ответственная сторона.
Если чего-то в тексте нет, пиши «нет данных». Ничего не додумывай.

Последняя фраза промпта не спасает от выдумок полностью, но заметно облегчает проверку: пропуски видны как «нет данных», а не маскируются правдоподобными цифрами.

Ограничения и частые ошибки

  • Модель «забывает» начало документа. Почти всегда это контекст в 4 тысячи токенов по умолчанию. Увеличьте его, как в шаге 4.
  • Ответы медленные. Модель не помещается в видеопамять и частично работает из оперативной. Проверьте ollama ps и возьмите модель поменьше или сильнее сжатую.
  • Первый ответ после паузы долгий. По умолчанию Ollama держит модель в памяти 5 минут, потом выгружает. Следующий запрос сначала ждёт загрузки.
  • Уверенные выдумки. Маленькие модели знают меньше и чаще сочиняют факты. Проверяйте даты, цифры и цитаты. Почему так происходит, я разбирал в статье о том, почему нейросеть выдумывает факты.
  • Чужая инструкция не работает. Порт llama.cpp сменился на 9931, команды и названия моделей обновляются каждый месяц. Сверяйтесь с документацией программы, а не со статьёй годичной давности.
  • Лицензия не та. Apache 2.0 и MIT разрешают коммерческое использование, но у некоторых моделей, например у Qwen3.8-Flash-Next, свои условия с ограничениями для крупных сервисов.

Частые вопросы о локальных нейросетях

Можно ли запустить локальную нейросеть без видеокарты?

Да, на процессоре и оперативной памяти, но медленнее. Для такого компьютера берите модели на 2–4 млрд параметров. На Mac с Apple Silicon отдельная видеокарта не нужна: модель использует единую память.

Сколько это стоит?

Сами программы бесплатны: Ollama и llama.cpp распространяются под MIT, Jan — под Apache 2.0, LM Studio бесплатна для дома и работы. У Ollama есть платные тарифы от $20 в месяц, но они нужны только для облачных моделей. Локальный запуск входит в бесплатный тариф.

Есть ли локальная нейросеть на телефон?

Да. У Gemma 4 E2B и E4B есть мобильные версии: по таблице Google, младшей нужно около 1,1 ГБ памяти, а в режиме только текста — 0,84 ГБ. Запускаются они через библиотеку LiteRT-LM.

Какая локальная нейросеть лучше для русского языка?

Общего ответа нет: рейтинги меняются с каждым выпуском, а на ваших текстах модели ведут себя по-своему. Проверьте две-три модели нужного размера на своих текстах — это займёт час и даст ответ точнее любого обзора.

Коротко

  • Локальная нейросеть нужна, когда важны приватность, 152-ФЗ и работа без интернета. За лучшим качеством по-прежнему идут в облако.
  • Проще всего начать с Ollama: установка, ollama pull, ollama run. Тем, кто не любит терминал, подойдёт LM Studio.
  • Память считается по формуле «параметры × бит на вес ÷ 8» плюс контекст. В 16 ГБ помещаются модели до 20 млрд параметров в сжатом виде.
  • Если видеопамяти меньше 24 ГБ, Ollama по умолчанию даёт контекст в 4 тысячи токенов — для документов и кода его нужно поднять.
  • Локальный API совместим с OpenAI, поэтому модель подключается к VS Code, Continue, Zed и плагинам WordPress. Но localhost на хостинге — это хостинг, а не ваш компьютер.