Unsloth Docker: запуск и обучение 500+ ИИ-моделей локально

Unsloth Docker — это официальный контейнер, который превращает запуск и обучение больших языковых моделей на вашем компьютере в одну команду. Без ручной установки зависимостей, без конфликтов версий и без часов на настройку окружения. Если вам когда-нибудь хотелось запустить ИИ-модель локально, но вы останавливались на этапе установки, этот инструмент может оказаться полезным.

Разберём, что даёт Unsloth local AI, как работает образ, какие модели поддерживаются и стоит ли связываться с ним, если у вас нет мощной видеокарты. Локальный ИИ Unsloth интересен прежде всего тем, что снимает сложности с установкой, а не только ускоряет обучение.

Что такое Unsloth Docker и зачем он нужен

Unsloth — это инструмент для обучения и запуска моделей, оптимизированный с точки зрения памяти и скорости. Docker-образ упаковывает его целиком: библиотеки, зависимости, окружение JupyterLab и веб-интерфейс Unsloth Studio.

Смысл контейнера в предсказуемости. Обычная установка Unsloth требует совместимых версий CUDA, PyTorch и десятка вспомогательных пакетов. Образ поставляется уже собранным, и вам не нужно разрешать конфликты этих версий вручную.

Официальный образ называется unsloth/unsloth и доступен в Docker Hub. Отдельная сборка unsloth/unsloth-rocm предназначена для видеокарт AMD. Обновление от сентября 2026 года добавило в контейнер Unsloth Studio и поддержку AMD, так что теперь это не только решение для NVIDIA.

Как запустить Unsloth одной командой

Запуск занимает минуту, если Docker уже установлен. Команда загружает образ, поднимает сервисы и запускает обучение и инференс на ваших локальных GPU.

Для NVIDIA GPU команда выглядит так:

docker run -d --name unsloth --gpus all --ipc=host \
  --ulimit memlock=-1 --ulimit stack=67108864 \
  -p 8000:8000 -p 8888:8888 \
  -e JUPYTER_PASSWORD="mypassword" \
  -v "$PWD":/workspace/host \
  -v "$HOME/.cache/huggingface":/workspace/.cache/huggingface \
  -v unsloth-studio:/opt/unsloth-studio \
  unsloth/unsloth

Команду запускают из папки проекта, потому что эта папка монтируется как /workspace/host и становится доступной внутри контейнера.

Что делают флаги: они открывают порты 8000 для Unsloth Studio и 8888 для JupyterLab, а три тома сохраняют ваши файлы, модели и данные интерфейса между перезапусками. Без томов всё скачанное пропадёт при остановке контейнера.

Для Windows то же самое выполняется в PowerShell, синтаксис совместим. Требование к драйверу: NVIDIA 570.26 или новее.

Что можно делать с Unsloth local AI

Возможности делятся на три группы: запуск готовых моделей, обучение своих и работа через веб-интерфейс.

Запуск моделей. Вы можете скачать и запустить квантованные модели в формате GGUF, дистиллированные модели и большие модели вроде Qwen и DeepSeek. Контейнер поддерживает GGUF, MLX и обычные Transformers-модели.

Обучение и дообучение. Unsloth оптимизирован по памяти, и это его главное преимущество. Там, где обычный стек упирается в лимит VRAM, Unsloth может потреблять меньше памяти, позволяя дообучить модель на одной видеокарте среднего класса.

Веб-интерфейс и JupyterLab. Внутри образа работают Unsloth Studio с графической оболочкой и JupyterLab для работы с кодом, так что вы выбираете удобный режим: кликать мышью или писать код.

Контейнер использует общий кэш с ноутбуками и скриптами, поэтому модели не скачиваются заново при переключении между средами. Для больших весов это экономит время и трафик.

Обучение ИИ-моделей локально: зачем это нужно

Локальное обучение решает задачи, которые сложно закрыть облаком.

Приватность. Данные не уходят на сторонние серверы. Если вы работаете с чувствительными текстами или внутренними документами, локальный запуск снимает вопрос передачи данных наружу.

Предсказуемая стоимость. Облачные GPU тарифицируются по времени, и долгий эксперимент выливается в реальные деньги. Локально вы платите один раз за железо и электричество.

Скорость итераций. Не нужно ждать очереди на облачный инстанс и вручную переносить данные. Вы запускаете эксперимент, смотрите результат и меняете параметры на месте.

Контроль версий. Вы сами решаете, какую версию библиотеки использовать, и не зависите от обновлений чужой платформы, которые могут сломать ваш пайплайн.

Есть и сценарий обучения под свою задачу. Вместо того чтобы просить облако дообучить модель на ваших данных, вы делаете это локально и сохраняете контроль над весами. Для команд, которые не могут выгружать данные наружу по политике безопасности, это может быть единственным рабочим вариантом.

Ещё один плюс — возможность экспериментировать с квантизацией. Локально удобно проверять, как модель ведёт себя в разных форматах сжатия, не платя за каждый прогон. Это особенно полезно, если вы готовите модель к запуску на слабом железе.

Какие модели и железо поддерживает Unsloth Docker

Список поддерживаемых моделей растёт с каждым релизом. Контейнер работает с Qwen, DeepSeek, Gemma, MiniMax и другими семействами, включая диффузионные модели вроде FLUX.

По железу Unsloth работает на Windows, Linux и WSL. Поддерживаются конфигурации с несколькими GPU NVIDIA и теперь AMD через отдельный образ. Это важно: раньше владельцы AMD оставались за бортом, а теперь у них есть официальный путь.

Требование к драйверу NVIDIA — 570.26 или новее, и это стоит проверить до запуска. Установите NVIDIA Container Toolkit для доступа к GPU из контейнера, иначе образ запустится, но модель не увидит видеокарту.

Unsloth GUI и Unsloth Studio

тдельно стоит сказать про графическую часть, потому что не все хотят работать в терминале.

Unsloth Studio — это веб-интерфейс внутри контейнера. Он открывается на порту 8000 и позволяет выбрать модель, настроить параметры и запустить обучение без единой строки кода. Для тех, кто пришёл из мира аналитики данных, а не из разработки, это снижает порог входа.

JupyterLab на порту 8888 остаётся для тех, кто предпочитает ноутбуки. Обе среды работают одновременно и делят кэш моделей, так что переключаться между ними можно свободно.

При первом входе задайте пароль через переменную JUPYTER_PASSWORD. Не оставляйте интерфейс без пароля, если компьютер доступен другим пользователям или сети.

Стоит отдельно отметить, что для базового запуска модели код писать не обязательно. Studio закрывает типичные сценарии через графический интерфейс, а JupyterLab остаётся для тех, кому нужен полный контроль над параметрами обучения. Такое разделение удобно: новичок не тонет в коде, а опытный пользователь не ограничен графической оболочкой.

Плюсы и ограничения Unsloth Docker

Плюсы ощутимые:

• Установка в одну команду, без ручной сборки зависимостей.
• Поддержка NVIDIA и AMD.
• Экономия памяти при обучении, что позволяет работать на средней видеокарте.
• Веб-интерфейс и JupyterLab в одном образе.
• Общий кэш моделей между средами.

Ограничения тоже есть, и о них лучше знать заранее:

• Нужна видеокарта NVIDIA или AMD, на встроенной графике обучение не пойдёт.
• Требуется актуальный драйвер, старые версии не подхватят GPU.
• Контейнер занимает много места на диске вместе со скачанными моделями.
• Первый запуск тянет образ целиком, что требует стабильного интернета.

Это инструмент для тех, у кого есть дискретная видеокарта. Без неё смысла запускать контейнер мало.

Добавлю про типичную ошибку новичка. Многие запускают контейнер на ноутбуке со встроенной графикой и удивляются, что обучение идёт на процессоре и занимает часы. Если у вас нет дискретного GPU, локальное обучение в таком виде просто не имеет смысла, и лучше честно оценить железо до запуска.

Безопасность при локальном запуске

• Локальный запуск сам по себе безопаснее облачного, но и здесь есть нюансы.
• Образ официальный, поэтому скачивайте его только из Docker Hub под именем unsloth/unsloth или unsloth/unsloth-rocm. Сторонние сборки могут содержать изменённый код, и проверять их происхождение сложнее.
• Не выставляйте порты контейнера в открытую сеть. Unsloth Studio и JupyterLab работают на портах 8000 и 8888, и, если вы запускаете их на машине с публичным IP, задайте пароль и ограничьте доступ. Открытый JupyterLab без пароля — это готовая дверь в ваше окружение.
• Модели, которые вы скачиваете, тоже стоит выбирать из проверенных источников. Загрузка весов с непроверенных страниц несёт риск, а официальные репозитории обычно проще проверить и безопаснее использовать.

Стоит ли ставить Unsloth Docker

Unsloth Docker — один из наиболее простых способов локально запускать и обучать модели. Если у вас есть NVIDIA- или AMD-видеокарта и желание работать с моделями вне облака, одна команда устраняет большую часть сложностей установки.

Если дискретной видеокарты нет, инструмент вам не подойдёт, и это честное ограничение, а не недостаток. Для остальных это удобная точка входа в локальный ИИ без сложной настройки окружения.