DeepSeek постоянно занят? Разверните его локально с Milvus всего за 10 минут — больше никакого ожидания!
Если вы пробовали использовать DeepSeek-R1 и сталкивались с сообщением «Server is busy. Please try again later,» вы знаете, насколько это может мешать. Ожидание из-за загруженных серверов может прерывать ваш рабочий процесс, особенно когда вам нужны быстрые ответы или вы сосредоточены на задаче.
Практичный способ избежать этого — запускать DeepSeek-R1 прямо на своем компьютере. Это позволяет обойти задержки сервера и получить больше контроля над тем, как и когда вы используете модель. В этом руководстве мы разберем локальную настройку DeepSeek-R1 с помощью нескольких инструментов, которые работают вместе. Ollama поможет вам скачать и запустить модель в вашей системе. Затем мы используем AnythingLLM, чтобы упростить взаимодействие с DeepSeek-R1 через простой интерфейс. Наконец, мы интегрируем Milvus, векторную базу данных, чтобы модель могла обращаться к внешним данным, таким как ваши собственные документы или пользовательская информация, при ответах на вопросы.
Чтобы начать, вам не нужно оборудование топового уровня. DeepSeek-R1 предлагает меньшие версии модели, которые могут работать на более распространенных конфигурациях. Используете ли вы DeepSeek-R1 для работы, исследований или личных проектов, локальная настройка поможет вам избежать проблем с сервером и адаптировать модель под свои потребности. Начнем с настройки DeepSeek-R1 с помощью Ollama.
Развертывание DeepSeek-R1 с помощью Ollama: установка и настройка
Начните с установки Ollama, которая упрощает процесс запуска AI-моделей на вашем локальном компьютере. Сначала перейдите на страницу загрузки Ollama и выберите установщик, соответствующий вашей операционной системе.
Рисунок: страница загрузки Ollama
После завершения загрузки запустите файл и следуйте подсказкам на экране, чтобы завершить настройку. После установки убедитесь, что Ollama настроена правильно, открыв интерфейс командной строки и введя:
ollama --version
Если все установлено правильно, вы увидите номер версии. Эта проверка гарантирует, что ваша среда готова к локальному управлению AI-моделями.
Затем скачайте DeepSeek-R1. Для большинства пользователей версия с 7 миллиардами параметров (7B) обеспечивает практичный баланс между производительностью и требованиями к ресурсам, обычно требуя GPU примерно с 18 GB VRAM. Если ваше оборудование менее мощное, доступна модель 1.5B (около 3.9 GB VRAM). Для продвинутых конфигураций можно рассмотреть полную модель 671B, хотя она требует значительно больше ресурсов. Измените команду ниже в соответствии с нужным вам размером модели:
ollama pull deepseek-r1:7b
Приведенная выше команда скачает указанную модель на ваш компьютер, как показано ниже:
Рисунок: установка deepseek-r1:7b через Ollama на компьютер
После завершения загрузки модели запустите DeepSeek-R1, выполнив:
ollama run deepseek-r1:7b
Замените 7b на 1.5b или другую версию, если вы выбрали другую модель. После запуска модели вы можете начать взаимодействовать с ней, вводя свои запросы прямо в командную строку.
Рисунок: пример сеанса deepseek-r1:7b, где пользователь задает запрос, а модель дает ответ
На скриншоте выше показан пример сеанса, где мы спрашиваем: Кто ты? — и DeepSeek-R1 отвечает представлением, подтверждая, что модель запущена и готова помочь.
Установка и настройка AnythingLLM
Хотя взаимодействие через командную строку подходит для базового тестирования, при постоянном использовании это может быть неудобно. AnythingLLM предоставляет интерфейс в стиле чата, который делает диалоги с локально запущенными моделями более интуитивными. Он также поддерживает несколько бэкендов языковых моделей, предлагает простой способ загружать пользовательские данные и может интегрироваться с векторными базами данных, такими как Milvus. Ниже приведен обзор его возможностей, а также инструкции по установке и подключению к Ollama.
Почему стоит использовать AnythingLLM?
Некоторые из возможностей:
Интерактивный чат: AnythingLLM заменяет ручные запросы в командной строке окном чата, благодаря чему проще видеть ход беседы и обращаться к прошлым запросам.
Централизованное управление моделями: Вы можете запускать разные языковые модели в одном интерфейсе и переключаться между ними, не работая одновременно с несколькими терминалами.
Интеграция данных: Встроенная поддержка векторных баз данных (например, Milvus) позволяет загружать документы, исследовательские файлы или другие ресурсы, чтобы модель могла ссылаться на них при ответах на вопросы.
Простая настройка эмбеддингов: Выберите, какую модель эмбеддингов использовать для преобразования ваших документов и пользовательских запросов в векторы, помогая системе точнее находить релевантную информацию.
Эти функции обеспечивают более удобный рабочий процесс для всех, кому нужно больше, чем базовое взаимодействие через терминал. Давайте посмотрим, как установить и настроить AnythingLLM:
Шаг 1: Скачайте и установите AnythingLLM
Перейдите на сайт AnythingLLM и выберите установщик, соответствующий вашей операционной системе. После скачивания файла запустите его и следуйте подсказкам, чтобы завершить установку. После установки откройте AnythingLLM, и вы увидите страницу или мастер Начать, что означает, что приложение готово к первоначальной настройке.
Шаг 2: Пропуск начальных подсказок
При первом открытии AnythingLLM вы увидите подсказки для Предпочтения LLM, Обработка данных и конфиденциальность и необязательный Опрос. Пока выберите Пропустить на каждом экране, чтобы мы могли показать, как получить доступ к этим параметрам и настроить их внутри самого приложения. Вы не будете видеть эти подсказки каждый раз при запуске AnythingLLM, поэтому знание того, где найти их позже, поможет вам при необходимости изменять настройки или обновлять предпочтения.
Шаг 3: Создание вашего первого рабочего пространства
После пропуска начальных подсказок вам будет предложено создать первое рабочее пространство.
Выберите имя для своего рабочего пространства, а затем нажмите стрелку вправо, чтобы продолжить. Мы назвали наше Milvus-DeepSeek-Local-Deploy. Это рабочее пространство предоставляет отдельную область для организации диалогов и хранения любых документов, которые вы загружаете. После создания вы увидите интерфейс чата:
Здесь вы будете взаимодействовать с DeepSeek-R1 после подключения модели.
Шаг 4: Подключение DeepSeek-R1 к вашему рабочему пространству
Чтобы подключить модель, нажмите кнопку Настройки рядом с названием вашего рабочего пространства. В открывшейся панели выберите Настройки чата. Вы увидите параметры для выбора Поставщика LLM рабочего пространства и настройки модели чата рабочего пространства.
Поскольку мы используем Ollama, выберите Ollama из списка поставщиков. Затем выберите любую модель, которую вы скачали через Ollama, нажав Модель чата рабочего пространства. Сюда входит DeepSeek-R1 (например, в нашем случае deepseek-r1:7b).
Рисунок: Панель настроек чата, где Ollama показан как поставщик LLM, а deepseek-r1:7b as the selected model
После выбора модели сохраните изменения. Теперь ваше рабочее пространство подключено к выбранной модели, что позволяет взаимодействовать с ней напрямую через интерфейс чата. Вернитесь к интерфейсу чата, чтобы начать общение.
Шаг 5: Тестирование модели с помощью запроса
Теперь, когда ваше рабочее пространство подключено к DeepSeek-R1, вы можете проверить, как он отвечает на вопросы, на которых не обучался. Попробуйте спросить: Кто такой Крис Чурило? — и обратите внимание, что модель не дает четкого ответа.
Рисунок: ответ LLM на вопрос «Кто такой Крис Чурило?»
Поскольку у модели нет информации о Крисе Чурило, она не может дать подробный ответ. Этот пробел показывает необходимость внешнего источника знаний. Milvus, векторная база данных, может хранить релевантные данные в виде эмбеддингов о Крисе Чурило, чтобы LLM могла ссылаться на них.
Настройка Milvus и интеграция с AnythingLLM
Перед подключением рабочего пространства к внешним данным вам нужно развернуть векторную базу данных, которая может хранить эмбеддинги (числовые представления данных (например, слов или изображений) в непрерывном векторном пространстве, отражающие их значения или признаки так, что похожие элементы располагаются ближе друг к другу) из ваших пользовательских данных. Давайте посмотрим, как установить Milvus, а затем настроить AnythingLLM для использования его в качестве векторной базы данных, что позволит модели давать более информированные ответы.
Установка Milvus
Сначала убедитесь, что Docker и Docker Compose установлены на вашем компьютере. Затем откройте терминал и загрузите standalone-файл Docker Compose для Milvus, выполнив:
wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml
Затем откройте загруженный файл docker-compose.yml в предпочитаемом текстовом редакторе. Найдите параметры конфигурации в сервисе standalone и обновите поля COMMON_USER и COMMON_PASSWORD, указав желаемые учетные данные.
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
COMMON_USER: milvus
COMMON_PASSWORD: milvus
Мы используем эти учетные данные позже при настройке AnythingLLM для подключения к Milvus. После сохранения изменений вернитесь в терминал и запустите Milvus, выполнив следующую команду:
docker-compose up -d
Эта команда запускает Milvus в фоновом режиме. Вы можете убедиться, что Milvus работает, проверив контейнеры Docker с помощью docker ps или посетив его endpoint проверки работоспособности, если он настроен.
Рисунок: запуск Milvus с помощью docker compose в командной строке
Теперь, когда Milvus установлен, мы готовы интегрировать его с AnythingLLM, чтобы ваше рабочее пространство могло использовать этот внешний источник данных для улучшения ответов модели.
Интеграция Milvus с AnythingLLM
Теперь, когда Milvus запущен, давайте настроим AnythingLLM для хранения и извлечения эмбеддингов для ваших пользовательских данных. Выполните приведенные ниже шаги, чтобы включить ответы, более ориентированные на контекст, от вашей модели DeepSeek-R1.
1. Откройте настройки
Нажмите кнопку Open Settings в левом нижнем углу интерфейса AnythingLLM. Откроется панель с несколькими категориями конфигурации.
Рисунок: основной интерфейс AnythingLLM с выделенной кнопкой Open Settings
2. Выберите векторную базу данных
На панели настроек разверните AI Providers и выберите Vector Database. В разделе Vector Database Provider выберите Milvus. Появятся поля для адреса и учетных данных, которые вы настроили в файле Docker Compose для Milvus:
Milvus DB Address:
http://localhost:19530Milvus Username: (имя пользователя, которое вы задали)
Milvus Password: (пароль, который вы задали)
Нажмите Save, чтобы подтвердить настройки.
Рисунок: настройки векторной базы данных в AnythingLLM с выбранным Milvus
3. Выберите Embedder (необязательно)
По-прежнему в разделе AI Providers вы можете выбрать другую модель эмбеддингов, если хотите. Если выбор не сделан, AnythingLLM использует свой embedder по умолчанию. Этот шаг необязателен для базового использования, но может быть полезен, если вы хотите оптимизировать способ векторизации текста. В этом случае мы будем использовать вариант по умолчанию.
Рисунок: выбор модели эмбеддингов в AnythingLLM, если применимо
4. Загрузите документы
Вернитесь к основному интерфейсу или представлению вашего workspace. Загрузите любые документы, на которые модель должна ссылаться, перетащив их или выбрав через интерфейс. AnythingLLM отобразит ваши файлы, готовые к созданию эмбеддингов.
Рисунок: область загрузки документов с недавно добавленными файлами
5. Переместите документы в Workspace
Когда ваши документы появятся, выберите каждый файл и нажмите Move to Workspace. В правой панели нажмите Save and Embed. AnythingLLM преобразует документы в векторные эмбеддинги и сохранит их в Milvus, сделав содержимое доступным для DeepSeek-R1.
Рисунок: перемещение документов в workspace и создание их эмбеддингов
После выполнения этих шагов ваша модель DeepSeek-R1 сможет ссылаться на встроенные документы. Например, если теперь спросить: Кто такая Chris Churilo?. Модель будет знать, кто она, как вы можете видеть ниже:
Рисунок: DeepseekR1 думает, как ответить на запрос Кто такая Chris Churilo? с использованием Milvus
Модель делает это, выполняя поиск соответствующей информации, хранящейся в Milvus, и предоставляет более подробный ответ, чем раньше. Вот окончательный ответ на наш запрос.
Рисунок: DeepseekR1 отвечает на запрос Кто такая Chris Churilo? с использованием Milvus
Теперь модель отвечает подробным ответом, который ссылается на загруженный документ. На скриншоте выше видно, как модель извлекает релевантные сведения о роли, биографии и вкладе Chris Churilo — информацию, которая была недоступна до интеграции Milvus. Этот улучшенный ответ демонстрирует ценность сочетания локального развертывания LLM с векторной базой данных для создания более информированного и контекстно-осведомленного AI-опыта.
Проверка коллекций в Milvus
После того как вы создали эмбеддинги документов через AnythingLLM, вы можете убедиться, что Milvus корректно их хранит, выведя список ваших коллекций. Если вы еще не установили pymilvus, сначала установите его с помощью этой команды:
pip install pymilvus
Затем выполните следующий Python-код, чтобы подключиться к Milvus, получить список коллекций и вывести их имена:
from pymilvus import MilvusClient
# Connect to Milvus
client = MilvusClient(uri="http://localhost:19530") # Replace with your URI if it's different
# List all collections
collections = client.list_collections()
# Print results
print(f"Found {len(collections)} collections:")
for idx, collection in enumerate(collections, 1):
print(f"{idx}. {collection}")
# Optional: Close the connection when done
client.close()
Если вы только что установили Milvus, вы не увидите много коллекций. Однако после использования AnythingLLM для создания эмбеддингов документов вы заметите новую коллекцию, названную в честь использованного workspace. В примере вывода ниже соответствующая коллекция указана как 21. Anythingllm_milvus_deepseek_local_deploy.
Это подтверждает, что AnythingLLM успешно создал выделенную коллекцию в Milvus для хранения эмбеддингов ваших загруженных данных.
Мы рассмотрели развертывание DeepSeek-R1 локально, настройку AnythingLLM для удобного пользовательского интерфейса и интеграцию Milvus в качестве векторной базы данных. Такая конфигурация позволяет модели получать доступ к пользовательским данным и эффективнее отвечать на вопросы.
Заключение
Локальная настройка DeepSeek-R1 с помощью Ollama, AnythingLLM и Milvus открывает новые возможности для кастомизации и улучшения ваших рабочих процессов ИИ. Этот подход не только дает вам полный контроль над вашей средой, но и позволяет вашей модели получать доступ к конкретным источникам данных, повышая ее релевантность и точность. С такой конфигурацией вы больше не ограничены доступностью серверов или шаблонными ответами — ваш ИИ теперь может работать напрямую с предоставленной вами информацией, адаптированной под ваши потребности.
Дополнительные ресурсы
Читать далее
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.