DeepSeek immer ausgelastet? Stelle es lokal mit Milvus in nur 10 Minuten bereit—kein Warten mehr!
Wenn Sie versucht haben, DeepSeek-R1 zu verwenden, und dabei die Meldung „Server is busy. Please try again later,“ erhalten haben, wissen Sie, wie störend das sein kann. Das Warten auf ausgelastete Server kann Ihren Arbeitsablauf unterbrechen, insbesondere wenn Sie schnelle Antworten benötigen oder sich auf eine Aufgabe konzentrieren.
Eine praktische Möglichkeit, dies zu vermeiden, besteht darin, DeepSeek-R1 direkt auf Ihrem eigenen Rechner auszuführen. So können Sie Serververzögerungen umgehen und haben mehr Kontrolle darüber, wie und wann Sie das Modell verwenden. In diesem Leitfaden gehen wir die lokale Einrichtung von DeepSeek-R1 mithilfe einiger Tools durch, die zusammenarbeiten. Ollama hilft Ihnen dabei, das Modell auf Ihr System herunterzuladen und auszuführen. Anschließend verwenden wir AnythingLLM, um die Interaktion mit DeepSeek-R1 über eine einfache Oberfläche zu erleichtern. Schließlich integrieren wir Milvus, eine Vektordatenbank, damit das Modell beim Beantworten von Fragen auf externe Daten wie Ihre eigenen Dokumente oder benutzerdefinierte Informationen Bezug nehmen kann.
Sie benötigen keine Spitzenhardware, um loszulegen. DeepSeek-R1 bietet kleinere Versionen des Modells, die auf gängigeren Setups ausgeführt werden können. Ganz gleich, ob Sie DeepSeek-R1 für die Arbeit, Forschung oder persönliche Projekte verwenden: Die lokale Einrichtung hilft Ihnen, Serverprobleme zu vermeiden und das Modell an Ihre Bedürfnisse anzupassen. Beginnen wir mit der Einrichtung von DeepSeek-R1 mit Ollama.
Bereitstellung von DeepSeek-R1 mit Ollama: Installation und Einrichtung
Beginnen Sie mit der Installation von Ollama, das den Prozess der Ausführung von KI-Modellen auf Ihrem lokalen Rechner vereinfacht. Besuchen Sie zunächst die Ollama-Downloadseite und wählen Sie das Installationsprogramm aus, das Ihrem Betriebssystem entspricht.
Abbildung: Ollama-Downloadseite
Sobald der Download abgeschlossen ist, führen Sie ihn aus und folgen Sie den Anweisungen auf dem Bildschirm, um die Einrichtung abzuschließen. Überprüfen Sie nach der Installation, ob Ollama korrekt eingerichtet ist, indem Sie Ihre Befehlszeilenschnittstelle öffnen und Folgendes eingeben:
ollama --version
Wenn alles ordnungsgemäß installiert ist, wird die Versionsnummer angezeigt. Diese Überprüfung stellt sicher, dass Ihre Umgebung bereit ist, KI-Modelle lokal zu verwalten.
Laden Sie als Nächstes DeepSeek-R1 herunter. Für die meisten Benutzer bietet die Version mit 7 Milliarden Parametern (7B) ein praktisches Gleichgewicht zwischen Leistung und Ressourcenbedarf und erfordert in der Regel eine GPU mit etwa 18 GB VRAM. Wenn Ihre Hardware weniger leistungsfähig ist, steht das 1.5B-Modell (etwa 3,9 GB VRAM) zur Verfügung. Für fortgeschrittene Setups können Sie das vollständige 671B-Modell in Betracht ziehen, obwohl es deutlich höhere Ressourcen erfordert. Passen Sie den folgenden Befehl entsprechend der gewünschten Modellgröße an:
ollama pull deepseek-r1:7b
Der obige Befehl lädt das angegebene Modell wie unten gezeigt auf Ihren Computer herunter:
Abbildung: Installation von deepseek-r1:7b über Ollama auf einem Computer
Sobald der Modelldownload abgeschlossen ist, starten Sie DeepSeek-R1, indem Sie Folgendes ausführen:
ollama run deepseek-r1:7b
Ersetzen Sie 7b durch 1.5b oder eine andere Version, wenn Sie ein anderes Modell gewählt haben. Nachdem das Modell gestartet ist, können Sie mit ihm interagieren, indem Sie Ihre Prompts direkt in die Befehlszeile eingeben.
Abbildung: Eine deepseek-r1:7b-Beispielsitzung, in der ein Benutzer eine Anfrage stellt und das Modell eine Antwort gibt
Der obige Screenshot zeigt eine Beispielsitzung, in der wir fragen: Who are you? und DeepSeek-R1 mit einer Einführung antwortet, was bestätigt, dass das Modell läuft und bereit ist zu helfen.
Installation und Konfiguration von AnythingLLM
Während die Interaktion über die Befehlszeile für grundlegende Tests funktioniert, kann sie bei fortlaufender Nutzung umständlich sein. AnythingLLM bietet eine Chat-ähnliche Oberfläche, die Gespräche mit Ihren lokal ausgeführten Modellen intuitiver macht. Es unterstützt außerdem mehrere Backends für Sprachmodelle, bietet eine unkomplizierte Möglichkeit zum Hochladen benutzerdefinierter Daten und kann in Vektordatenbanken wie Milvus integriert werden. Nachfolgend finden Sie einen Überblick über seine Funktionen sowie darüber, wie Sie es installieren und mit Ollama verbinden.
Warum AnythingLLM verwenden?
Einige der Funktionen sind:
Interaktiver Chat: AnythingLLM ersetzt manuelle Befehlszeilen-Prompts durch ein Chatfenster, wodurch es einfacher wird, Ihren Gesprächsverlauf zu sehen und auf frühere Anfragen Bezug zu nehmen.
Zentralisierte Modellverwaltung: Sie können verschiedene Sprachmodelle über eine einzige Oberfläche ausführen und zwischen ihnen wechseln, ohne mehrere Terminals verwalten zu müssen.
Datenintegration: Integrierte Unterstützung für Vektordatenbanken (wie Milvus) ermöglicht es Ihnen, Dokumente, Forschungsdateien oder andere Ressourcen hochzuladen, damit das Modell beim Beantworten von Fragen darauf Bezug nehmen kann.
Einfache Embeddings-Konfiguration: Wählen Sie aus, welches Embedding-Modell verwendet werden soll, um Ihre Dokumente und Benutzeranfragen in Vektoren umzuwandeln, damit das System relevante Informationen genauer finden kann.
Diese Funktionen bieten einen reibungsloseren Workflow für alle, die mehr als einfache Terminalinteraktionen benötigen. Sehen wir uns an, wie wir AnythingLLM installieren und konfigurieren können:
Schritt 1: AnythingLLM herunterladen und installieren
Gehen Sie zur AnythingLLM-Website und wählen Sie das Installationsprogramm aus, das zu Ihrem Betriebssystem passt. Nachdem die Datei heruntergeladen wurde, führen Sie sie aus und folgen Sie den Anweisungen, um die Einrichtung abzuschließen. Öffnen Sie nach der Installation AnythingLLM, und Sie werden von einer Get Started-Seite oder einem Assistenten begrüßt, was darauf hinweist, dass die Anwendung für ihre Erstkonfiguration bereit ist.
Schritt 2: Erste Eingabeaufforderungen überspringen
Wenn Sie AnythingLLM zum ersten Mal öffnen, sehen Sie Eingabeaufforderungen für LLM Preference, Data Handling & Privacy und eine optionale Survey. Wählen Sie vorerst auf jedem Bildschirm Skip, damit wir zeigen können, wie Sie innerhalb der App selbst auf diese Optionen zugreifen und sie konfigurieren. Sie werden diese Eingabeaufforderungen nicht jedes Mal sehen, wenn Sie AnythingLLM starten. Daher hilft es Ihnen, zu wissen, wo Sie sie später finden, um Einstellungen anzupassen oder Präferenzen bei Bedarf zu aktualisieren.
Schritt 3: Ihren ersten Workspace erstellen
Nachdem Sie die ersten Eingabeaufforderungen übersprungen haben, werden Sie aufgefordert, Ihren ersten Workspace zu erstellen.
Wählen Sie einen Namen für Ihren Workspace und klicken Sie dann auf den Rechtspfeil, um fortzufahren. Wir haben unseren Milvus-DeepSeek-Local-Deploy genannt. Dieser Workspace bietet einen dedizierten Bereich zum Organisieren von Gesprächen und zum Speichern aller Dokumente, die Sie hochladen. Nach der Erstellung sehen Sie die Chatoberfläche:
Hier werden Sie mit DeepSeek-R1 interagieren, nachdem wir das Modell verbunden haben.
Schritt 4: DeepSeek-R1 mit Ihrem Workspace verbinden
Um Ihr Modell zu verbinden, klicken Sie auf die Schaltfläche Settings neben Ihrem Workspace-Namen. Wählen Sie im geöffneten Bereich Chat Settings aus. Sie sehen Optionen zur Auswahl eines Workspace LLM Provider und zum Festlegen eines Workspace Chat model.
Da wir Ollama verwenden, wählen Sie Ollama aus der Liste der Anbieter. Wählen Sie dann ein beliebiges Modell aus, das Sie über Ollama heruntergeladen haben, indem Sie auf Workspace Chat model klicken. Dazu gehört DeepSeek-R1 (zum Beispiel in unserem Fall deepseek-r1:7b).
Abbildung: Chat Settings Panel, das Ollama als LLM Provider und deepseek-r1:7b as the selected model
Sobald Sie ein Modell ausgewählt haben, speichern Sie Ihre Änderungen. Ihr Workspace ist nun mit dem ausgewählten Modell verbunden, sodass Sie direkt über die Chatoberfläche damit interagieren können. Kehren Sie zu Ihrer Chatoberfläche zurück, um mit dem Chatten zu beginnen.
Schritt 5: Das Modell mit einer Anfrage testen
Nachdem Ihr Arbeitsbereich nun mit DeepSeek-R1 verbunden ist, können Sie testen, wie es auf Fragen antwortet, auf die es nicht trainiert wurde. Versuchen Sie zu fragen: Wer ist Chris Churilo? und beachten Sie, dass das Modell keine klare Antwort liefert.
Abbildung: Antwort des LLM auf „Wer ist Chris Churilo?“
Da dem Modell Informationen über Chris Churilo fehlen, kann es keine detaillierte Antwort geben. Diese Lücke verdeutlicht die Notwendigkeit einer externen Wissensquelle. Milvus, eine Vektordatenbank, kann relevante Daten in Form von Embeddings über Chris Churilo speichern, sodass das LLM darauf Bezug nehmen kann.
Milvus einrichten und mit AnythingLLM integrieren
Bevor Sie Ihren Arbeitsbereich mit externen Daten verknüpfen, müssen Sie eine Vektordatenbank bereitstellen, die Embeddings (numerische Darstellungen von Daten (wie Wörtern oder Bildern) in einem kontinuierlichen Vektorraum, die deren Bedeutungen oder Merkmale erfassen, sodass ähnliche Elemente näher beieinander positioniert werden) aus Ihren benutzerdefinierten Daten speichern kann. Sehen wir uns an, wie Milvus installiert und anschließend AnythingLLM so konfiguriert wird, dass es als Vektordatenbank verwendet wird, damit das Modell fundiertere Antworten geben kann.
Milvus installieren
Stellen Sie zunächst sicher, dass Docker und Docker Compose auf Ihrem Computer installiert sind. Öffnen Sie dann Ihr Terminal und laden Sie die eigenständige Docker-Compose-Datei von Milvus herunter, indem Sie Folgendes ausführen:
wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml
Öffnen Sie anschließend die heruntergeladene Datei docker-compose.yml in Ihrem bevorzugten Texteditor. Suchen Sie die Konfigurationseinstellungen unter dem Dienst standalone und aktualisieren Sie die Felder COMMON_USER und COMMON_PASSWORD mit Ihren gewünschten Anmeldedaten.
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
COMMON_USER: milvus
COMMON_PASSWORD: milvus
Wir werden diese Anmeldedaten später verwenden, wenn wir AnythingLLM für die Verbindung mit Milvus konfigurieren. Nachdem Sie Ihre Änderungen gespeichert haben, kehren Sie zum Terminal zurück und starten Sie Milvus, indem Sie den folgenden Befehl ausführen:
docker-compose up -d
Dieser Befehl startet Milvus im Hintergrund. Sie können überprüfen, ob Milvus läuft, indem Sie Ihre Docker-Container mit docker ps überprüfen oder den Health-Endpunkt besuchen, sofern er konfiguriert ist.
Abbildung: Starten von Milvus mit docker compose in der Befehlszeile
Nachdem Milvus nun installiert ist, können wir es mit AnythingLLM integrieren, damit Ihr Arbeitsbereich diese externe Datenquelle für verbesserte Modellantworten nutzen kann.
Milvus mit AnythingLLM integrieren
Nachdem Milvus nun läuft, konfigurieren wir AnythingLLM so, dass Embeddings für Ihre benutzerdefinierten Daten gespeichert und abgerufen werden. Befolgen Sie die folgenden Schritte, um kontextbezogenere Antworten von Ihrem DeepSeek-R1-Modell zu ermöglichen.
1. Einstellungen öffnen
Klicken Sie auf die Schaltfläche Open Settings in der unteren linken Ecke der AnythingLLM-Oberfläche. Dadurch wird ein Panel mit mehreren Konfigurationskategorien geöffnet.
Abbildung: AnythingLLM-Hauptoberfläche mit hervorgehobener Schaltfläche Open Settings
2. Vektordatenbank auswählen
Erweitern Sie im Einstellungsbereich AI Providers und wählen Sie Vector Database aus. Wählen Sie unter Vector Database Provider die Option Milvus. Es werden Felder für die Adresse und die Anmeldedaten angezeigt, die Sie in der Milvus-Docker-Compose-Datei konfiguriert haben:
Milvus DB Address:
http://localhost:19530Milvus Username: (der von Ihnen festgelegte Benutzername)
Milvus Password: (das von Ihnen festgelegte Passwort)
Klicken Sie auf Save, um Ihre Einstellungen zu bestätigen.
Abbildung: Vektordatenbank-Einstellungen in AnythingLLM mit ausgewähltem Milvus
3. Wählen Sie einen Embedder (Optional)
Weiterhin unter AI Providers können Sie bei Bedarf ein anderes Embedding-Modell auswählen. Wenn keine Auswahl getroffen wird, verwendet AnythingLLM seinen Standard-Embedder. Dieser Schritt ist für die grundlegende Nutzung optional, kann aber nützlich sein, wenn Sie optimieren möchten, wie Text vektorisiert wird. Für diesen Fall verwenden wir die Standardoption.
Abbildung: Auswahl des Embedding-Modells in AnythingLLM, falls zutreffend
4. Dokumente hochladen
Kehren Sie zur Hauptoberfläche oder zu Ihrer Workspace-Ansicht zurück. Laden Sie alle Dokumente hoch, auf die das Modell verweisen soll, indem Sie sie per Drag-and-drop ablegen oder über die Oberfläche auswählen. AnythingLLM listet Ihre Dateien auf, bereit für das Embedding.
Abbildung: Dokument-Upload-Bereich mit neu hinzugefügten Dateien
5. Dokumente in den Workspace verschieben
Sobald Ihre Dokumente erscheinen, wählen Sie jede Datei aus und wählen Sie Move to Workspace. Klicken Sie im rechten Bereich auf Save and Embed. AnythingLLM wandelt die Dokumente in Vektor-Embeddings um und speichert sie in Milvus, wodurch der Inhalt für DeepSeek-R1 zugänglich wird.
Abbildung: Dokumente in einen Workspace verschieben und einbetten
Nachdem Sie diese Schritte abgeschlossen haben, kann Ihr DeepSeek-R1-Modell auf die eingebetteten Dokumente verweisen. Wenn Sie nun beispielsweise fragen: Who is Chris Churilo?. Das Modell wird wissen, wer sie ist, wie Sie unten sehen können:
Abbildung: DeepseekR1 überlegt, wie eine Anfrage beantwortet werden soll Who is Chris Churilo? unter Verwendung von Milvus
Das Modell tut dies, indem es die relevanten Informationen nachschlägt, die in Milvus gespeichert sind, und liefert so eine detailliertere Antwort als zuvor. Hier ist die endgültige Antwort auf unsere Anfrage.
Abbildung: DeepseekR1 beantwortet Anfrage Who is Chris Churilo? unter Verwendung von Milvus
Das Modell antwortet nun mit einer detaillierten Antwort, die das hochgeladene Dokument zitiert. Im obigen Screenshot sehen Sie, wie das Modell relevante Details zu Chris Churilos Rolle, Hintergrund und Beiträgen abruft, Informationen, die vor der Integration von Milvus nicht verfügbar waren. Diese verbesserte Antwort demonstriert den Wert der Kombination einer lokalen LLM-Bereitstellung mit einer Vektordatenbank, um ein besser informiertes und kontextbewussteres KI-Erlebnis zu schaffen.
Collections in Milvus überprüfen
Nachdem Sie Dokumente über AnythingLLM eingebettet haben, können Sie bestätigen, dass Milvus sie korrekt speichert, indem Sie Ihre Collections auflisten. Wenn Sie pymilvus noch nicht installiert haben, beginnen Sie mit der Installation mit diesem Befehl:
pip install pymilvus
Führen Sie dann den folgenden Python-Code aus, um eine Verbindung zu Milvus herzustellen, eine Liste der Collections abzurufen und ihre Namen auszugeben:
from pymilvus import MilvusClient
# Connect to Milvus
client = MilvusClient(uri="http://localhost:19530") # Replace with your URI if it's different
# List all collections
collections = client.list_collections()
# Print results
print(f"Found {len(collections)} collections:")
for idx, collection in enumerate(collections, 1):
print(f"{idx}. {collection}")
# Optional: Close the connection when done
client.close()
Wenn Sie Milvus gerade erst installiert haben, werden Sie nicht viele Collections sehen. Nachdem Sie jedoch AnythingLLM zum Einbetten von Dokumenten verwendet haben, werden Sie eine neue Collection bemerken, die nach dem von Ihnen verwendeten Workspace benannt ist. In der Beispielausgabe unten ist die relevante Collection als 21. Anythingllm_milvus_deepseek_local_deploy aufgeführt.
Dies bestätigt, dass AnythingLLM erfolgreich eine dedizierte Sammlung in Milvus erstellt hat, um die Embeddings für deine hochgeladenen Daten zu speichern.
Wir haben nun die lokale Bereitstellung von DeepSeek-R1, die Konfiguration von AnythingLLM für eine benutzerfreundliche Oberfläche und die Integration von Milvus als Vektordatenbank durchlaufen. Dieses Setup ermöglicht es dem Modell, auf benutzerdefinierte Daten zuzugreifen und Fragen effektiver zu beantworten.
Fazit
Die lokale Einrichtung von DeepSeek-R1 mithilfe von Ollama, AnythingLLM und Milvus eröffnet neue Möglichkeiten zur Anpassung und Verbesserung deiner KI-Workflows. Dieser Ansatz gibt dir nicht nur die volle Kontrolle über deine Umgebung, sondern ermöglicht deinem Modell auch den Zugriff auf spezifische Datenquellen, wodurch seine Relevanz und Genauigkeit verbessert werden. Mit diesem Setup bist du nicht mehr durch Serververfügbarkeit oder generische Antworten eingeschränkt – deine KI kann jetzt direkt mit den von dir bereitgestellten Informationen arbeiten, zugeschnitten auf deine Bedürfnisse.
Weitere Ressourcen
Weiterlesen
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.