Glossary
Semantic Search

Semantische Suche

Semantische Suche

Semantische Suche.png

Was ist Semantische Suche?

Die semantische Suche ist eine Suchtechnik, die natürliche Sprachverarbeitung (NLP) und maschinelles Lernen (ML) nutzt, um den Kontext und die Bedeutung hinter der Suchanfrage eines Nutzers zu verstehen. Die kontextuelle Bedeutung hilft den Algorithmen, die Beziehungen zwischen Wörtern zu analysieren und Benutzeranfragen genauer zu interpretieren, so dass relevantere Suchergebnisse auf der Grundlage der Nuancen der Sprache erzielt werden können, anstatt sich nur auf Schlüsselwörter zu verlassen. Hier sind einige Schlüsselbegriffe der semantischen Suche:

Definition und Grundsätze

Die semantische Suche ist eine Suchmaschinentechnologie, die die Bedeutung von Wörtern und Sätzen interpretiert, um genauere und relevantere Suchergebnisse zu liefern. Im Gegensatz zu herkömmlichen Suchmaschinen, die nach Schlüsselwörtern suchen (manchmal auch als lexikalische Suchmaschinen bezeichnet) und sich auf die genaue Übereinstimmung von Wörtern konzentrieren, versucht die semantische Suche, den Kontext und die Absicht hinter einer Suchanfrage zu verstehen. Dank dieses Ansatzes können Suchmaschinen Ergebnisse liefern, die besser auf das abgestimmt sind, wonach der Nutzer tatsächlich sucht.

Die Grundsätze der semantischen Suche werden von zwei Hauptaspekten bestimmt: der Suchabsicht und der semantischen Bedeutung. Die Suchabsicht bezieht sich auf die zugrunde liegende Motivation oder den Zweck der Suchanfrage eines Nutzers. Wenn jemand zum Beispiel nach "besten Laufschuhen" sucht, möchte er wahrscheinlich eher Empfehlungen und Bewertungen finden als nur eine Liste von Laufschuhen. Bei der semantischen Bedeutung hingegen geht es darum, die Beziehungen zwischen Wörtern und Sätzen im Kontext der Suchanfrage zu verstehen. Es geht darum, die Bedeutung von Wörtern auf der Grundlage ihrer Verwendung und ihres Kontexts zu interpretieren, anstatt sie isoliert zu betrachten. Durch die Kombination dieser Prinzipien können semantische Suchmaschinen relevantere Suchergebnisse liefern, die den Bedürfnissen der Nutzer besser entsprechen.

Natürliche Sprachverarbeitung (NLP)

Ein Zweig der künstlichen Intelligenz (AI), der sich darauf konzentriert, Computer in die Lage zu versetzen, menschliche Sprache zu verstehen und zu verarbeiten. NLP wird bei der semantischen Suche eingesetzt, um Computern zu helfen, die Bedeutung hinter der Suchanfrage eines Nutzers zu verstehen.

Maschinelles Lernen (ML)

Eine Art der künstlichen Intelligenz, bei der Computeralgorithmen trainiert werden, um aus Daten zu lernen und ihre Leistung mit der Zeit zu verbessern. ML wird bei der semantischen Suche eingesetzt, um Computern zu helfen, den Kontext und die Absicht der Suchanfrage eines Nutzers zu verstehen.

Semantisches Verständnis

Semantisches Verständnis ist die Fähigkeit eines Computers, die Bedeutung und den Kontext der Suchanfrage eines Nutzers zu verstehen. Semantisches Verständnis ist eine entscheidende Komponente der semantischen Suche.

So funktioniert die semantische Suche

Die semantische Suche basiert auf der Vektorsuche, einer ausgeklügelten Technologie, die es Suchmaschinen ermöglicht, Inhalte auf der Grundlage von Kontext- und Absichtsrelevanz zu liefern und einzustufen. Die Vektorsuche wandelt [unstrukturierte Daten] (https://zilliz.com/learn/introduction-to-unstructured-data) (wie Text, Bilder oder Audio) mithilfe von Modellen für maschinelles Lernen in numerische Vektoreinbettungen um. Diese Einbettungen erfassen die semantische Bedeutung in einem mehrdimensionalen Raum, in dem ähnliche Konzepte näher beieinander erscheinen. Bei einer Suche wird die Anfrage ebenfalls in einen Vektor umgewandelt, und das System findet Ergebnisse, indem es den [Abstand zwischen den Vektoren] (https://zilliz.com/glossary/vector-distance) misst - wobei näher beieinander liegende Vektoren semantisch ähnlichere Inhalte darstellen. Dieser Ansatz ermöglicht eine wesentlich leistungsfähigere semantische Suche als der herkömmliche Abgleich von Schlüsselwörtern.

Wenn eine Anfrage gestellt wird, wandelt die Suchmaschine sie in numerische Einbettungen um, die die semantische Bedeutung erfassen. Der k-nearest neighbor (kNN)-Algorithmus gleicht dann diese Abfragevektoren mit Vektoren vorhandener Dokumente ab, wobei "k" für die Anzahl der am nächsten liegenden Übereinstimmungen steht, die abgerufen werden können. Auf diese Weise werden Inhalte identifiziert, die konzeptionell ähnlich sind und nicht nur mit Schlüsselwörtern übereinstimmen. Ein spezieller Reranker wertet dann diese anfänglichen k Ergebnisse aus und berücksichtigt dabei zusätzliche Faktoren, die über die Vektorähnlichkeit hinausgehen, um die endgültige, auf Relevanz basierende Rangliste zu erstellen, die die Benutzer sehen.

Was ist eine semantische Suchmaschine?

Eine semantische Suchmaschine (auch Vektordatenbank genannt) ist so konzipiert, dass sie Elemente auf der Grundlage ihrer Bedeutung und nicht anhand exakter Schlüsselwortübereinstimmungen findet. Diese Systeme erstellen spezielle Indizes von Vektoreinbettungen, um eine effiziente Ähnlichkeitssuche zu ermöglichen. Während einige Vektordatenbanken wie Milvus mehrere Indexierungsalgorithmen anbieten (11 verschiedene Optionen), implementieren die meisten semantischen Suchmaschinen nur einen Algorithmus, in der Regel Hierarchical Navigable Small World (HNSW), der ein Gleichgewicht zwischen Suchgeschwindigkeit und Genauigkeit herstellt. Mithilfe dieser Indizes und geeigneter Ähnlichkeitsmetriken können Benutzer das System abfragen, um semantisch ähnliche Elemente auf der Grundlage ihrer Vektordarstellungen zu finden.

Wie implementiert man eine semantische Suchmaschine?

Es gibt mehrere Möglichkeiten, die semantische Suche zu implementieren. Hier sind einige Optionen

Python Semantische Suchmaschine. Sie können eine benutzerdefinierte semantische Suche auf Ihrem eigenen Datenkorpus mit Python, einem Maschinenmodell und einem Vektorindexalgorithmus wie FAISS, HNSW oder sogar ANNOY erstellen. Hier finden Sie ein Tutorial, das Ihnen zeigt, wie Sie die semantische Suche mit Facebook AI Similarity Search (FAISS) implementieren (https://zilliz.com/blog/set-up-with-facebook-ai-similarity-search-faiss).

Traditionelle stichwortbasierte Suchmaschinen wie ElasticSearch haben sich weiterentwickelt und bieten nun auch Vektorsuchfunktionen. Diese Integration bietet einen bedeutenden Vorteil: Unternehmen, die Elasticsearch bereits nutzen, können ihre bestehenden Lösungen problemlos um semantische Suchfunktionen erweitern, ohne auf eine neue Plattform migrieren zu müssen. In ähnlicher Weise haben vektororientierte Datenbanken wie Milvus Unterstützung für Volltextsuche hinzugefügt und ermöglichen robuste hybride Suchansätze, die die Stärken von Schlüsselwortabgleich und semantischer Ähnlichkeit kombinieren.

Populäre Datenbanklösungen wie PostgreSQL haben Erweiterungen wie pgvector hinzugefügt, um Vektorsuchfunktionen zu unterstützen. Dies ermöglicht es Unternehmen, die semantische Suche mit ihrer bestehenden Datenbankinfrastruktur zu implementieren, anstatt spezialisierte Systeme einzuführen. Hier finden Sie ein Tutorial, das Sie durch [die ersten Schritte mit Pgvector] führt (https://zilliz.com/blog/getting-started-pgvector-guide-developers-exploring-vector-databases).

Vektordatenbanken bieten eine weitere hervorragende Möglichkeit zur Implementierung der semantischen Suche. In einer Vektordatenbank speichern und indizieren Sie die von Ihrem gewählten Algorithmus für maschinelles Lernen erzeugten Vektoreinbettungen. Die meisten Vektordatenbanken verwenden für die Indizierung den Algorithmus Hierarchical Navigable Small World (HNSW), der ein ausgewogenes Verhältnis zwischen Leistung und Genauigkeit bietet. Einige Lösungen, wie z. B. Milvus, bieten zusätzliche Flexibilität mit bis zu 11 verschiedenen Indextypen, die sich am besten für verschiedene Anwendungsfälle eignen. Bei der Suche wird Ihr Abfragetext in eine Vektoreinbettung umgewandelt und dann mit Ihrem Datensatz verglichen, um die semantisch ähnlichsten Elemente zu finden.

Vorteile einer semantischen Suchmaschine

Die Durchführung einer semantischen Suche hat mehrere Vorteile. Ein großer Vorteil besteht darin, dass Sie nach Konzepten oder Ideen statt nach bestimmten Wörtern oder Sätzen suchen können, so dass keine exakten Schlüsselwortabgleiche in Ihren Abfragen erforderlich sind. Darüber hinaus kann die semantische Suche die Absicht einer Anfrage besser verstehen, was zu relevanteren Suchergebnissen führt, die das erfassen, wonach die Benutzer wirklich suchen, selbst wenn sich ihre Terminologie von der in den Dokumenten unterscheidet. Diese Fähigkeit ist besonders wertvoll für komplexe Information Retrieval-Aufgaben, bei denen herkömmliche Stichwortsuchen oft kontextuell relevante Inhalte übersehen. Die semantische Suche verringert auch die Frustration, die entsteht, wenn man seine Suchanfragen mehrfach umformulieren muss, um die richtigen Informationen zu finden.

Beispiele für semantische Suche

Die semantische Suche liefert Ergebnisse auf der Grundlage von Bedeutung und konzeptionellem Verständnis und nicht nur auf der Grundlage von Schlüsselwörtern. Wenn Sie z. B. nach "Herzproblemen bei älteren Erwachsenen" suchen, würde ein semantisches Suchsystem relevante Inhalte über Herz-Kreislauf-Erkrankungen bei älteren Menschen liefern, auch wenn diese Begriffe in den Dokumenten nicht exakt verwendet werden.

Ein weiteres aussagekräftiges Beispiel ist, wie die semantische Suche mit mehrdeutigen Suchanfragen umgeht. Wenn Sie nach "Java-Anwendungen" suchen, kann die semantische Suche unterscheiden, ob Sie nach Informationen über die Programmiersprache oder nach Produkten auf Kaffeebasis suchen, indem sie die kontextuelle Bedeutung Ihrer Anfrage und früherer Interaktionen analysiert.

Die semantische Suche zeichnet sich auch durch das Verständnis von Beziehungen zwischen Konzepten aus. Eine Abfrage wie "Medikamente, die bei Gelenkschmerzen helfen, aber keine NSAIDs sind" würde relevante Alternativen liefern, da sie sowohl weiß, was NSAIDs sind, als auch, was Alternativen für die Behandlung von Gelenkschmerzen darstellen.

Außerdem kann die semantische Suche Wortschatzlücken zwischen Experten und Anfängern überbrücken. Wenn ein Mediziner nach "Myokardinfarkt-Komplikationen" sucht, während ein Patient nach "Was passiert nach einem Herzinfarkt" sucht, würden beide ähnliche relevante Informationen erhalten, obwohl sie völlig unterschiedliche Begriffe verwenden.

Auswirkung auf Suchmaschinen

Durch die semantische Suche haben sich die Suchmaschinen von einfachen Systemen zum Abgleich von Schlüsselwörtern in intelligente Plattformen verwandelt, die die Bedeutung hinter den Suchanfragen verstehen. Im Gegensatz zu herkömmlichen Suchmaschinen, die Links auf der Grundlage von Schlüsselwortdichte und Backlinks zurückgeben, können semantisch angereicherte Suchmaschinen:

Synonyme und verwandte Konzepte ohne explizite Zuweisung verstehen
Erkennen von Entitäten und deren Beziehungen (wie Personen, Orte, Produkte)
Interpretieren Sie die Absicht der Anfrage, auch wenn die Formulierung zweideutig ist.
Verknüpfung konzeptionell ähnlicher Informationen trotz unterschiedlicher Terminologie

Diese Entwicklung hat Suchanbieter dazu veranlasst, ausgefeiltere Indexierungssysteme zu entwickeln, die semantische Beziehungen zwischen Inhalten erfassen. Bei Suchanwendungen in Unternehmen ermöglicht die semantische Suche den Mitarbeitern, relevante Dokumente zu finden, ohne dass sie die darin verwendeten Begriffe genau kennen müssen. In spezialisierten Bereichen wie der juristischen oder medizinischen Suche können semantische Systeme die Kluft zwischen Fachterminologie und allgemeinsprachlichen Abfragen überbrücken.

Die leistungsstärksten modernen Suchimplementierungen kombinieren oft semantisches Verständnis mit traditionellen Relevanzsignalen, um optimale Ergebnisse zu erzielen, wobei hybride Systeme entstehen, die die Stärken beider Ansätze nutzen.

Schlüsselwortsuche vs. semantische Suche

Bei der Schlüsselwortsuche werden exakte Wörter oder Phrasen in Dokumenten gesucht. Systeme wie Elasticsearch bauen invertierte Indizes auf, die Wörter auf Dokumentpositionen abbilden, so dass es effizient ist, die Dokumente zu finden, die bestimmte Begriffe enthalten. Wenn ein Benutzer eine Suchanfrage stellt, zerlegt die Suchmaschine die Anfrage in einzelne Wörter, findet Dokumente, die diese Wörter enthalten, ordnet die Ergebnisse mit Hilfe von Algorithmen, die Faktoren wie Begriffshäufigkeit, Wortnähe und Dokument-Metadaten berücksichtigen, und gibt die relevantesten Übereinstimmungen entsprechend dieser Metriken zurück. Diese Systeme sind hervorragend in der Lage, exakte Treffer zu finden, haben aber Schwierigkeiten mit Synonymen, Kontext und Bedeutung. Wenn Sie nach "Herzinfarkt" suchen, wird ein Schlagwortsystem nicht unbedingt Dokumente über "Myokardinfarkt" zurückgeben, es sei denn, es ist ausdrücklich so programmiert, dass es diesen Zusammenhang erkennt.

Die Semantische Suche hingegen versteht die Bedeutung, indem sie den Inhalt als Vektoren im mehrdimensionalen Raum darstellt. Bei diesem Prozess werden unstrukturierte Daten (Text, Bilder, Audio) mit Hilfe von Modellen des maschinellen Lernens in [Vektoreinbettungen] (https://zilliz.com/glossary/vector-embeddings) umgewandelt, diese Einbettungen mit Algorithmen wie [HNSW] (https://zilliz.com/learn/hierarchical-navigable-small-worlds-HNSW) oder [FAISS] (https://zilliz.com/blog/set-up-with-facebook-ai-similarity-search-faiss) für eine effiziente Suche indiziert und beim Eintreffen einer Anfrage in denselben Vektorraum umgewandelt. Das System findet die ähnlichsten Vektoren mit Hilfe der Nearest-Neighbor-Suche und liefert Inhalte, die konzeptionell verwandt sind, auch ohne exakte Stichwortübereinstimmung. Dieser Ansatz ermöglicht es der semantischen Suche, Beziehungen zwischen Konzepten zu verstehen, mit Mehrdeutigkeit umzugehen und Ergebnisse zu liefern, die auf der Bedeutung und nicht auf dem Textmustervergleich basieren.

Lexikalische Suche vs. Semantische Suche

Die lexikalische Suche arbeitet mit den genauen Wörtern oder Token in Dokumenten und Abfragen. Diese Systeme verwenden in erster Linie statistische Verfahren wie TF-IDF (Term Frequency-Inverse Document Frequency) zur Bestimmung der Relevanz. Bei TF-IDF werden Wörter, die häufig in einem Dokument vorkommen, aber in der gesamten Sammlung selten sind, höher gewichtet, was bei der Identifizierung besonderer Inhalte hilft. Lexikalische Suchmaschinen erstellen invertierte Indizes, die jeden Begriff den Dokumenten zuordnen, in denen er vorkommt, und ermöglichen so einen schnellen Abruf. Diese Systeme haben jedoch Probleme mit Synonymen, kontextabhängigen Bedeutungen und konzeptionellen Beziehungen. Wenn Sie nach "Autowartung" suchen, findet die lexikalische Suche nicht automatisch Dokumente über "Autoreparatur", es sei denn, sie enthalten Ihre exakten Suchbegriffe.

Die Semantische Suche konzentriert sich auf die Bedeutung und nicht auf wörtliche Übereinstimmungen. Diese Systeme verwenden maschinelle Lernmodelle, um Text in Vektoreinbettungen umzuwandeln - numerische Darstellungen, die semantische Beziehungen im mehrdimensionalen Raum erfassen. Wörter oder Konzepte mit ähnlichen Bedeutungen werden in diesem Vektorraum zusammengefasst. Bei der Verarbeitung einer Anfrage wandelt die semantische Suche diese in dieselbe Vektordarstellung um und findet Inhalte mit ähnlicher Bedeutung, auch wenn eine andere Terminologie verwendet wird. So kann die semantische Suche erkennen, dass "Myokardinfarkt" und "Herzinfarkt" sich auf dieselbe Erkrankung beziehen oder dass "Auswirkungen des Klimawandels" mit "Auswirkungen der globalen Erwärmung" verwandt ist, obwohl unterschiedliche Begriffe verwendet werden.

Der grundlegende Unterschied besteht darin, dass bei der lexikalischen Suche gefragt wird: "Enthalten diese Dokumente genau diese Wörter?", während bei der semantischen Suche gefragt wird: "Drücken diese Dokumente ähnliche Bedeutungen wie die Suchanfrage aus?" Moderne Suchsysteme kombinieren häufig beide Ansätze, um ein Gleichgewicht zwischen Präzision und konzeptionellem Verständnis herzustellen.

Semantische Suche vs. kognitive Suche

Bei der Semantischen Suche liegt der Schwerpunkt auf dem Verständnis der Bedeutung und der Absicht hinter einer Suchanfrage, indem der Inhalt in einem Vektorraum dargestellt wird. Sie verwendet Modelle des maschinellen Lernens (in der Regel neuronale Netze), um Text in Vektoreinbettungen zu kodieren, die semantische Beziehungen erfassen. Ähnliche Konzepte werden in diesem mehrdimensionalen Raum gebündelt, so dass das System auch dann relevante Inhalte finden kann, wenn die Schlüsselwörter nicht genau übereinstimmen. Die semantische Suche zeichnet sich durch das Verständnis von Synonymen, verwandten Konzepten und kontextueller Bedeutung aus.

Cognitive Search wird oft als Marketingbegriff für Suchplattformen in Unternehmen verwendet, die mehrere KI-Technologien kombinieren. Während die semantische Suche eine Kernkomponente ist, fügen kognitive Suchplattformen typischerweise Funktionen wie Entitätsextraktion und [Wissensgraphen] (https://zilliz.com/learn/what-is-knowledge-graph) hinzu, um Schlüsselkonzepte zu identifizieren und zu verbinden, Personalisierung auf der Grundlage von Benutzerverhalten und -präferenzen, multimodale Suche über verschiedene Inhaltstypen, automatische Inhaltsklassifizierung und Tagging sowie intelligente Abfrageverarbeitung mit Abfrageerweiterung und -verfeinerung.

Der Hauptunterschied liegt im Umfang: Die semantische Suche bezieht sich speziell auf die bedeutungsbasierte Suche mit Hilfe von Vektordarstellungen, während die kognitive Suche umfassende Plattformen beschreibt, die neben der semantischen Suche auch andere KI-Technologien einbeziehen können, um leistungsfähigere Suchlösungen für Unternehmen zu schaffen. Viele Anbieter verwenden diese Begriffe unterschiedlich, daher ist es wichtig, beim Vergleich von Suchtechnologien die spezifischen Fähigkeiten zu bewerten und sich nicht auf die Terminologie zu konzentrieren.

Bietet Zilliz semantische Suchwerkzeuge an?

Die Zilliz Cloud, die auf der Open-Source-Technologie Milvus basiert, ist eine spezialisierte Vektordatenbank, die speziell für semantische Suchanwendungen entwickelt wurde. Im Kern ermöglicht Zilliz Unternehmen die Implementierung einer leistungsstarken semantischen Suche durch effizientes Speichern, Indizieren und Abfragen von Vektoreinbettungen, die die Bedeutung von Inhalten darstellen.

Im Gegensatz zu einfachen Vektorsuch-Implementierungen erweitert Zilliz Cloud die semantischen Suchfunktionen um unternehmenstaugliche Funktionen: Umfassende CRUD-Operationen mit starker Datenkonsistenz stellen sicher, dass Ihr semantischer Index auch bei Änderungen des Inhalts korrekt bleibt; hybride Suchfunktionen kombinieren Vektorähnlichkeit mit herkömmlicher Filterung für präzise Ergebnisse; und die verteilte Architektur trennt die Berechnung von der Speicherung, um eine Skalierung der semantischen Suche über riesige Datensätze bei gleichbleibender Leistung zu ermöglichen.

Die Plattform geht über die grundlegende semantische Suche hinaus, indem sie Disaster-Recovery-Optionen, Lastausgleich, mandantenfähige Unterstützung und umfassende Sicherheit durch rollenbasierte Zugriffskontrolle (RBAC) bietet - wichtige Funktionen für semantische Suchbereitstellungen in der Produktion. Mit SDK-Unterstützung für mehrere Programmiersprachen (Python, JavaScript, C, Ruby, Go) macht es Zilliz einfach, fortschrittliche semantische Suchfunktionen in bestehende Anwendungen und Workflows zu integrieren.

Dieser umfassende Ansatz macht Zilliz nicht nur zu einem semantischen Suchwerkzeug, sondern zu einer kompletten Plattform für den Aufbau und die Skalierung von KI-gestützten semantischen Suchanwendungen im gesamten Unternehmen.

Zusammenfassung der semantischen Suche

Die semantische Suche verändert die Art und Weise, wie Suchmaschinen Benutzeranfragen verstehen und darauf reagieren, indem sie die Verarbeitung natürlicher Sprache (NLP) und maschinelles Lernen nutzt. Im Gegensatz zu herkömmlichen schlagwortbasierten Ansätzen interpretiert die semantische Suche den Kontext, die Bedeutung und die Suchabsicht hinter den Suchanfragen und liefert relevantere Suchergebnisse, selbst wenn die genaue Terminologie abweicht.

Die Technologie funktioniert, indem sie sowohl Anfragen als auch Dokumente in Vektoreinbettungen umwandelt, die semantische Beziehungen im mehrdimensionalen Raum erfassen. Wenn Nutzer Suchanfragen stellen, verwendet das System Algorithmen wie k-nearest neighbor (kNN), um konzeptionell ähnliche Inhalte anstelle von exakten Schlüsselwortübereinstimmungen zu finden, gefolgt von einem Reranking, um die endgültige Ergebnisliste zu erstellen.

Dieser Ansatz bietet erhebliche Vorteile: Die Benutzer können nach Konzepten und nicht nach bestimmten Wörtern suchen, das System versteht die Suchabsicht besser und überbrückt Wortschatzlücken zwischen Experten und Anfängern. Beispielsweise würde eine Suche nach "Herzproblemen bei älteren Erwachsenen" relevante Inhalte über Herz-Kreislauf-Erkrankungen bei älteren Menschen liefern, auch wenn diese Begriffe in den Dokumenten nicht verwendet werden.

Moderne Implementierungen kombinieren oft semantisches Verständnis mit traditionellen Relevanzsignalen und schaffen so hybride Suchmaschinen, die die Stärken beider Ansätze nutzen. Es gibt verschiedene Implementierungsoptionen, von speziell entwickelten Vektordatenbanken wie Zilliz bis hin zu Erweiterungen für herkömmliche Datenbanken wie pgvector von PostgreSQL, wodurch semantische Suchfunktionen zunehmend über verschiedene Plattformen hinweg zugänglich werden.