Was ist ein neuronales Netzwerk? Ein Leitfaden für Entwickler

Was sind neuronale Netze?

Neuronale Netze sind Berechnungsmodelle, die sich an der Struktur des menschlichen Gehirns orientieren. Sie bestehen aus Neuronen, die in Schichten angeordnet sind. Neuronen sind Funktionen von Eingabedaten, x, und lernbaren Tensor-Variablen (Gewichte und Verzerrungen). Stellen Sie sich ein neuronales Netz als ein großes F(x) oder Modell vor. Das heißt, eine komplexe, nichtlineare Funktion, die so trainiert wird, dass sie zu den Eingabedaten passt. Diese paradigmenverändernde Technologie ermöglicht es Maschinen, Muster zu erkennen und komplexe Probleme zu lösen.

Neuronale Netzwerkarchitektur

Ein neuronales Netz ist in Schichten gegliedert: Eingabe, versteckte Schicht und Ausgabe.

Eingabeschicht: Hier werden die Daten in das Netz eingespeist.
Versteckte Schichten: Diese Zwischenschichten verarbeiten Daten durch mehrere sequentielle Transformationen. Jede verborgene Schicht extrahiert zunehmend abstraktere und komplexere Merkmale aus den Eingabedaten.
Ausgabeschicht: Die letzte Schicht erzeugt das Ergebnis auf der Grundlage der verarbeiteten Informationen aus den verborgenen Schichten.

Bedeutung neuronaler Netze

Neuronale Netze sind aus mehreren Gründen wichtig.

Mustererkennung: Neuronale Netze zeichnen sich dadurch aus, dass sie komplizierte Muster in Daten erkennen können, was sie für Aufgaben wie Bild- und Spracherkennung sehr effektiv macht.
Anpassungsfähigkeit: Durch Training auf großen Datensätzen können sich neuronale Netze anpassen und ihre Leistung im Laufe der Zeit verbessern.
Nichtlinearität: Neuronale Netze können komplexe Beziehungen zwischen Eingaben und Ausgaben modellieren, einschließlich nichtlinearer Beziehungen.
Parallelverarbeitung: Neuronale Netze können Daten parallel verarbeiten und so die Berechnungen für umfangreiche Aufgaben beschleunigen.

Arbeitsprinzip neuronaler Netze

Neuronale Netze können in zwei Modi verwendet werden: Training und Inferenz. Beim Training passt das Netz seine Verbindungsgewichte an, indem es Eingabedaten verarbeitet und seine Vorhersagen mit den erwarteten Ergebnissen vergleicht. Bei diesem Prozess werden die Unterschiede zwischen den Vorhersagen und den tatsächlichen Ergebnissen mithilfe von Optimierungsalgorithmen wie dem Gradientenabstieg minimiert. Nach dem Training ist das Netz in der Lage, Vorhersagen anhand neuer, ungesehener Daten zu treffen. Die Verwendung eines trainierten neuronalen Netzes auf diese Weise wird als Inferenz bezeichnet.

Arten von neuronalen Netzen

Künstliche neuronale Netze (ANNs)

[Künstliche neuronale Netze (https://zilliz.com/blog/ANN-machine-learning) (ANNs), auch bekannt als neuronale Netze mit Vorwärtskopplung, sind ein grundlegender Typ der neuronalen Netztechnologie. Sie bestehen aus Eingabe-, versteckten und Ausgabe-Neuronen und spiegeln die vernetzte Struktur des menschlichen Gehirns wider. ANNs zeichnen sich bei der Mustererkennung aus, indem sie die Gewichte zwischen den Neuronen anpassen.

Wenn ein ANN mehrere versteckte Schichten enthält, spricht man von einem DNN (Deep Neural Network). Diese Netze zeichnen sich durch das Lernen komplexer Hierarchien von Merkmalen aus umfangreichen Datensätzen aus.

Wie funktionieren künstliche neuronale Netze?

ANNs verwenden Feedforward-Verarbeitung und Backpropagation. Sie bestehen aus miteinander verbundenen Neuronen mit initialisierten Gewichten und Vorspannungen, wobei Methoden wie [Null- oder Konstantinitialisierung] (https://www.analyticsvidhya.com/blog/2021/05/how-to-initialize-weights-in-neural-networks/), [Zufallsinitialisierung] (https://machinelearningmastery.com/why-initialize-a-neural-network-with-random-weights/), [Xavier- oder Glorot-Initialisierung] (https://365datascience.com/tutorials/machine-learning-tutorials/what-is-xavier-initialization/) verwendet werden. Die Eingabedaten werden in die Eingabeschicht eingespeist und über Kanten an die versteckten Schichten weitergeleitet. Die Neuronen in den verborgenen Schichten wenden Aktivierungsfunktionen an, die eine Nichtlinearität einführen, und die Ausgabeschicht erstellt Vorhersagen oder Ergebnisse auf der Grundlage der verarbeiteten Daten.

Diese Vorhersagen werden zur [Fehlerberechnung] mit den tatsächlichen Ergebnissen verglichen (https://saturncloud.io/blog/how-to-calculate-error-for-a-neural-network/). Während des Trainings werden die Fehlersignale rückwärts propagiert, wobei die Gewichte durch Optimierungsalgorithmen angepasst werden, um die Unterschiede zwischen Vorhersagen und tatsächlichen Ergebnissen zu minimieren.

Weitere Informationen finden Sie in diesem Blog über ANNs.

Anwendungen

ANNs spielen eine wichtige Rolle bei einer Vielzahl von Regressions- und Klassifizierungsaufgaben wie Stimmungsanalyse, Aktienkursvorhersage, Kreditrisikobewertung, Betrugserkennung, algorithmischer Handel, Erkennung von Anomalien, vorausschauende Wartung usw. Abgesehen davon bilden ANNs auch die Grundlage für eine Vielzahl anderer neuronaler Netze wie CNNs und RNNs.

Faltungsneuronale Netze (CNNs)

Herkömmliche ANNs haben vollständig verbundene Schichten, die jede Eingabeeinheit unabhängig behandeln. Diese Architektur eignet sich nicht für die Verarbeitung von gitterartigen Daten wie Bildern. Faltungsneuronale Netze (CNNs) sind auf die Verarbeitung gitterförmiger Daten, vor allem Bilder und Videos, spezialisiert, da sie die räumliche Struktur von Bildern nutzen können. Sie nutzen lokale Konnektivität, gemeinsame Nutzung von Parametern, hierarchisches Merkmalslernen, Faltungsschichten und Pooling-Schichten, um automatisch hierarchische Merkmale aus Eingabedaten zu extrahieren.

Architektur und Arbeitsweise

Eingabeschicht: Der Eingang für Bilddaten.

Faltungsschichten: Diese Schichten erkennen räumliche Merkmale und erzeugen strukturierte Muster in den Bildern. Um verschiedene Merkmale zu erkennen, wird eine Reihe von erlernbaren Filtern (Kernels) auf die Eingabebilder angewendet. Ein CNN besteht in der Regel aus mehreren übereinander gestapelten Faltungsschichten. Die tieferen Schichten lernen abstraktere und kompliziertere Aspekte, während die früheren Schichten einfache Informationen wie Kanten und Texturen erfassen. Die von den Faltungsschichten erzeugten Ergebnisse werden als Feature Maps bezeichnet.
Pooling-Schichten: Diese Schichten führen Reduktionsschritte durch, bei denen die Datengröße verringert wird, während die wesentlichen Informationen erhalten bleiben. Obwohl Sie die Datenabmessungen durch Steuerung des Faltungsschrittes verkleinern können, ist die Verwendung von Pooling-Ebenen ein effizienter Weg, dies zu tun. Übliche Pooling-Operationen sind Max-Pooling und Average-Pooling. Vollständig verbundene Schichten: Sobald die wesentlichen Merkmale der Bilder vorliegen, sind die vollverknüpften Schichten für die endgültige Vorhersage zuständig. Jede FZ-Schicht ist dicht mit der vorhergehenden und unmittelbaren Schicht verbunden und wird häufig verwendet, um die Punktzahlen und Wahrscheinlichkeiten für die Klassifizierungsaufgabe zu ermitteln.

Weitere Informationen finden Sie in diesem umfassenden Leitfaden über [CNN] (https://saturncloud.io/blog/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way/).

Anwendungen

CNNs revolutionieren die Bildklassifizierung, Bilderkennung, Objekterkennung, Bildsegmentierung, medizinische Bildanalyse, Handschrifterkennung usw. All diese Aufgaben betreffen Bilddaten, bei denen sich CNNs auszeichnen. Aber das ist noch nicht alles. Aufgrund ihrer Fähigkeit, gitterartige Daten zu verarbeiten, werden CNNs auch bei vielen sprachbezogenen Aufgaben wie Spracherkennung, Übersetzung usw. eingesetzt.

Rekurrente Neuronale Netze (RNNs)

Obwohl ANNs und CNNs für viele Aufgaben geeignet sind, können sie zeitliche Abhängigkeiten und Sequenzen in Daten nicht gut verarbeiten. Rekurrente neuronale Netze (RNNs) zeichnen sich durch eine sequenzielle Datenanalyse aus, die für Aufgaben mit Zeitreihendaten und Sprachverarbeitung unerlässlich ist. RNNs erhalten das Gedächtnis durch Rückkopplungsschleifen. RNNs arbeiten mit einem inhärenten Speicherschema, das es ihnen ermöglicht, die aktuelle Eingabe zu verarbeiten und sich gleichzeitig an die vorherige Eingabe zu erinnern. Dieses Gedächtnis wird durch einen verborgenen Zustand erreicht, der sich entwickelt, wenn das Netz jedes Element der Sequenz verarbeitet.

Manchmal können RNNs unter einem Problem leiden, das als [vanishing gradient] (https://www.engati.com/glossary/vanishing-gradient-problem) bezeichnet wird und ihre Fähigkeit einschränkt, weitreichende Abhängigkeiten zu erfassen. Aus diesem Grund wurden einige Variationen der RNN-Architektur vorgeschlagen, die zu LSTM und GRU Architekturen führten, die durch selektives Behalten und Aktualisieren von Informationen über erweiterte Kontexte verbesserte Fähigkeiten zur Modellierung komplizierter Sequenzen bieten.

Architektur und Arbeitsweise

Eingabeschicht: Diese Schicht empfängt sequenzielle Daten als Eingabe, die eine Folge von Wörtern in einem Satz, Zeitreihendaten usw. sein können. Jeder Datenpunkt in diesen sequentiellen Daten wird durch einen Vektor dargestellt, der oft als Eingangsvektor bezeichnet wird.
Rekurrente Schicht: Diese Schicht verarbeitet und speichert sequenzielle Daten. Bei jedem Zeitschritt (t) verarbeitet diese Schicht den aktuellen Eingangsvektor und den vorherigen verborgenen Zustand (Ausgang) aus dem vorherigen Zeitschritt (t-1), um einen neuen Zustand oder den Ausgang für den aktuellen Zustand zu erzeugen.
Ausgabeschicht: Diese Schicht liefert die Ergebnisse der sequentiellen Analyse. Die Architektur dieser Ausgabeschicht hängt von der jeweiligen Aufgabe ab. Bei Sequenz-zu-Sequenz-Aufgaben (z. B. Sprachübersetzung) kann für die Ausgabeschicht ein anderes RNN oder ein neuronales Feedforward-Netz verwendet werden.

Weitere Informationen finden Sie in diesem Blog über [RNNs] (https://zilliz.com/blog/ANN-machine-learning).

Anwendungen

RNNs eignen sich für Aufgaben, bei denen es auf die Reihenfolge oder die zeitliche Abhängigkeit ankommt, z. B. Sprachübersetzung, Spracherzeugung, Spracherkennung, Musikerzeugung, Wettervorhersage, Vorhersage von Finanztrends usw.

Transformatoren

RNNs sind anfällig für das Problem des verschwindenden Gradienten, was ihre Fähigkeit einschränkt, Informationen über lange Sequenzen zu lernen und weiterzugeben. Außerdem sind sie nicht in der Lage, die Reihenfolge der Sequenz zu verstehen. An dieser Stelle hilft eine Transformator-Architektur. Transformatoren verwenden Mechanismen der Selbstaufmerksamkeit, die es ihnen ermöglichen, die Bedeutung verschiedener Teile der Eingabesequenz abzuwägen.

Dieser Mechanismus ist in der Lage, Abhängigkeiten zwischen Elementen in einer Sequenz unabhängig von ihrer Position zu erfassen, was ihn für Aufgaben wie Sprachübersetzung, Stimmungsanalyse und Texterstellung äußerst effektiv macht. Außerdem bietet es Parallelverarbeitungsfunktionen, d. h. es kann die Daten parallel verarbeiten, um lange Sequenzen und große Datensätze effizient zu verwalten.

Architektur und Arbeitsweise

Eingabe-Einbettung: Die Eingabesequenz, zum Beispiel eine Textsequenz, wird in Einbettungen umgewandelt. Diese Einbettungen sind die numerische Vektordarstellung des Textes, die mit Hilfe eines vortrainierten Modells wie Word2vec oder GloVe erzeugt werden kann.

Positionale Kodierung: Die Transformatormodelle verstehen von Natur aus nicht die Reihenfolge der Elemente in einer Sequenz. Daher wird den Eingabeeinbettungen eine Positionskodierung hinzugefügt, die Informationen über die Position jedes Elements in der Sequenz liefert, was mit Hilfe einer Kombination trigonometrischer Funktionen geschieht.

Transformator-Encoder- und Decoder-Schichten: Die Encoder- und Decoderschichten sind die Bausteine der Transformatoren, die sich im Netz mehrfach wiederholen. Jede dieser Schichten besteht aus drei Hauptkomponenten:
- Multi-head attention: Diese berechnet Aufmerksamkeitsbewertungen für jedes Paar von Positionen in der Eingabesequenz. Sie erfasst Abhängigkeiten zwischen Elementen unabhängig von deren Position. Das Ergebnis der Multi-Head-Attention ist eine Reihe von kontextabhängigen Repräsentationen für jede Eingabeposition. Feedforward-Netzwerk: Die Repräsentationen, die aus der Multi-Head-Attention gewonnen werden, werden an ein Feedforward-Netzwerk weitergeleitet, das eine Reihe von linearen Transformationen und nicht-linearen Aktivierungsfunktionen auf jede Position unabhängig anwendet.
- Restverbindungen und Schichtnormalisierung: Restverbindungen (Skip-Verbindungen) werden sowohl um die Multikopf-Selbstaufmerksamkeitsschicht als auch um die Feedforward-Schicht hinzugefügt, gefolgt von einer [Schichtnormalisierung] (https://zilliz.com/learn/layer-vs-batch-normalization-unlocking-efficiency-in-neural-networks). Diese Komponenten tragen dazu bei, das Training zu stabilisieren und den Gradienten effektiver fließen zu lassen.
Ausgabeschicht: Die Spitze des Decoders ist eine spätere Ausgabe, die Vorhersagen oder Klassifizierungen erzeugt.

Weitere Informationen finden Sie in diesem Blog über Transformer Model.

Anwendungen

Neuronale Netze, insbesondere Transformatoren, haben die Sprachverarbeitung drastisch verbessert und ermöglichen genaue Übersetzungen, Zusammenfassungen und Stimmungsanalysen.

Schlussfolgerung

Nach der Lektüre dieses Artikels wissen Sie nun über neuronale Netze, ihre Architektur und Funktionsweise Bescheid. Sie haben verschiedene Arten von neuronalen Netzen kennengelernt und wissen, warum sie für einen bestimmten Anwendungsfall die richtige Wahl sind. Dieser Artikel war nur ein Ausgangspunkt, Sie können sich also gerne mit jedem Typ im Detail beschäftigen, um ihn besser zu verstehen.