Wiederkehrende neuronale Netze (RNNs): Quizfragen und Übungen

Question 1

Welche RNN-Architektur ist für die Verarbeitung von Textsequenzen optimal und warum?

Accepted Answer

LSTM (Long Short-Term Memory)

Answer

GRU (Gated Recurrent Unit)

Answer

Einfache RNN (recurrent neural network)

Answer

CNN (Convolutional Neural Network)

Question 2

Welche Aktivierungsfunktion wird häufig in RNNs verwendet?

Accepted Answer

Tanh

Answer

Sigmoid

Answer

ReLU

Answer

Swish

Question 3

Welche Schwierigkeit tritt häufig beim Training von RNNs auf?

Accepted Answer

Verschwindende Gradienten

Answer

Explodierende Gradienten

Answer

Moduskollaps

Answer

Überanpassung

Question 4

Welche Anwendung von RNNs hat zu bedeutenden Fortschritten in der Sprachverarbeitung geführt?

Accepted Answer

Maschinelle Übersetzung

Answer

Automatisierte Zusammenfassung

Answer

Spracherkennung

Answer

Sentimentanalyse

Question 5

**Optimierte Frage:** Erläutern Sie die Rolle von RNNs in der Textverarbeitung einer typischen NLP-Pipeline. Beschreiben Sie die spezifischen Aufgaben, die RNNs in jeder Phase übernehmen.

Accepted Answer

**Optimierte Option 1:** Einbettungen generieren, Sequenzen modellieren, maschinell übersetzen

Answer

**Optimierte Option 2:** Tokenisieren, Part-of-Speech-Tagging durchführen, parsen

Answer

**Optimierte Option 3:** Bilder verarbeiten, Sprache erkennen, Roboter steuern

Question 6

Welche Technik wird speziell zur Bewältigung des Gradientenflusses in rekurrenten neuronalen Netzen (RNNs) eingesetzt?

Accepted Answer

Truncated Backpropagation through Time (TBPTT)

Answer

Batch-Normalisierung

Answer

Dropout

Question 7

Welche der folgenden Aussagen beschreibt ein wesentliches Merkmal von Rekursiven Neuronalen Netzen (RNNs)?

Accepted Answer

RNNs besitzen Rückkopplungsverbindungen, die ihnen die Verarbeitung von Sequenzdaten ermöglichen.

Answer

RNNs sind ausschließlich für die Verarbeitung von Bilddaten konzipiert.

Answer

RNNs haben immer mehrere versteckte Schichten.

Answer

RNNs werden nur für Aufgaben zur Vorhersage von Zeitreihen eingesetzt.

Question 8

Welche Architekturkomponente unterscheidet RNNs von Feedforward-Netzwerken?

Accepted Answer

Rückkopplungsverbindungen

Answer

Konvolutionsschichten

Answer

Poolingschichten

Answer

Vollständig verbundene Schichten

Question 9

Welche Variante von RNNs ist am besten für Aufgaben geeignet, die lange Abhängigkeiten erfordern?

Accepted Answer

LSTM

Answer

GRU

Answer

Bidirektionales RNN

Answer

Vanilla RNN

Question 10

Welche Aktivierungsfunktion wird typischerweise in LSTM-Zellen verwendet?

Accepted Answer

Tanh

Answer

Sigmoid

Answer

ReLU

Answer

softmax

Question 11

Welche der folgenden Aussagen beschreibt die Hauptfunktion von rekurrierenden neuronalen Netzen (RNNs) treffend?

Accepted Answer

Sie wurden speziell für die Verarbeitung von sequenzbasierten Daten wie Text und Zeitreihen entwickelt.

Answer

Sie sind darauf spezialisiert, Bilddaten zu verarbeiten.

Answer

Sie können nur zur Dokumentenklassifizierung eingesetzt werden.

Answer

Sie werden ausschließlich für die Spracherkennung genutzt.

Question 12

Welche der genannten Architekturtypen ist eine Variante von RNNs?

Accepted Answer

Langkurzzeitgedächtnis (LSTM)

Answer

Faltungsneuronale Netze (CNNs)

Answer

Generative Adversarial Networks (GANs)

Answer

Unterstützungsvektor-Maschinen (SVMs)

Question 13

Welche Aufgabe erfüllen verborgene Zustände in RNNs?

Accepted Answer

Sie speichern Informationen über den vorherigen Kontext einer Sequenz.

Answer

Sie generieren Ausgaben für jedes Element der Sequenz.

Answer

Sie initialisieren die Gewichte des Netzwerks.

Answer

Sie verarbeiten Eingaben variabler Länge.

Question 14

Welche Aktivierungsfunktion wird typischerweise in LSTM-Zellen verwendet?

Accepted Answer

Tanh

Answer

Sigmoid

Answer

ReLU

Answer

MaxPooling

Question 15

Was versteht man unter dem Problem des verschwindenden Gradienten bei RNNs?

Accepted Answer

Gradienten werden während der Rückwärtspropagation sehr klein.

Answer

Gradienten werden während der Rückwärtspropagation sehr groß.

Answer

Gradienten werden während der Vorwärtspropagation instabil.

Answer

Gradienten können nicht berechnet werden.

Question 16

Was ist der Hauptunterschied zwischen LSTM- und GRU-Zellen?

Accepted Answer

LSTM-Zellen enthalten einen "Gate"-Mechanismus, GRU-Zellen nicht.

Answer

GRU-Zellen enthalten einen "Gate"-Mechanismus, LSTM-Zellen nicht.

Answer

LSTM-Zellen sind komplexer als GRU-Zellen.

Answer

GRU-Zellen sind komplexer als LSTM-Zellen.

Question 17

Welche Aktivierungsfunktion wird üblicherweise in RNN-Zellen verwendet?

Accepted Answer

Tanh-Funktion für begrenzte Ausgaben

Answer

Lineare Funktion

Answer

Sigmoid-Funktion für binäre Ausgaben

Answer

ReLu-Funktion für nichtlineare Beziehungen

Question 18

Wie wird der Informationsfluss in RNNs gesteuert?

Accepted Answer

Über wiederkehrende Verbindungen, die Informationen aus vorherigen Zeitschritten speichern

Answer

Über Faltungsoperationen, die räumliche Merkmale extrahieren

Answer

Über Aufmerksamkeitsmechanismen, die wichtige Teile der Sequenz hervorheben

Answer

Über Pooling-Operationen, die Informationen zusammenfassen

Question 19

Für welche Anwendung sind RNNs besonders gut geeignet?

Accepted Answer

Verarbeitung natürlicher Sprache wie Textgenerierung und Übersetzung

Answer

Bildklassifizierung, bei der räumliche Muster analysiert werden

Answer

Spracherkennung, bei der akustische Signale verarbeitet werden

Answer

Objektdetektion, bei der Bilder in Regionen unterteilt werden

Question 20

Wie können RNNs zur Textgenerierung eingesetzt werden?

Accepted Answer

Durch die Vorhersage des nächsten Wortes in einer Sequenz basierend auf dem vorherigen Kontext

Answer

Durch die Übersetzung einer Eingabesequenz in eine Ausgabesequenz

Answer

Durch die Klassifizierung von Textdokumenten in Kategorien

Answer

Durch die Extraktion von Merkmalen aus Textdaten für andere Aufgaben

Question 21

Welcher Hyperparameter ist entscheidend für die Stabilität des Trainings von RNNs?

Accepted Answer

Lernrate, die die Schrittweite bei Aktualisierungen der Gewichte bestimmt

Answer

Batch-Größe, die die Anzahl der Beispiele pro Trainingsschritt festlegt

Answer

Regularisierungsstärke, die Überanpassung verhindert

Answer

Anzahl versteckter Einheiten, die die Kapazität des Netzwerks bestimmt

Question 22

Welche Metrik wird zur Bewertung der Leistung von RNNs bei der Verarbeitung natürlicher Sprache typischerweise verwendet?

Accepted Answer

Perplexität, die die Schwierigkeit misst, die Eingabesequenz aus dem Modell vorherzusagen

Answer

Genauigkeit, die den Anteil korrekter Vorhersagen misst

Answer

F1-Score, der Präzision und Rückruf kombiniert

Answer

AUC, die die Fähigkeit misst, positive von negativen Beispielen zu unterscheiden

Question 23

Erläutern Sie die möglichen ethischen Bedenken und Herausforderungen bei der Anwendung von RNNs und begründen Sie, warum diese auftreten können.

Accepted Answer

RNNs können Verzerrungen verursachen, da sie mit Trainingsdaten trainiert werden, die möglicherweise voreingenommen sind.

Accepted Answer

RNNs können die Privatsphäre verletzen, da sie persönliche Daten verarbeiten können.

Accepted Answer

RNNs können negative Auswirkungen auf die Gesellschaft haben, beispielsweise durch die Verbreitung von Fehlinformationen.

Question 24

Welche Vorteile bieten bidirektionale RNNs und Encoder-Decoder-Modelle im Vergleich zu herkömmlichen RNNs?

Accepted Answer

Bidirektionale RNNs können Sequenzdaten in beide Richtungen verarbeiten, was die Merkmalsextraktion verbessert.

Accepted Answer

Encoder-Decoder-Modelle können unstrukturierte Daten in strukturierte Darstellungen und umgekehrt umwandeln.

Answer

Fortgeschrittene RNN-Architekturen benötigen im Allgemeinen weniger Trainingsdaten als herkömmliche RNNs.

Question 25

Welcher Vorteil gegenüber Feedforward-Netzwerken ist ein Alleinstellungsmerkmal wiederkehrender neuronaler Netze (RNNs)?

Accepted Answer

Sequentielle Abhängigkeiten in Daten erfassen

Answer

Größere Datenmengen verarbeiten

Answer

Schnelleres Training ermöglichen

Question 26

Welche der aufgeführten Architekturen repräsentiert einen weit verbreiteten RNN-Typ?

Accepted Answer

Long Short-Term Memory (LSTM)

Answer

Selbstorganisierende Karte (SOM)

Answer

Konvolutionales neuronales Netzwerk (CNN)

Answer

Generatives adversariales Netzwerk (GAN)

Question 27

Welche Funktion erfüllt eine Gatterstruktur in einem LSTM-Netzwerk?

Accepted Answer

Regulierung des Informationsflusses durch die Zelle

Answer

Initialisierung von Zellzuständen

Answer

Berechnung der Zellausgabe

Answer

Erzeugung neuer Datenpunkte in der Sequenz

Question 28

Für welche Anwendung sind RNNs besonders gut geeignet?

Accepted Answer

Sprachmodellierung

Answer

Optimierung

Answer

Objekterkennung

Answer

Bildklassifizierung

Question 29

Welche wesentliche Einschränkung ist mit RNNs verbunden?

Accepted Answer

Verschwindendes Gradientenproblem

Answer

Schlechte Generalisierungsfähigkeit

Answer

Hohe Rechenkosten

Answer

Überanpassung

Question 30

Welche Technik kann eingesetzt werden, um das Problem des verschwindenden Gradienten in RNNs zu mindern?

Accepted Answer

Truncated Backpropagation Through Time (TBPTT)

Answer

Early Stopping

Answer

Regularisierung

Answer

Dropout

Question 31

Welches alternative Modell zu RNNs eignet sich ebenfalls für die Verarbeitung von Sequenzdaten?

Accepted Answer

Transformator

Answer

SVM

Answer

Bayes'sches Netz

Answer

Entscheidungsbaum

Question 32

Was beschreibt den Zellzustand in einem LSTM-Netzwerk?

Accepted Answer

Ein Langzeitgedächtnis, das sequenzielle Informationen speichert

Answer

Die aktuelle Eingabe der Zelle

Answer

Die aktuelle Ausgabe der Zelle

Question 33

Welche Metrik wird häufig zur Bewertung der Leistung von RNNs bei der Verarbeitung natürlicher Sprache herangezogen?

Accepted Answer

Perplexität

Answer

F1-Score

Answer

Genauigkeit

Answer

AUC-ROC

Question 34

Was ist der Hauptunterschied zwischen einem herkömmlichen neuronalen Netzwerk und einem rekurrenten neuronalen Netzwerk (RNN)?

Accepted Answer

RNNs können Sequenzdaten verarbeiten, während herkömmliche neuronale Netzwerke dies nicht können.

Answer

RNNs sind für Bilderkennung besser geeignet als herkömmliche neuronale Netzwerke.

Answer

RNNs verwenden eine andere Art von Aktivierungsfunktion als herkömmliche neuronale Netzwerke.

Question 35

Welche der folgenden Herausforderungen ist **NICHT** ein Hauptproblem beim Training von RNNs?

Accepted Answer

Die Verwendung von Aktivierungsfunktionen wie ReLU.

Answer

Das Verschwinden des Gradienten.

Answer

Die lange Abhängigkeit von vergangenen Eingaben.

Answer

Die Notwendigkeit großer Trainingsdatensätze.

Question 36

Welche Aufgabe erfüllt der Zellzustand (Cell State) in einer LSTM-Architektur?

Accepted Answer

Er speichert Informationen über lange Abhängigkeiten in der Sequenz.

Answer

Er bestimmt die Aktivierungsfunktion des Netzwerks.

Answer

Er normalisiert die Eingangsdaten.

Question 37

Welche der folgenden Architekturen ist **KEINE** Variante eines rekurrenten neuronalen Netzwerks (RNN)?

Accepted Answer

Convolutional Neural Network (CNN).

Answer

Long Short-Term Memory (LSTM).

Answer

Gated Recurrent Unit (GRU).

Answer

Bidirectional RNN (BRNN).

Question 38

Wie hilft eine bidirektionale RNN (BRNN) bei der Verarbeitung von Sequenzdaten?

Accepted Answer

Sie berücksichtigt sowohl die Vergangenheit als auch die Zukunft der Sequenz.

Answer

Sie reduziert den Bedarf an Trainingsdaten.

Answer

Sie erhöht die Geschwindigkeit der Verarbeitung.

Question 39

Was ist die Hauptaufgabe eines Gate-Mechanismus in einem LSTM oder GRU?

Accepted Answer

Er steuert, welche Informationen im Zellzustand gespeichert oder verworfen werden.

Answer

Er normalisiert die Eingangsdaten.

Answer

Er stabilisiert die Gradienten während des Trainings.

Question 40

Welche Technik kann eingesetzt werden, um das Problem des Gradientenverschwindens in RNNs zu mildern?

Accepted Answer

Die Verwendung von LSTMs oder GRUs.

Answer

Die Reduzierung der Anzahl der Schichten im Netzwerk.

Answer

Die Reduzierung der Größe des Trainingsdatensatzes.

Answer

Die Erhöhung der Lernrate des Optimierers.

Question 41

Wie kann die Performance eines RNN-Modells für Zeitreihenvorhersage verbessert werden?

Accepted Answer

Durch die Einbeziehung zusätzlicher Merkmale wie saisonalen oder trendbezogenen Informationen.

Answer

Durch die Verwendung einer kleineren Lernrate.

Answer

Durch die Reduzierung der Anzahl der Neuronen im Netzwerk.

Question 42

Was ist der Hauptunterschied zwischen einem unidirektionalen und einem bidirektionalen RNN?

Accepted Answer

Ein unidirektionales RNN verarbeitet Sequenzdaten nur in eine Richtung, während ein bidirektionales RNN Sequenzdaten in beide Richtungen verarbeitet.

Answer

Ein unidirektionales RNN ist schneller als ein bidirektionales RNN.

Question 43

Welches Problem entsteht durch das Verschwinden des Gradienten in traditionellen neuronalen Netzen bei der Verarbeitung von Sequenzdaten?

Accepted Answer

Das Netzwerk verliert die Fähigkeit, Abhängigkeiten über längere Zeiträume zu lernen.

Answer

Das Netzwerk lernt zu schnell und überanpasst sich den Trainingsdaten.

Answer

Das Netzwerk konvergiert nicht und findet keine optimale Lösung.

Question 44

Welche der folgenden Architekturen ist **keine** Art von rekurrenten neuronalen Netz (RNN)?

Accepted Answer

Convolutional Neural Network (CNN)

Answer

Recurrent Neural Network (RNN)

Answer

Gated Recurrent Unit (GRU)

Answer

Long Short-Term Memory (LSTM)

Question 45

Was ist die Hauptfunktion von LSTM-Zellen?

Accepted Answer

Informationen über lange Zeiträume zu speichern und abzurufen.

Answer

Die Anzahl der Neuronen im Netzwerk zu reduzieren.

Answer

Die Trainingszeit des Netzwerks zu verkürzen.

Question 46

Welche der folgenden Aussagen über die Backpropagation durch die Zeit (BPTT) ist korrekt?

Accepted Answer

BPTT ermöglicht das Training von RNNs durch die Berechnung der Gradienten über die gesamte Sequenz.

Answer

BPTT ist eine statische Methode, die keine dynamischen Änderungen der Sequenzlängen zulässt.

Answer

BPTT ist eine effiziente Methode für das Training sehr langer Sequenzen.

Question 47

Wie unterscheiden sich GRUs von LSTMs?

Accepted Answer

GRUs haben weniger Gatter (Gates) als LSTMs.

Answer

GRUs sind für die Verarbeitung kürzerer Sequenzen besser geeignet.

Answer

GRUs sind komplexer als LSTMs.

Answer

GRUs werden hauptsächlich für Sprachverarbeitung verwendet.

Question 48

Welches Problem wird durch das **Ausrollen** (unfolding) von RNNs gelöst?

Accepted Answer

Die Verarbeitung von Sequenzen beliebiger Länge.

Answer

Die Überanpassung des Netzwerks an die Trainingsdaten.

Answer

Das Verschwinden des Gradienten.

Answer

Die Komplexität des Netzwerks.

Question 49

Welche der folgenden Anwendungen ist **nicht** direkt mit der Verarbeitung von Sequenzdaten verbunden?

Accepted Answer

Bildsegmentierung

Answer

Spracherkennung

Answer

Musikklassifizierung

Answer

Aktienpreisvorhersage

Question 50

Welche der folgenden Aussagen beschreibt am besten die zugrunde liegende Architektur von RNNs?

Accepted Answer

Sie sind sequenzielle Netze, die ihre Eingaben für die Verarbeitung nachfolgender Eingaben verwenden.

Answer

Sie sind vollständig verbundene Netze, die alle Eingaben gleichzeitig verarbeiten.

Question 51

Welche Schicht wird üblicherweise in RNNs verwendet, um den **Zustand des Speichers** über Zeitpunkte hinweg aufrechtzuerhalten?

Accepted Answer

Verborgene Schicht

Answer

Ausgabeschicht

Answer

Eingabeschicht

Question 52

Welche RNN-Architektur ist speziell für die Verarbeitung **sehr langer Sequenzen** konzipiert?

Accepted Answer

LSTM (Long Short-Term Memory)

Answer

Vanilla RNN

Answer

BILSTM (Bidirektionales LSTM)

Answer

GRU (Gated Recurrent Unit)

Question 53

Welche der folgenden Techniken wird eingesetzt, um das Problem des Verschwindens oder Explodierens von Gradienten in RNNs zu beheben?

Accepted Answer

Gradienten Clipping

Answer

Dropout

Answer

Batch-Normalisierung

Answer

Regularisierung

Question 54

Wie unterscheidet sich die Rückwärtspropagation von der Vorwärtspropagation in einem RNN grundlegend?

Accepted Answer

In der Rückwärtspropagation werden die Gradienten in Bezug auf die Eingaben berechnet, während in der Vorwärtspropagation die Aktivierungen berechnet werden.

Answer

Die Vorwärtspropagation berechnet die Fehler, während die Rückwärtspropagation die Gewichte aktualisiert.

Question 55

Welche Rolle spielt die Verlustfunktion bei der Beurteilung der Leistung eines RNN-Modells?

Accepted Answer

Sie misst die Abweichung zwischen den vorhergesagten und den tatsächlichen Ausgaben.

Answer

Sie erzeugt neue Datenpunkte aus einer gegebenen Verteilung.

Answer

Sie speichert die Historie der Modellparameter über die Zeit.

Question 56

Welche der folgenden Strategien dient der Vermeidung von Überanpassung in RNN-Modellen?

Accepted Answer

Dropout

Answer

Verwendung eines komplexeren Modells

Answer

Erhöhung der Anzahl der Trainingsepochen

Question 57

Was stellt bei traditionellen neuronalen Netzen eine besondere Herausforderung bei der Verarbeitung von Sequenzdaten dar?

Accepted Answer

Traditionelle neuronale Netze können die zeitliche Abhängigkeit zwischen Datenpunkten in einer Sequenz nicht berücksichtigen.

Answer

Traditionelle neuronale Netze können keine Sequenzdaten verarbeiten.

Question 58

Was ist das Hauptmerkmal von rekurrenten neuronalen Netzen (RNNs), das sie für die Verarbeitung von Sequenzdaten geeignet macht?

Accepted Answer

Die Verwendung rekursiver Verbindungen, die es RNNs ermöglichen, Informationen aus früheren Zeitpunkten in der Sequenz zu nutzen.

Answer

Die Verwendung von Faltungsschichten zur Merkmalsextraktion aus Sequenzdaten.

Question 59

Welches Problem ergibt sich bei der Verarbeitung langer Sequenzen in RNNs?

Accepted Answer

Verschwindende oder explodierende Gradienten, die dazu führen können, dass RNNs Schwierigkeiten haben, Informationen aus entfernten Zeitpunkten in der Sequenz zu lernen.

Answer

Die erhöhte Komplexität des Trainings von RNNs bei langen Sequenzen.

Question 60

Welche der folgenden Architekturen ist eine Weiterentwicklung von RNNs, die das Problem des Verschwindens oder Explodierens von Gradienten adressiert?

Accepted Answer

Long Short-Term Memory (LSTM)

Answer

Recurrent Autoencoder (RAE)

Answer

Multilayer Perceptron (MLP)

Answer

Convolutional Neural Network (CNN)

Question 61

Was ist der Zweck von Gated Recurrent Units (GRUs) in RNNs?

Accepted Answer

GRUs reduzieren die Komplexität von LSTMs, während sie vergleichbare Leistungen bei der Verarbeitung von Sequenzdaten erzielen.

Answer

GRUs sind eine spezielle Form von RNNs, die für die Verarbeitung von Bilddaten entwickelt wurden.

Question 62

Welche der folgenden Anwendungen wird typischerweise NICHT mit RNNs in Verbindung gebracht?

Accepted Answer

Bildklassifizierung

Answer

Zeitreihenanalyse

Answer

Maschinelle Übersetzung

Answer

Spracherkennung

Question 63

Welche Aufgabe kann durch ein Bidirektionales RNN (BRNN) besser gelöst werden als durch ein normales RNN?

Accepted Answer

Die Vorhersage von Wörtern in einem Satz, indem Informationen aus beiden Richtungen berücksichtigt werden.

Answer

Die Verarbeitung von langen Sequenzen ohne das Problem des Gradientenverschwindens.

Question 64

Was ist ein Encoder-Decoder-Modell in Bezug auf RNNs?

Accepted Answer

Ein Architekturmuster, bei dem ein RNN die Eingabe-Sequenz in einen Kontextvektor kodiert, der dann von einem anderen RNN zur Generierung der Ausgabe-Sequenz verwendet wird.

Answer

Ein Trainingsalgorithmus für RNNs, der die Verlustfunktion minimiert.