Q-Learning und SARSA: Interaktive Lernquizze für Maschinelles Lernen

Question 1

Welche Aussage beschreibt die Q-Funktion im Q-Learning?

Accepted Answer

Sie schätzt den erwarteten zukünftigen Nutzen einer Aktion in einem bestimmten Zustand.

Answer

Sie garantiert den optimalen Nutzen für jede Aktion.

Answer

Sie wird nur aktualisiert, wenn der Agent eine Belohnung erhält.

Question 2

Welche Komponente ist **nicht** ein wesentlicher Bestandteil eines Reinforcement-Learning-Systems?

Accepted Answer

Verlustfunktion

Answer

Zustandsraum

Answer

Aktionsraum

Answer

Belohnungsfunktion

Question 3

Wie wird die Wertfunktion im Q-Learning verwendet?

Accepted Answer

Zur Bestimmung der optimalen Richtlinie für den Agenten

Answer

Zur Bestimmung der Wahrscheinlichkeit, dass sich der Agent in einem bestimmten Zustand befindet

Answer

Zur Aktualisierung am Ende jeder Episode

Answer

Unabhängig von der Belohnungsfunktion

Question 4

Welcher der folgenden Algorithmen gehört zum Bereich des bestärkenden Lernens?

Accepted Answer

Q-Learning

Answer

Lineare Regression

Answer

Support Vector Machines

Answer

Entscheidungsbaum

Question 5

Was ist das Ziel der Aktualisierung der Q-Funktion beim Q-Learning?

Accepted Answer

Maximierung der erwarteten kumulativen Belohnung

Answer

Minimierung der erwarteten Kosten

Answer

Erhöhung der Varianz der Belohnungen

Answer

Reduzierung des Lernschrits

Question 6

Welche Aussage zu SARSA ist korrekt?

Accepted Answer

Die Q-Funktion wird mit der folgenden Aktion aktualisiert.

Answer

Die Q-Funktion wird mit der aktuellen Aktion aktualisiert.

Answer

SARSA ist ein nicht-iterativer Algorithmus.

Answer

SARSA wird nur für deterministische Umgebungen verwendet.

Question 7

In welchem Bereich findet Q-Learning häufig Anwendung?

Accepted Answer

Robotik

Answer

Medizin

Answer

Finanzwesen

Answer

Theoretische Physik

Question 8

Welche der folgenden Eigenschaften stellt einen Nachteil von Q-Learning dar?

Accepted Answer

Hoher Speicherbedarf

Answer

Schnelle Konvergenz

Answer

Robustheit gegenüber Rauschen

Answer

Einfache Implementierung

Question 9

Wie wird die Erkundungsrate in Q-Learning gesteuert?

Accepted Answer

Durch einen zeitabhängigen Parameter

Answer

Durch einen festen Wert

Answer

Durch eine Zufallszahl

Answer

Durch manuelle Eingriffe

Question 10

Welche der folgenden Aussagen beschreibt den Hauptunterschied zwischen Q-Learning und dynamischer Programmierung?

Accepted Answer

Alle oben genannten Aussagen

Answer

Q-Learning erfordert keine Kenntnis der Umgebung.

Answer

Dynamische Programmierung ist deterministisch, während Q-Learning stochastisch ist.

Answer

Q-Learning ist ein Online-Algorithmus, während dynamische Programmierung ein Offline-Algorithmus ist.

Question 11

Welches Kriterium bestimmt die Aktionsauswahl in Q-Learning?

Accepted Answer

Die Aktion mit dem höchsten geschätzten Q-Wert

Answer

Eine zufällig gewählte Aktion

Answer

Die Aktion mit dem niedrigsten geschätzten Q-Wert

Answer

Die Aktion mit dem höchsten erwarteten zukünftigen Nutzen

Question 12

Wie kann die Stabilität von Q-Learning verbessert werden?

Accepted Answer

Durch Verwendung einer Zielwertfunktion

Answer

Durch Erhöhen des Lernschrits

Answer

Durch Initialisierung der Q-Funktion mit Zufallswerten

Answer

Durch Reduzieren der Erkundungsrate

Question 13

Welche Aussage über SARSA ist falsch?

Accepted Answer

SARSA aktualisiert die Q-Funktion nur, wenn die Aktion erfolgreich ist.

Answer

SARSA ist ein On-Policy-Algorithmus.

Answer

SARSA verwendet die Bellman-Gleichung.

Answer

SARSA kann in kontinuierlichen Zustandsräumen verwendet werden.

Question 14

Welche der folgenden Aussagen beschreibt zutreffend das Update-Verfahren von SARSA?

Accepted Answer

SARSA aktualisiert nach jeder Aktion sowohl die Wertfunktion als auch die Handlungsanweisung.

Answer

SARSA verwendet eine deterministische Handlungsanweisung.

Answer

SARSA ist in allen Fällen besser als Q-Learning.

Answer

SARSA ist nicht für Umgebungen mit verzögerten Belohnungen geeignet.

Question 15

Welche Aussage zum Q-Learning-Update ist korrekt?

Accepted Answer

Es verwendet den maximalen Q-Wert aller möglichen Aktionen im Nachfolgezustand s'.

Answer

Es verwendet den Q-Wert der in s ausgeführten Aktion.

Answer

Es verwendet den minimalen Q-Wert aller möglichen Aktionen in s'.

Question 16

Welcher Begriff beschreibt die Wahrscheinlichkeit, eine bestimmte Aktion in einem bestimmten Zustand auszuführen?

Accepted Answer

ε-Greedy-Politik

Answer

Lernrate

Answer

Q-Funktion

Answer

Discount-Faktor

Question 17

Was ist der Zweck des Discount-Faktors in Q-Learning?

Accepted Answer

Reduzierung der Bedeutung zukünftiger Belohnungen für die aktuelle Q-Wert-Schätzung

Answer

Beschleunigung der Konvergenz des Algorithmus

Answer

Erhöhung der Gewichtung unmittelbarer Belohnungen

Question 18

Welche Aussage trifft auf die ε-Greedy-Politik zu?

Accepted Answer

Sie wählt zufällig eine Aktion mit einer Wahrscheinlichkeit von ε aus.

Answer

Sie wählt immer die Aktion mit dem höchsten Q-Wert aus.

Answer

Sie wählt immer die Aktion mit dem niedrigsten Q-Wert aus.

Question 19

Nennen Sie eine Anwendung, für die Q-Learning besonders geeignet ist.

Accepted Answer

Spielen von Brett- und Kartenspielen

Answer

Erkennung von Anomalien in Sensordaten

Answer

Vorhersage von Aktienkursen

Question 20

Nennen Sie einen Nachteil von Q-Learning.

Accepted Answer

Q-Learning kann instabil sein und zu divergierenden Schätzungen führen.

Answer

Q-Learning benötigt einen großen Datensatz.

Answer

Q-Learning ist rechenintensiv.

Question 21

In welchem Bereich wird Q-Learning am häufigsten eingesetzt?

Accepted Answer

Robotik und Automatisierung

Answer

Bildverarbeitung

Answer

Spracherkennung

Answer

Finanzielles Prognostizieren

Question 22

Welchen Vorteil bietet ε-greedy-Exploration in SARSA?

Accepted Answer

Es hilft, lokale Optima zu vermeiden, indem es zufällige Aktionen erkundet.

Answer

Es beschleunigt die Konvergenz.

Answer

Es verbessert die Stabilität des Algorithmus.

Question 23

Welche Aussage über Q-Learning ist falsch?

Accepted Answer

Q-Learning ist immer ein deterministischer Algorithmus.

Answer

Q-Learning kann in Markov-Entscheidungsprozessen angewendet werden.

Answer

Q-Learning verwendet eine Wertfunktion, um Aktionen auszuwählen.

Question 24

Nennen Sie den Hauptnachteil von SARSA.

Accepted Answer

Es kann instabil werden, wenn die Umgebungen stochastisch sind.

Answer

Es erfordert eine große Datenmenge.

Answer

Es ist rechenintensiv.

Question 25

Welche Metrik wird typischerweise zur Bewertung der Leistung von Q-Learning-Algorithmen herangezogen?

Accepted Answer

Kumulative Belohnung über Episoden

Answer

Recall

Answer

Mittlerer absoluter Fehler

Answer

Präzision

Question 26

Welches Ziel verfolgt Q-Learning?

Accepted Answer

Die Abschätzung einer Wertfunktion, die den erwarteten kumulativen Belohnungswert jeder Aktion in jedem Zustand angibt

Answer

Die Erstellung eines Modells der Umgebung

Question 27

Worin unterscheidet sich SARSA von Q-Learning?

Accepted Answer

In SARSA wird die nächste Aktion unter Verwendung der aktuellen Q-Werte ausgewählt, während in Q-Learning die nächste Aktion unter Verwendung der maximalen Q-Werte über alle möglichen Aktionen ausgewählt wird.

Answer

SARSA verwendet eine deterministische Umgebung, während Q-Learning eine stochastische Umgebung verwendet.

Question 28

Für welche Anwendungsbereiche eignen sich Q-Learning und SARSA besonders gut?

Accepted Answer

Roboternavigation und Spieltheorie

Answer

Natürliche Sprachverarbeitung

Answer

Spracherkennung

Answer

Bilderkennung

Question 29

Welcher Vorteil ergibt sich durch die Verwendung von SARSA im Vergleich zu Q-Learning?

Accepted Answer

SARSA benötigt in der Regel weniger Iterationen, um zu konvergieren

Answer

SARSA ist einfacher zu implementieren

Answer

SARSA ist robuster gegenüber lokalen Minima

Question 30

Welche Rolle spielt die Gamma-Discount-Rate beim bestärkenden Lernen?

Accepted Answer

Sie bestimmt den Einfluss zukünftiger Belohnungen auf die Entscheidungsfindung

Answer

Sie legt die Anzahl der Iterationen pro Episode fest

Answer

Sie beeinflusst die Aktualisierungsrate der Q-Werte

Answer

Sie bestimmt die Anzahl der zu erforschenden Zustände

Question 31

Welcher der folgenden Punkte ist ein Hauptvorteil von Q-Learning?

Accepted Answer

Es ist ein off-policy-Algorithmus, was bedeutet, dass es die aktuelle Richtlinie nicht befolgen muss, um optimale Aktionen zu lernen.

Answer

Es ist ein Batch-Algorithmus, was bedeutet, dass es alle Daten sammelt, bevor es mit dem Lernen beginnt.

Answer

Es ist ein deterministischer Algorithmus, was bedeutet, dass es immer die gleiche Aktion für einen bestimmten Zustand auswählt.

Answer

Es benötigt ein Modell der Umgebung, was bedeutet, dass es die Übergangs- und Belohnungsfunktionen kennen muss.

Question 32

Was ist der wesentliche Unterschied zwischen Q-Learning und SARSA?

Accepted Answer

SARSA verwendet die tatsächlich ausgeführte Aktion, um die Q-Werte zu aktualisieren, während Q-Learning die geschätzte optimale Aktion verwendet.

Answer

SARSA benötigt ein Modell der Umgebung, während Q-Learning dies nicht tut.

Answer

SARSA ist ein on-policy-Algorithmus, während Q-Learning ein off-policy-Algorithmus ist.

Question 33

Was ist die Funktion des epsilon-greedy-Parameters in Q-Learning?

Accepted Answer

Er steuert die Balance zwischen Exploration und Exploitation während des Lernprozesses.

Answer

Er bestimmt die Anzahl der Trainingsepisoden.

Answer

Er gibt die Lernrate an.

Question 34

Welche der folgenden Aussagen beschreibt SARSA korrekt?

Accepted Answer

Es ist ein on-policy-Algorithmus, was bedeutet, dass es die aktuelle Richtlinie befolgt, um die Q-Werte zu aktualisieren.

Answer

Es ist ein off-policy-Algorithmus.

Answer

Es benötigt ein Modell der Umgebung.

Answer

Es ist ein deterministischer Algorithmus.

Question 35

Was ist ein wesentlicher Vorteil von Q-Learning im Vergleich zur dynamischen Programmierung?

Accepted Answer

Es kann in Umgebungen mit großen Zustandsräumen angewendet werden, auch wenn ein Modell der Umgebung nicht verfügbar ist.

Answer

Es ist konvergenter als die dynamische Programmierung.

Answer

Es ist einfacher zu implementieren als die dynamische Programmierung.

Answer

Es benötigt weniger Rechenressourcen als die dynamische Programmierung.

Question 36

Was repräsentiert die Q-Funktion in Q-Learning?

Accepted Answer

Die geschätzte langfristige Belohnung für die Auswahl einer Aktion in einem bestimmten Zustand

Answer

Die Wahrscheinlichkeit, einen bestimmten Zustand zu erreichen.

Answer

Die Kosten für den Übergang von einem Zustand in einen anderen.

Question 37

Welche der folgenden Gleichungen beschreibt das Q-Learning-Update korrekt?

Accepted Answer

Q(s, a) <- Q(s, a) + α * (r + γ * max_a' Q(s', a') - Q(s, a))

Answer

Q(s, a) <- Q(s, a) + α * (r - γ * max_a' Q(s', a') + Q(s, a))

Answer

Q(s, a) <- Q(s, a) - α * (r + γ * max_a' Q(s', a') - Q(s, a))

Question 38

Was ist das Hauptziel des Q-Learning-Algorithmus?

Accepted Answer

Berechnung der optimalen Richtlinie für eine markovsche Entscheidungsfindung

Answer

Vorhersage zukünftiger Belohnungen

Answer

Schätzung des Zustands einer Umgebung

Question 39

Welche Aussage beschreibt korrekt den Hauptunterschied zwischen SARSA und Q-Learning?

Accepted Answer

SARSA aktualisiert nur Q-Werte für Aktionen, die tatsächlich ausgeführt wurden, während Q-Learning alle Aktionen aktualisiert.

Answer

SARSA konvergiert schneller als Q-Learning

Answer

SARSA verwendet eine deterministische Richtlinie, während Q-Learning eine stochastische Richtlinie verwendet

Question 40

Was ist ein Hauptvorteil von Q-Learning gegenüber anderen Algorithmen für bestärkendes Lernen?

Accepted Answer

Es kann aus Erfahrungen lernen, ohne ein Modell der Umgebung zu benötigen

Answer

Es ist rechnerisch effizienter

Answer

Es ist immer garantiert, die optimale Richtlinie zu finden

Question 41

Welche Aussage über Q-Learning ist korrekt?

Accepted Answer

Es handelt sich um einen Off-Policy-Algorithmus, der sowohl für deterministische als auch für stochastische Umgebungen geeignet ist

Answer

Es ist ein Modellbasierter Algorithmus

Answer

Es kann zeitvariante Umgebungen nicht behandeln

Answer

Es handelt sich um einen deterministischen Algorithmus

Question 42

Was ist ein wesentlicher Unterschied zwischen Q-Learning und SARSA?

Accepted Answer

SARSA bootet nur Q-Werte für die Aktionen, die tatsächlich ausgeführt werden, während Q-Learning alle Aktionen unter Berücksichtigung der aktuellen Richtlinie bootet.

Answer

SARSA ist ein Off-Policy-Algorithmus, während Q-Learning ein On-Policy-Algorithmus ist

Answer

Q-Learning verwendet eine ε-greedy-Richtlinie, während SARSA eine Bolzmann-Verteilung verwendet

Question 43

Welche Annahme trifft auf Q-Learning zu?

Accepted Answer

Die Umgebung ist markovsch, d. h., der zukünftige Zustand hängt nur vom aktuellen Zustand und der aktuellen Aktion ab

Answer

Die Belohnungen sind immer positiv

Answer

Die Umgebung ist deterministisch

Answer

Der Aktionsraum ist endlich

Question 44

Was ist ein häufiger Kritikpunkt an Q-Learning?

Accepted Answer

Es kann zu überschätzten Q-Werten führen, was zu suboptimalen Richtlinien führen kann, insbesondere bei verzögerten Belohnungen

Answer

Es ist rechnerisch zu aufwendig

Answer

Es ist nicht in der Lage, kontinuierliche Aktionsräume zu behandeln

Question 45

Welcher wesentliche Unterschied besteht zwischen Q-Learning und SARSA?

Accepted Answer

Q-Learning schätzt den Q-Wert des nachfolgenden Zustands, während SARSA den Q-Wert des gegenwärtigen Zustands nutzt.

Answer

Q-Learning nutzt ein Gradientenverfahren, während SARSA ein iteratives Verfahren verwendet.

Answer

Q-Learning ist ein off-policy-Algorithmus, während SARSA ein on-policy-Algorithmus ist.

Question 46

Welche Aussage über SARSA ist zutreffend?

Accepted Answer

SARSA ist ein on-policy-Algorithmus, da es die gleiche Richtlinie zur Auswahl des aktuellen Zustands und zur Aktualisierung des Q-Werts verwendet.

Answer

SARSA konvergiert immer zur optimalen Wertfunktion.

Answer

SARSA ist ein off-policy-Algorithmus, da es unterschiedliche Richtlinien zur Auswahl des aktuellen Zustands und zur Aktualisierung des Q-Werts verwendet.

Question 47

Welche Art von Umgebung eignet sich für Q-Learning oder SARSA?

Accepted Answer

Markov-Entscheidungsprozess-Umgebung

Answer

Deterministische Umgebung

Answer

Kontinuierliche Umgebung

Answer

Stochastische Umgebung

Question 48

Welcher Parameter in Q-Learning steuert das Gleichgewicht zwischen Exploration und Exploitation?

Accepted Answer

Epsilon

Answer

Alpha

Answer

Gamma

Question 49

Welche Anwendung eignet sich für Q-Learning oder SARSA?

Accepted Answer

Robotik

Answer

Bildklassifizierung

Answer

Datenbankabfragen

Answer

Natürliche Sprachverarbeitung

Question 50

Welcher Vorteil von Q-Learning gegenüber Wertfunktionen ist gegeben:

Accepted Answer

Es kann in Umgebungen mit großen oder kontinuierlichen Zustandsräumen verwendet werden.

Answer

Es ist deterministischer

Answer

Es konvergiert schneller

Question 51

Welche Aussage über die Konvergenz von Q-Learning stimmt?

Accepted Answer

Q-Learning konvergiert garantiert, wenn die Epsilon-Greedy-Richtlinie verwendet wird.

Answer

Q-Learning konvergiert nur, wenn die Umgebung deterministisch ist.

Answer

Q-Learning konvergiert immer zum optimalen Wert.

Question 52

Welcher Nachteil ist mit der Verwendung von Q-Learning oder SARSA verbunden?

Accepted Answer

In Umgebungen mit großen Zustandsräumen kann es rechenintensiv werden.

Answer

Es erfordert exaktes Wissen über die Umgebungsdynamik

Answer

Es ist anfällig für lokale Minima

Question 53

Welche der folgenden Eigenschaften ist charakteristisch für Q-Learning?

Accepted Answer

Off-Policy

Answer

Deterministisch

Answer

Modellbasiert

Answer

On-Policy

Question 54

Welche der folgenden Angaben ist ein Vorteil von Q-Learning?

Accepted Answer

Kann in großen Zustandsräumen eingesetzt werden

Answer

Kann nur für stochastische Umgebungen verwendet werden

Answer

Erfordert ein vordefiniertes Modell der Umgebung

Answer

Garantiert immer eine optimale Politik

Question 55

Welche der folgenden Angaben ist ein Nachteil von SARSA?

Accepted Answer

Kann zu instabilem Lernen führen

Answer

Kann in großen Zustandsräumen nicht eingesetzt werden

Answer

Kann nur für deterministische Umgebungen verwendet werden

Answer

Erfordert viel Speicherplatz

Question 56

Welche Funktion wird in Q-Learning verwendet, um die Q-Werte iterativ zu aktualisieren?

Accepted Answer

Bellman-Gleichung

Answer

Regressionsanalyse

Answer

Gradientenabstieg

Answer

Backpropagation

Question 57

Welcher Parameter in Q-Learning spielt eine entscheidende Rolle bei der Balance zwischen Exploration und Exploitation?

Accepted Answer

Epsilon-Greedy

Answer

Zeta

Answer

Gamma

Answer

Alpha

Question 58

Welche der folgenden Aussagen beschreibt SARSA am besten?

Accepted Answer

Ein On-Policy-Algorithmus, der nur die aktuelle Aktion und den nächsten Zustand berücksichtigt

Answer

Ein Off-Policy-Algorithmus, der alle möglichen Aktionen betrachtet

Question 59

In welchem Kontext wird SARSA häufig eingesetzt?

Accepted Answer

Spiele und Robotik

Answer

Finanzmärkte

Answer

Medizinische Diagnostik

Question 60

Welcher der folgenden Vorteile von Q-Learning gegenüber SARSA ist korrekt?

Accepted Answer

Es kann in Umgebungen mit unbekannter Übergangsdynamik eingesetzt werden.

Answer

Es ist weniger anfällig für lokale Optima.

Answer

Es konvergiert schneller.

Question 61

In welchen Bereichen wird SARSA häufig eingesetzt?

Accepted Answer

Robotik und Spieltheorie

Answer

Finanzprognosen

Answer

Medizinische Diagnostik

Question 62

Welche der folgenden Aussagen über Q-Learning ist falsch?

Accepted Answer

Es aktualisiert die Werte aller Aktionen im aktuellen Zustand und wählt anschließend die Aktion mit dem höchsten Wert aus.

Answer

Es verwendet eine Wertfunktion, um den Wert von Aktionen zu schätzen.

Answer

Es ist ein online-Lernalgorithmus.

Question 63

Welche ist eine wichtige Annahme für die Konvergenz von Q-Learning?

Accepted Answer

Die Umgebung ist stationär und erkundend.

Answer

Die Belohnungsfunktion ist linear.

Answer

Die Aktionen sind diskret.

Answer

Der Lernfaktor ist konstant.

Question 64

Welche Rolle spielt die Belohnungsfunktion in Q-Learning?

Accepted Answer

Sie liefert das Feedback für den Algorithmus und beeinflusst die Schätzung der Q-Werte.

Answer

Sie ist für die Konvergenz des Algorithmus unerlässlich.

Answer

Sie bestimmt die beste Aktion in jedem Zustand.