Bestärkendes Lernen: Quizfragen und Übungen

Question 1

Welche der folgenden Aussagen beschreibt die Rolle der Wertfunktion in Verstärkungslernaufgaben am besten?

Accepted Answer

Sie gibt die erwartete Gesamtsumme der Belohnungen für alle möglichen Zustands-Aktions-Paare an.

Answer

Sie ist eine feste Funktion, die den Zustand des Agenten bestimmt.

Answer

Sie wird nur in Umgebungen mit Sicherheit eingesetzt.

Question 2

Nenne und analysiere Anwendungsbeispiele für bestärkendes Lernen in verschiedenen Branchen. Erläutere die Herausforderungen und Vorteile der Implementierung dieser Algorithmen in realen Szenarien.

Accepted Answer

Verbesserung der Navigationssysteme in der Automobilindustrie

Accepted Answer

Personalisierung von Produktempfehlungen im E-Commerce

Accepted Answer

Kontrolle autonomer Roboter in der Fertigung

Accepted Answer

Entwicklung von Handelsstrategien im Finanzwesen

Question 3

Im bestärkenden Lernen besteht die Herausforderung darin, zwischen Exploration und Exploitation abzuwägen. Erläutere dieses Dilemma und nenne zwei gängige Strategien, um es zu bewältigen.

Accepted Answer

Epsilon-greedy

Accepted Answer

Softmax

Answer

Epsilon-first

Answer

Zufällig

Question 4

Welches der folgenden Elemente ist KEIN wesentlicher Bestandteil eines Markov-Entscheidungsprozesses (MDP)?

Accepted Answer

Zukunftsvorhersagefunktion

Answer

Zustandsmenge

Answer

Aktionsmenge

Answer

Übergangswahrscheinlichkeiten

Question 5

Welche Aussage über Belohnungsfunktionen im bestärkenden Lernen ist falsch?

Accepted Answer

Sie sind immer deterministisch.

Answer

Sie definieren die unmittelbare Belohnung für Aktionen.

Answer

Sie können sowohl positiv als auch negativ sein.

Answer

Sie spielen eine entscheidende Rolle bei der Steuerung des Verhaltens des Agenten.

Question 6

Welche Methode verwendet der Value Iteration-Algorithmus, um den Wert einer Zustands-Aktions-Paar zu aktualisieren?

Accepted Answer

Bellman-Gleichung

Answer

Monte-Carlo-Schätzung

Answer

TD(λ)-Lernen

Answer

SARSA-Lernen

Question 7

Welches ist das Ziel einer Entdeckungsstrategie im bestärkenden Lernen?

Accepted Answer

Erkundung neuer Zustände und Aktionen

Answer

Maximierung der aktuellen Belohnung

Answer

Verbesserung der Stabilität des Algorithmus

Answer

Verhinderung des Überschießens

Question 8

Welches Problem kann durch die Verwendung von zeitlichen Differenzmethoden (TD-Methoden) behoben werden?

Accepted Answer

Verzögerte Belohnungen

Answer

Experimenteller Rauschen

Answer

Nicht deterministische Umgebungen

Answer

Unbekannte Zustandsübergänge

Question 9

Unterscheiden Sie zwischen Offline- und Online-Lernen im bestärkenden Lernen.

Accepted Answer

Offline-Lernen verwendet gespeicherte Daten, während Online-Lernen in Echtzeit lernt.

Answer

Online-Lernen ist für große Datenmengen geeignet, während Offline-Lernen für kleine Datenmengen geeignet ist.

Answer

Offline-Lernen ist datenintensiver als Online-Lernen.

Answer

Online-Lernen ist stabiler als Offline-Lernen.

Question 10

Welches Ziel verfolgt eine Belohnungsfunktion in einem MDP?

Accepted Answer

Die Aktionen des Agenten zu belohnen

Answer

Die Aktionen des Agenten zu bestrafen

Answer

Den Zustand des Agenten zu verbessern

Answer

Die Umgebung zu stabilisieren

Question 11

Welche Aussage über Wertfunktionen ist richtig?

Accepted Answer

Sie geben den erwarteten zukünftigen Nutzen eines Zustands an

Answer

Sie geben die Wahrscheinlichkeit an, in einen bestimmten Zustand zu gelangen

Answer

Sie geben die Kosten an, die mit einer bestimmten Aktion verbunden sind

Answer

Sie geben die Anzahl der Schritte an, die erforderlich sind, um ein Ziel zu erreichen

Question 12

Welcher Begriff beschreibt die Fähigkeit eines Agenten, aus Fehlern zu lernen und seine Entscheidungen im Zeitverlauf zu verbessern?

Accepted Answer

Anpassung

Answer

Erkundung

Answer

Ausbeutung

Answer

Verstärkung

Question 13

Welche Technik kann verwendet werden, um die Konvergenz von Wertfunktionsschätzungsalgorithmen zu beschleunigen?

Accepted Answer

Zeitliche Differenzierung

Answer

Monte-Carlo-Methoden

Answer

Dynamische Programmierung

Answer

Rückwärtspropagation

Question 14

Welcher Typ des bestärkenden Lernens ermöglicht es einem Agenten, in einer Umgebung mit kontinuierlichem Zustands- und Aktionsraum zu lernen?

Accepted Answer

Model-free Learning

Answer

Model-based Learning

Answer

Supervised Learning

Answer

Unsupervised Learning

Question 15

Welche der folgenden Anwendungen ist ein Beispiel für bestärkendes Lernen?

Accepted Answer

AlphaGo

Answer

Siri

Answer

Netflix-Empfehlungen

Answer

Spam-Filterung

Question 16

Welche wesentliche Eigenschaft zeichnet einen Markov-Entscheidungsprozess (MDP) aus?

Accepted Answer

Stochastische Übergangsfunktionen

Answer

Deterministische Belohnungsfunktion

Answer

Vordefinierte Anzahl von Zuständen und Aktionen

Answer

Vollständige Transparenz

Question 17

Welchen Zweck erfüllt eine Belohnungsfunktion in einem MDP?

Accepted Answer

Bewertung der Qualität einer Aktion

Answer

Berechnung der Übergangswahrscheinlichkeit in einen neuen Zustand

Answer

Bestimmung des aktuellen Agentenzustands

Answer

Berechnung der erwarteten Belohnung über alle zukünftigen Zustände

Question 18

Erläutern Sie den Unterschied zwischen ε-Greedy und UCB-Algorithmus.

Accepted Answer

ε-Greedy wählt zufällig eine Aktion aus, während UCB die Aktion mit der höchsten oberen Konfidenzgrenze auswählt

Answer

UCB wählt zufällig eine Aktion aus, während ε-Greedy die Aktion mit der höchsten beobachteten Belohnung auswählt

Answer

Beide Algorithmen wählen immer die Aktion mit der höchsten beobachteten Belohnung aus

Answer

Beide Algorithmen wählen immer zufällig eine Aktion aus

Question 19

Was versteht man unter einer Policy in einem MDP?

Accepted Answer

Eine Funktion, die den aktuellen Zustand in eine Aktion abbildet

Answer

Eine Funktion, die die erwartete Belohnung für ein Zustands-Aktions-Paar berechnet

Answer

Eine Funktion, die die Übergangswahrscheinlichkeit in einen neuen Zustand berechnet

Answer

Eine Funktion, die den optimalen Pfad vom aktuellen Zustand zum Zielzustand findet

Question 20

Welche Herausforderung kann bei der Implementierung von bestärkendem Lernen auftreten?

Accepted Answer

Alle vorgenannten

Answer

Instabilität während des Trainings

Answer

Lange Trainingszeiten

Answer

Umfangreiche Datenanforderungen

Question 21

Nenne die grundlegenden Annahmen von Markov-Entscheidungsprozessen und erkläre, wie sie deren praktische Anwendung beeinflussen.

Accepted Answer

Markov-Eigenschaft und endlicher Zustandsraum

Answer

Deterministische Übergänge und sofortige Belohnungen

Answer

Unbegrenzter Aktionsraum und kontinuierliche Zustandsräume

Question 22

Welche der folgenden Aussagen beschreibt eine ethische Herausforderung beim Einsatz von Verstärkungslernsystemen?

Accepted Answer

Verstärkungslernsysteme können die Privatsphäre verletzen, indem sie persönliche Daten sammeln und nutzen.

Accepted Answer

Verstärkungslernsysteme können menschliche Vorurteile verstärken, wenn sie mit voreingenommenen Daten trainiert werden.

Accepted Answer

Verstärkungslernsysteme können die menschliche Autonomie einschränken, wenn sie Entscheidungen treffen.

Answer

Verstärkungslernsysteme sind immer fair und unvoreingenommen.

Question 23

Welche Aussage beschreibt die Rolle von Q-Werten im Q-Learning-Algorithmus korrekt?

Accepted Answer

Sie repräsentieren die erwartete langfristige Belohnung für eine Aktion in einem bestimmten Zustand.

Answer

Sie repräsentieren nur die unmittelbare Belohnung für eine Aktion in einem bestimmten Zustand.

Answer

Sie repräsentieren die erwartete Belohnung für eine Aktion nur in deterministischen Umgebungen.

Question 24

Welche Komponente ist **kein** Teil eines Markov-Entscheidungsprozesses (MDP)?

Accepted Answer

Wertfunktion

Answer

Zustände

Answer

Aktionen

Answer

Übergangswahrscheinlichkeiten

Question 25

Welcher der folgenden Algorithmen ist ein Beispiel für ein bestärkendes Lernverfahren?

Accepted Answer

Q-Learning

Answer

K-Means-Clustering

Answer

Lineare Regression

Answer

Entscheidungsbaum

Question 26

Welche Metrik wird verwendet, um die Leistung eines bestärkenden Lernalgorithmus zu messen?

Accepted Answer

Belohnung pro Episode

Answer

Genauigkeit

Answer

AUC-ROC

Answer

MAE

Question 27

Welche Aussage beschreibt eine Belohnungsfunktion korrekt?

Accepted Answer

Alle der oben genannten Aussagen treffen zu.

Answer

Sie definiert den numerischen Wert des Ergebnisses einer Aktion.

Answer

Sie kann sowohl positive als auch negative Werte annehmen.

Answer

Sie hängt vom aktuellen Zustand und der gewählten Aktion ab.

Question 28

Was ist die Bellman-Gleichung?

Accepted Answer

Wird verwendet, um die Wertfunktion iterativ zu berechnen

Answer

Gibt den optimalen Wert einer Aktion in einem bestimmten Zustand an

Answer

Definiert die Wahrscheinlichkeit des Übergangs von einem Zustand in einen anderen

Answer

Beschreibt die Belohnung für eine bestimmte Aktion

Question 29

Erläutere das Funktionsprinzip von Actor-Critic-Methoden im Verstärkungslernen und diskutiere ihre Vor- und Nachteile im Vergleich zu herkömmlichen Verstärkungslernmethoden.

Accepted Answer

Actor-Critic-Methoden verwenden zwei separate Netzwerke, um die Richtlinie und den Wert zu schätzen, und kombinieren die Vorteile von Wert- und Richtlinienschätzungen.

Answer

Actor-Critic-Methoden sind immer effizienter als herkömmliche Verstärkungslernmethoden.

Answer

Actor-Critic-Methoden können nur in deterministischen Umgebungen eingesetzt werden.

Answer

Actor-Critic-Methoden sind ausschließlich unpolitische Methoden.

Question 30

Was ist das zentrale Konzept des bestärkenden Lernens?

Accepted Answer

Der Agent lernt durch Versuch und Irrtum mit Belohnungen.

Answer

Der Agent erhält explizites Wissen.

Answer

Es funktioniert nur in unveränderlichen Umgebungen.

Answer

Die Aktionen des Agenten führen immer zu vorhersehbaren Ergebnissen.

Question 31

Welches Verfahren beim bestärkenden Lernen nutzt eine Wertfunktion, um die optimale Aktion für jeden Zustand zu ermitteln?

Accepted Answer

Wertbasiertes Verfahren

Answer

Aktionswert-Aktualisierungsverfahren

Answer

Deep-Learning-Verfahren

Answer

Gradientenbasiertes Verfahren

Question 32

Welche Aussage über Markov-Entscheidungsprozesse (MDPs) ist **nicht** korrekt?

Accepted Answer

Ein MDP ist durch einen Zeitintervall definiert.

Answer

Ein MDP ermöglicht es, die erwarteten langfristigen Belohnungen für verschiedene Aktionen in jedem Zustand zu berechnen.

Answer

Ein MDP besteht aus einem Zustandsraum, einem Aktionsraum und einer Belohnungsfunktion.

Question 33

Was ist das Ziel der Bellman-Gleichung im Zusammenhang mit dem bestärkenden Lernen?

Accepted Answer

Berechnung der optimalen Wertfunktion

Answer

Berechnung der Übergangsfunktion

Answer

Ermittlung der optimalen Richtlinie

Question 34

Welche Art von Algorithmus wird üblicherweise für bestärkendes Lernen mit verzögerten Belohnungen verwendet?

Accepted Answer

Dynamische Programmierung

Answer

Bayes'scher Filter

Answer

Greedy-Algorithmus

Answer

Zufälliger Spaziergang

Question 35

Welche der folgenden Aussagen beschreibt eine Richtlinie im bestärkenden Lernen am besten?

Accepted Answer

Eine Zuordnung von Zuständen zu Aktionen.

Answer

Eine Karte von Zuständen zu Belohnungen.

Answer

Eine Wahrscheinlichkeitsverteilung über Zustände.

Answer

Ein Zeitplan für die Ausführung von Aktionen.

Question 36

Was ist die Hauptfunktion einer Q-Funktion im bestärkenden Lernen?

Accepted Answer

Schätzung des langfristigen erwarteten Nutzens der Ausführung einer Aktion in einem bestimmten Zustand.

Answer

Berechnung der aktuellen Belohnung für eine bestimmte Aktion

Question 37

Welche der folgenden Methoden wird verwendet, um die Q-Funktion in Q-Learning zu aktualisieren?

Accepted Answer

Bellman-Gleichung

Answer

Gradientenabstieg

Answer

Lineare Regression

Answer

k-Nearest-Neighbours

Question 38

Welche Aussage beschreibt korrekt den wesentlichen Unterschied zwischen dem π-Greed- und dem ε-Greed-Ansatz bei der Exploration im bestärkenden Lernen?

Accepted Answer

π-Greed wählt immer die beste bekannte Aktion, während ε-Greed gelegentlich zufällige Aktionen auswählt.

Answer

π-Greed ist für deterministische Umgebungen geeignet, während ε-Greed für stochastische Umgebungen geeignet ist.

Answer

π-Greed verwendet eine feste Explorationsrate, während ε-Greed eine abnehmende Explorationsrate verwendet.

Question 39

Welche der folgenden Aussagen beschreibt die Rolle von Monte-Carlo-Methoden im bestärkenden Lernen korrekt?

Accepted Answer

Sie ermöglichen die Schätzung des langfristigen erwarteten Nutzens durch simulierte Durchläufe.

Answer

Sie erfordern eine vollständige Kenntnis der Modellparameter.

Answer

Sie verwenden analytische Techniken, um die optimale Richtlinie zu berechnen.

Question 40

Was ist ein Vorteil von Deep Reinforcement Learning (DRL) gegenüber herkömmlichen RL-Algorithmen?

Accepted Answer

DRL kann komplexe Eingabesituationen wie Bilder und Text verarbeiten.

Answer

DRL ist immer schneller als herkömmliche RL-Algorithmen.

Answer

DRL erfordert weniger Daten zum Trainieren.

Question 41

Welches der folgenden Probleme stellt eine häufige Herausforderung für das bestärkende Lernen in großen und komplexen Umgebungen dar?

Accepted Answer

Dimensionsfluch

Answer

Überanpassung

Answer

Lokale Minima

Answer

Numerische Instabilität

Question 42

Welche der folgenden Komponenten sind wesentliche Bestandteile eines Markov-Entscheidungsprozesses (MDP)?

Accepted Answer

Zustände, Aktionen, Übergangsfunktionen, Belohnungsfunktionen

Answer

Datenpunkte, Zielvariablen, Vorhersagemodelle

Answer

Eingabebilder, Faltungsoperationen, Pooling-Schichten

Question 43

Welche Funktion gibt den zu erwartenden Nutzen an, den ein Agent bei optimaler Wahl der Aktionen ausgehend von einem bestimmten Zustand erhält?

Accepted Answer

Wertfunktion

Answer

Übergangsfunktion

Answer

Belohnungsfunktion

Answer

Aktionswertungsfunktion

Question 44

Welcher Algorithmus wird verwendet, um die Wertfunktion eines MDP iterativ zu berechnen?

Accepted Answer

Wertwiederholungsalgorithmus

Answer

Q-Lernalgorithmus

Answer

Monte-Carlo-Baumsuche

Answer

SARSA-Algorithmus

Question 45

Welche Art von Umgebung ist gekennzeichnet durch einen unbegrenzten Zeithorizont und die Abwesenheit von Zufall?

Accepted Answer

Deterministische Umgebung mit unendlichem Horizont

Answer

Deterministische Umgebung mit endlichem Horizont

Answer

Stochastische Umgebung mit unendlichem Horizont

Answer

Stochastische Umgebung mit endlichem Horizont

Question 46

Welche Aussage zur Exploration-Exploitation-Abwägung ist korrekt?

Accepted Answer

Exploration dient der Identifizierung neuer und möglicherweise besserer Aktionen, während Exploitation auf die Maximierung sicherer Belohnungen abzielt.

Answer

Exploration ist immer vorteilhafter als Exploitation.

Question 47

Welcher Algorithmus kombiniert die Konzepte des bestärkenden Lernens und der Wertwiederholung, um eine Richtlinie für einen deterministischen MDP zu finden?

Accepted Answer

Dynamische Programmierung

Answer

Genetische Algorithmen

Answer

Q-Lernen

Answer

Monte-Carlo-Baumsuche

Question 48

Welche der folgenden Aussagen beschreibt bestärkendes Lernen am besten?

Accepted Answer

Bestärkendes Lernen ist ein Bereich des maschinellen Lernens, bei dem ein Agent lernt, Aktionen in einer Umgebung auszuführen, um die erhaltenen Belohnungen zu maximieren.

Answer

Eine Form des unbeaufsichtigten Lernens, bei der Modelle aus unmarkierten Daten erstellt werden.

Answer

Ein Ansatz, bei dem ein Agent aus Beispielen lernt, um eine bestimmte Aufgabe zu erledigen.

Question 49

Was ist ein Markov-Entscheidungsprozess (MDP)?

Accepted Answer

Ein mathematisches Modell, das einen sequenziellen Entscheidungsprozess mit Zuständen, Aktionen, Übergangswahrscheinlichkeiten und Belohnungen beschreibt.

Answer

Eine Methode zur Bewertung der Leistung eines Agenten in einer bestimmten Umgebung.

Answer

Ein Algorithmus, der verwendet wird, um die beste Aktion für einen bestimmten Zustand in einem MDP zu finden.

Question 50

Welche der folgenden Faktoren ist NICHT Teil einer Belohnungsfunktion?

Accepted Answer

Die Zeit, die ein Agent für die Ausführung einer Aktion benötigt.

Answer

Die langfristige Belohnung, die ein Agent für eine Reihe von Aktionen erwartet.

Answer

Die unmittelbare Belohnung, die ein Agent für eine Aktion erhält.

Answer

Der aktuelle Zustand des Agenten.

Question 51

Was ist der Zweck einer Wertfunktion in bestärkenden Lernen?

Accepted Answer

Schätzung des erwarteten langfristigen Nutzens, den ein Agent von einem bestimmten Zustand aus erzielen kann.

Answer

Bewertung der Leistung eines Agenten in einer bestimmten Umgebung.

Answer

Aktualisierung der Belohnungsfunktion eines MDP.

Answer

Auswahl der besten Aktion für einen bestimmten Zustand in einem MDP.

Question 52

Welche der folgenden Aussagen über Q-Learning ist wahr?

Accepted Answer

Q-Learning ist ein off-policy-Lernalgorithmus, der die Wertfunktion eines MDP durch iterative Aktualisierung der Q-Werte für jeden Zustand und jede Aktion lernt.

Answer

Eine überwachte Lernmethode, die ein Modell aus markierten Daten lernt.

Answer

Ein Algorithmus, der die beste Aktion für einen bestimmten Zustand in einem MDP findet, ohne die Wertfunktion zu lernen.

Question 53

Welches ist das vorrangige Ziel eines Agenten im bestärkenden Lernen?

Accepted Answer

Maximierung der kumulativen Belohnung über die Zeit.

Answer

Minimierung der Anzahl erforderlicher Aktionen.

Answer

Vorhersage des unmittelbar nächsten Zustands.

Question 54

Was beschreibt ein Markov-Entscheidungsprozess (MDP) am besten?

Accepted Answer

Ein Rahmen für Entscheidungsfindung in Umgebungen, in denen Ergebnisse teils zufällig, teils vom Entscheidungsträger gesteuert sind.

Answer

Ein Algorithmus zur Lösung von Optimierungsproblemen.

Question 55

Wie unterscheidet sich eine Belohnungsfunktion von einer Wertfunktion im bestärkenden Lernen?

Accepted Answer

Die Belohnungsfunktion gibt die unmittelbare Belohnung für eine Aktion in einem gegebenen Zustand an, während die Wertfunktion den langfristigen Nutzen eines Zustands oder einer Aktionsfolge darstellt.

Answer

Eine Belohnungsfunktion wird von einem Menschen definiert, während eine Wertfunktion vom Agenten erlernt wird.

Question 56

Was ist der Kern des Exploration-Exploitation-Dilemmas im bestärkenden Lernen?

Accepted Answer

Den Kompromiss zwischen dem Erforschen neuer Aktionen und dem Nutzen bereits bekannter, bewährter Aktionen finden.

Answer

Die Anzahl benötigter Trainingsdaten minimieren.

Question 57

Welcher der folgenden Algorithmen gehört NICHT zum bestärkenden Lernen?

Accepted Answer

K-Means-Clustering

Answer

Deep Q-Network (DQN)

Answer

SARSA

Answer

Q-Learning

Question 58

Was ist der Zweck einer Policy im Kontext des bestärkenden Lernens?

Accepted Answer

Sie definiert, welche Aktion ein Agent in einem gegebenen Zustand ausführen soll.

Answer

Sie berechnet die unmittelbare Belohnung für eine bestimmte Aktion.

Answer

Sie speichert den Verlauf der Zustände und Aktionen.

Question 59

Nennen Sie einen Vorteil des modellfreien bestärkenden Lernens gegenüber dem modellbasierten bestärkenden Lernen.

Accepted Answer

Es kann auf komplexe Umgebungen angewendet werden, in denen ein präzises Modell schwer zu erstellen ist.

Answer

Es benötigt weniger Trainingsdaten.

Question 60

Was bewirkt der Diskontierungsfaktor γ in der Bellman-Gleichung?

Accepted Answer

Er gewichtet den Wert zukünftiger Belohnungen im Vergleich zu sofortigen Belohnungen.

Answer

Er steuert die Größe des Zustandsraums.

Answer

Er passt die Lernrate des Algorithmus an.

Question 61

Welches der folgenden Elemente ist eine wesentliche Komponente eines Markov-Entscheidungsprozesses (MDP)?

Accepted Answer

Zustandsmenge

Answer

Lernrate

Answer

Zielfunktion

Answer

Aktionswertfunktion

Question 62

Was ist das Ziel einer Belohnungsfunktion im bestärkenden Lernen?

Accepted Answer

Die Qualität einer Aktion zu quantifizieren

Answer

Die Wahrscheinlichkeit einer Aktion zu berechnen

Answer

Den Wert eines Zustands zu bestimmen

Answer

Das Verhalten des Agenten zu modellieren

Question 63

Welche der folgenden Wertfunktionen schätzt den erwarteten Belohnungsertrag aus, der von einem Zustand ausgehend unter einer bestimmten Richtlinie erzielt wird?

Accepted Answer

Aktionswertfunktion

Answer

Übergangswahrscheinlichkeitsfunktion

Answer

Staatswertfunktion

Answer

Belohnungsfunktion

Question 64

Welcher Algorithmus ist ein iteratives Verfahren zur Berechnung der optimalen Richtlinie in einem MDP?

Accepted Answer

Wertwiederholungsalgorithmus

Answer

Q-Learning-Algorithmus

Answer

SARSA-Algorithmus