Geschlossene Gesellschaft?

Seminar „Geschlossene Gesellschaft? Leben mit algorithmischen Entscheidungssystemen“ von Prof. Dr. Sigrid Hartong

Hintergrund: 

Die Grundlage für dieses Seminarkonzept ist das Seminar „Geschlossene Gesellschaft? Leben mit algorithmischen Entscheidungssystemen“, welches im Herbsttrimester 2023 (12 Wochen) an der Helmut-Schmidt-Universität Hamburg im BA-Studiengang Geschichte (Wahlpflichtfach Soziologie) durchgeführt wurde. Das Seminar hatte ca. 20 Teilnehmende und umfasste 90 Minuten pro Woche.

Seminarziel: 

Die Studierenden befassen sich mit dem Themenfeld Algorithmic Governance und setzen sich eigenständig (Recherche) mit einem Anwendungsfeld algorithmischer Entscheidungssysteme in Bildung und Gesellschaft auseinander. Sie befassen sich intensiv mit der Frage, wie man auf die Risiken algorithmischer Steuerung reagieren kann, insbesondere mit Hinblick auf Aufklärung. Sie lernen Online-Bildungsressourcen zu bewerten sowie eine eigene Online-Bildungsressource zu entwickeln.

Prüfungsform: 

Das Seminar hatte die Prüfungsform Portfolio, was bedeutet, dass sich die Leistung der Studierenden aus benoteten Teilleistungen zusammensetzte, die über das Trimester hinweg erstellt wurden. Diese Teilleistungen waren im Seminar a) die Erstellung und Überarbeitung nach Review einer Online-Bildungsressource (Webpage) in Gruppen zu einem Wahlthema im Bereich Algorithmic Governance (gewichtet mit 70%), sowie b) die Erstellung von Blind Reviews zu den Ressourcen der anderen Gruppen als Einzelleistung (gewichtet mit 30%). Eine Anpassung an andere Prüfungsformen (z.B. Projektarbeit, virtuelle Ausstellung) ist möglich.

Autorinnen: 

Das vorliegende Seminarkonzept sowie die Videos wurden von der Seminardozentin Prof. Dr. Sigrid Hartong in Zusammenarbeit mit zwei Studentinnen des Seminars – Anna Schmidt und Lynn Stahlberg – erstellt.

Lernplattform: 

Das Seminar arbeitete mit MS Teams als an der Universität vorgegebene Lernplattform. Hier wurden ein Team für das Seminar erstellt und folgende Funktionen genutzt: 1) Dateienablage für sämtliche Präsentationen, Texte oder Links zu externen Homepages; 2) Sharepoint (kann auf MS Teams eingebunden werden), in dem der ausführliche Seminarplan dargestellt wurde. Dieser Plan konnte gleichzeitig immer wieder angepasst werden (z.B. bei Änderungen). Links zu Vorlagen oder Homepages waren hier ebenfalls direkt eingebunden. 3) Videokonferenzen für Gastinputs. Aufgrund der Risiken von MS Teams wurde auf weitere Funktionen verzichtet; insbesondere auf jede Form der integrierten Leistungsbewertung. 

Sitzung 1:

Ort: Seminarraum

Einführung und Organisatorischen

Ziel der ersten Sitzung ist zunächst, in die wachsende Bedeutung algorithmischer Entscheidungssysteme in unserer Gesellschaft einzuführen und hieraus die Ziele des Seminars abzuleiten. Der Seminarplan wird vorgestellt sowie insbesondere die einzelnen Phasen des Seminars werden durchgesprochen. Der Seminarplan kann auch zusätzlich (wie im Seminar an der Helmut-Schmidt-Uni) auf einer Lernplattform hinterlegt werden, sodass Änderungen interaktiv kommuniziert werden können. 

Ablauf der Sitzung

Neben zahlreichen Beispielen, die für die einführende Veranschaulichung des Themas genutzt werden können (z.B. Social Media, Versicherungssysteme, Polizei, personalisierte Werbung, Smart City-Steuerung, etc.), kann im Rahmen der Einführung auch der Text „Algorithmic governance: A modes of governance approach“ von Daria Gritsenko und Matthew Wood genutzt werden. Insbesondere kann das folgende Zitat als Rahmung dienen:

„The key question, for us, is how algorithmic systems affect the main features characteristic of different governance processes, leading to new configurations and, arguably, new governance modes. We therefore focus on algorithms as tools of governance […].“

(Gritsenko/Wood 2020: 3)

Im Rahmen der Einführung sollten des Weiteren „typische“ Vor- und Nachteile, die mit der Verlagerung menschlicher auf algorithmische Entscheidungsfindung genannt werden, gegenübergestellt werden. Diese können auch von den Studierenden zusammengetragen werden.

Beispiele finden sich in der folgenden Abbildung:

Im nächsten Schritt ist wichtig zu zeigen, dass eine massive Polarisierung bei der Bewertung von algorithmischen Entscheidungssystemen (= diese Systeme seien nur hilfreich/gut oder nur schädlich/schlecht) wenig hilfreich ist, sondern es vielmehr auf die Details ankommt. Entsprechend zentral ist es, dass wir uns stärker mit den Funktionsweisen (so gut es geht) sowie möglichen Wirkungen algorithmischer Entscheidungssysteme in Gesellschaft auseinandersetzen. Dies ist nicht einfach, weil der tendenzielle „Blackboxcharakter“ vieler algorithmischer Entscheidungssysteme die Auseinandersetzung verkompliziert. 

Ziel 1 des Seminars: 
Die Studierenden lernen, sich eigenständig (Recherche) mit einem Anwendungsfeld von Algorithmic Governance auseinanderzusetzen und in diesem Feld ein Tiefenverständnis für die Veränderungen und insbesondere auch für gesellschaftliche Chancen und Risiken von Algorithmic Governance zu entwickeln.

Gleichzeitig ist im Feld klar erkennbar, dass immer mehr Organisationen oder Personen die Notwendigkeit einer intensiveren und auch kritischeren Auseinandersetzung mit algorithmischen Entscheidungssystemen sehen und entsprechend versuchen, Menschen über entsprechende (Online-) Bildungsressourcen aufzuklären sowie Wege einer (besseren) Gestaltung dieser Systeme aufzuzeigen. Derartige Ressourcen gehen damit einen Schritt weiter, indem sie das Wissen um algorithmische Entscheidungssysteme so aufbereiten (müssen), dass andere (Laien) dieses nachvollziehen können und sich zugleich motiviert fühlen, dieses Wissen weiterzutragen oder selbst neue Handlungswege zu erproben (die ihnen gezeigt werden müssen). 

Ziel 2 des Seminars: 
Die Studierenden befassen sich intensiv mit der Frage, wie man auf die Risiken algorithmischer Steuerung reagieren kann, insbesondere in Hinblick auf Aufklärung. Sie lernen Online-Bildungsressourcen zu bewerten sowie eine eigene Online-Bildungsressource zu entwickeln.

Schließlich werden im Seminar auch übergreifende Methodenkompetenzen geschult, welche im Rahmen der Einführung ebenfalls genannt werden sollten. Diese umfassen im Fall des vorliegenden Seminarkonzeptes insbesondere die eigenständige Aufbereitung und Präsentation (in Form der Homepage) eines empirischen Themas, die Organisation eines Homepagedesigns bzw. einer Homepageproduktion, sowie die Erstellung/die Verarbeitung von Feedback (Reviews) an/von andere/n KommillitonInnen.

Aufgaben im Anschluss an die erste Sitzung:

Zum nächsten Mal bekommen die Studierenden die Aufgabe, sich online eine Bildungsressource anzusehen, konkret des Data Justice Labs (DJL)

Hierbei sollen Sie insbesondere die folgenden Fragen reflektieren und sich hierzu Notizen machen:

  • Welche Risiken von Algorithmic Governance werden in der Ressource besprochen und welche Beispiele werden genutzt?
  • Was habe ich von der Seite des DJL Neues gelernt? Was wusste ich schon?
  • Wie und wo betreffen mich algorithmische Entscheidungssysteme persönlich am meisten? 
  • Wozu würde ich gerne mehr erfahren?
  • Wie empfinde ich den Stil der Seite? (Mediale Elemente, Sprache, Umfang, …)

Folgender Hinweis wird zusätzlich gegeben: „Die Seite ist sehr umfangreich. Daher wird nicht erwartet, dass Sie die Seite komplett durchlesen, sondern dass Sie sich generell von den Inhalten und dem Stil ein Bild machen. Schauen Sie hierfür v.a. in den Anfangstext sowie punktuell in unterschiedliche Materialien hinein.“

Neben der Auseinandersetzung mit der Homepage werden die Studierenden gebeten, sich bereits Gedanken zu machen, mit wem Sie sich für die Gruppenarbeit ab der dritten Woche zusammentun möchten und welcher Kontext der Beforschung von Algorithmic Governance Ihnen zusagen könnte. Ggf. werden von DozentInnenseite hier noch weitere Vorgaben gemacht (z.B. maximale Anzahl an Homepages/Themen, maximale Gruppengröße). Im hier vorgestellten Seminar gab es acht Gruppen, was jedoch eher zu viel war. Optimal erscheinen 5-6 Gruppen. Es macht Sinn, den Studierenden bereits die Infos zur Gruppenaufgabe (siehe unten Sitzung 2) zugänglich zu machen (z.B. via Sharepoint, als Worddokument oder via Email). 

Sitzung 2:

Ort: Seminarraum

Einblicke in Bildungsressourcen zum Thema Datafizierung und Einführung Gruppenaufgabe

Themen der Sitzung sind die Besprechung der Eindrücke zur Bildungsressource des Data Justice Lab, die Betrachtung und Diskussion weiterer Online-Ressourcen sowie die Einführung in die Gruppenaufgabe.

Ablauf der Sitzung

In dieser Sitzung werden zunächst die Eindrücke zur Bildungsressource des Data Justice Labs besprochen. Dies kann anhand der oben genannten Leitfragen geschehen.

Im Anschluss an die Diskussion schauen sich die Studierenden die folgenden weiteren Online-Ressourcen an und teilen sich hierfür für 20-30 Minuten in Gruppen auf:
https://www.odbproject.org
https://www.annasleben.de
https://freeyourdata.org/de/

Hierbei sollte insbesondere a) auf die „Styles“ der Ressourcen sowie b) auf die zentralen Inhalte geachtet werden. Da die Ressourcen ganz unterschiedliche Stile und Inhalte aufweisen, erhalten die Studierenden am Ende einen ersten Überblick über bisherige Ressourcen, Herausforderungen und Möglichkeiten.

„Ich fühl mich hier ein bisschen wie bei Wikileaks. Werden wir jetzt zu so krassen Aufklärerinnen oder gar Enthüllungsforscherin?“

Reflexion der Studentinnen

Am Ende der Sitzung werden die gewünschten Gruppenaufteilungen sowie Vorüberlegungen zur Beforschung/Ressourcenerstellung zu Algorithmic Governance besprochen. Im Detail werden die Arbeitsaufgaben für die nächsten Wochen durchgegangen und Fragen geklärt.

Gruppenaufgabe
Sie wählen einen gesellschaftlichen Teilbereich aus, in dem Algorithmic Governance zunehmend Relevanz bekommt und in dem sich sowohl Chancen als auch bedeutsame Risiken manifestieren. In einem ersten Schritt recherchieren Sie in Ihrer Gruppe zu diesem Teilbereich und stellen Materialien zusammen (Diskussionen zum Thema in den Medien, Fallbeispiele, wissenschaftliche Studien, …). Orientieren Sie sich hierbei an den folgenden Fragen: Wie funktionieren algorithmische Entscheidungssysteme in diesem Bereich? (Am besten anhand konkreter Beispiele). Versuchen Sie, diese Funktionsweisen so detailliert wie möglich zu verstehen (= die Idee ist, dass Sie es anderen im Anschluss erklären können!). Welche Hoffnungen/Chancen und Ängste/Risiken werden in diesem Bereich aktuell diskutiert? Wie werden diese empirisch begründet (z.B. was wird beobachtet, was so nicht sein sollte)? In einem zweiten Schritt (dieser kommt später, daher noch nicht anfangen!) designen Sie aus Ihrer Materialiensammlung heraus eine Bildungsressource für andere (Zielgruppe: Öffentlichkeit). Hierbei kommt gleichermaßen die folgende dritte Frage ins Spiel: Was wären mögliche Ansätze, Risiken einzudämmen aber gleichzeitig die „guten Seiten von Daten“ zu nutzen, d.h. aus einem Schwarz-Weiß-Denken herauszukommen? Was macht eine Verbesserung schwierig/was sind Dilemmata oder offene Fragen? Sie erstellen dann im weiteren Verlauf des Seminars eine eigenständige Webseite. Gestalten Sie diese Seite maximal ansprechend und nutzen Sie hierfür eine Vielzahl an Formaten (Videos, Podcast, gefilmte Rollenspiele, Bilder, Texte, …).

Sitzung 3:

Ort: Asynchron/ Gruppenarbeit

Recherchen zu den gewählten Themen

In dieser Woche arbeiten die Studierenden an Ihren Recherchen zum ausgewählten Themenbereich. Hierbei können Sie alle Materialien (Texte, Links, etc.) ggf. auch auf der Lernplattform in einem Gruppenordner speichern.

Ablauf der Sitzung

„Wir lesen und lesen und fragen uns dabei immer mehr: Was wollen wir eigentlich sagen? Es gibt so viel zum Thema, aber wir haben doch nur so wenig Zeit!“

Reflexion der Studentinnen

Die Studierenden werden des Weiteren gebeten, sich für die kommende Sitzung zum einen den folgenden Link anzuschauen: https://unblackthebox.org/materialien-ergebnisse/kritische-datenbildung/5-eigene-bildungsressourcen-zum-thema-erstellen/ (Infos zum Erstellen einer eigenen Ressource zum Thema kritische Datenbildung)

Des Weiteren können sich die Studierenden zur Inspiration die Beispielseite der beiden Studentinnen Anna Schmidt und Lynn Stahlberg anschauen, die im Rahmen des hier vorgestellten Seminars entstanden ist.

Sitzung 4:

Ort: Seminarraum

Wie erstelle ich eine gute Onlineressource?

In dieser Sitzung erhalten die Studierenden Einblicke in die Frage, wie eine „gute Onlineressource“ im Themenbereich Bildung über algorithmische Entscheidungssysteme aussehen kann. Für die nächste Sitzung werden die Studierenden gebeten, ihren aktuellen Zwischenstand in einer Vorlage einzutragen und bis 2 Tage vor der nächsten Sitzung per Email an die Lehrperson einzusenden.

Ablauf der Sitzung

Die Lehrperson gibt einen Input, der sich am entsprechenden Onlineleitfaden von Ina Sander/Unblack the Box orientieren kann. 

Wenn das Seminar zum wiederholten Male durchgeführt wird, können Studierende aus vergangenen Jahren eingeladen werden, von Ihrer Arbeit zu berichten und ihre Ergebnisse zu zeigen.

Die Studierenden werden ermutigt, sich (immer wieder) Feedback für Ihre Überlegungen einzuholen.

Für die nächste Sitzung werden die Studierenden gebeten, ihren aktuellen Zwischenstand in einer Vorlage einzutragen und bis 2 Tage vor der nächsten Sitzung per Email an die Lehrperson einzusenden.

Sitzung 5:

Ort: Seminarraum

Rückmeldungen zum Stand der Recherchen/ Ideen für die Ressource

In dieser Sitzung werden zunächst jeweils 2 Projektgruppen zusammengesetzt, um ihren aktuellen Stand zu besprechen bzw. der anderen Gruppe ihre Ideen (und Probleme) vorzustellen. Diese Gruppenphase kann mit 30-45 Min. veranschlagt werden.

Im Anschluss gibt die Lehrperson im Plenum umfassenderes Feedback zu den eingereichten Zwischenständen und fragt immer wieder in die Runde nach produktiven Ideen. Am Ende der Sitzung sollte jede Gruppe sich „gewappnet“ fühlen weiter zu machen. 

„Der Vergleich war hilfreich. Wir fühlen uns besser als wir merken, dass wir wirklich viel haben, sowohl ein gutes Konzept als auch jede Menge Ideen. Und wir merken, dass es gar nicht so einfach ist das Thema optimal zu erklären. Und: Es gibt Überschneidungen mit anderen Themen. Das sollten wir berücksichtigen.

Reflexion der Studentinnen

Sitzung 6:

Ort: Seminarraum oder online

Gastinput

In dieser Sitzung erhalten die Studierenden einen Gastinput (vor Ort oder Online) von jemandem „aus dem Feld“ (deutsch- oder englischsprachig). Idealerweise hat die Person selbst Erfahrungen mit der Erstellung von Online-Bildungsressourcen und kann den Studierenden von diesen Erfahrungen berichten. Bei einer 90-minütigen Sitzung sollte der Input nicht mehr als 30-40 Minuten dauern, sodass ausreichend Zeit für Rückfragen und Diskussion bleibt.

Die Studierenden erhalten dann nochmal bis einen Tag vor der nächsten Sitzung die Gelegenheit am Erstentwurf ihrer Onlineressource zu arbeiten. Sie schicken dann den Link zu ihrer Ressource per Email an die Lehrperson, welche diese entweder auf der Lernplattform verlinkt (ggf. können dies die Studierenden auch selbst tun) oder per Email an die anderen Seminarteilnehmenden schickt.

Sitzung 7:

Ort: Seminarraum

Einführung Reviews verfassen

In dieser Sitzung erhalten die Studierenden eine Einführung zum Thema „Review-Schreiben“ . Denn ihre Aufgabe ist als nächstes, die Online-Ressourcen der anderen Seminarteilnehmenden zu begutachten und konstruktives Feedback zu geben. Hierfür arbeiten die Studierenden mit einer Vorlage. Im Rahmen der Sitzung wird die Vorlage durchgearbeitet und Fragen werden geklärt.

Ablauf der Sitzung

Hinweis: Es kann flexibel überlegt werden, wie viele Reviews pro Studierende/r geschrieben werden sollen, wobei ein Maximum von 3 Reviews empfehlenswert ist (siehe Vorlage).

Die erste Welle an Stress ist abgeflaut, die Freude über unser Ergebnis groß. Natürlich ist noch nicht alles perfekt, aber ein Großteil der Seite ist fertig, hurra! Aber jetzt geht’s direkt weiter…und wir wollen wirklich gerne wissen, was die anderen so gemacht haben.“

Reflexion der Studentinnen

Die Reviews sollten bis einen Tag vor der nächsten Sitzung per Email eingereicht werden. Die Lehrperson (ggf. mit Unterstützung) kuratiert im Anschluss die Reviews, fasst die Punkte strukturiert zusammen und bündelt sie pro Onlineressource zu einem Gesamtdokument. Die Idee ist, dass die Reviewgebenden durch Anonymisierung geschützt werden. 

Hinweis für die Lehrperson:
In dieser Phase steigt die Arbeitsbelastung für die Lehrperson kurzfristig sehr stark an, da a) alle Onlineressourcen auch von der Lehrperson begutachtet werden müssen und parallel b) alle eingegangenen Reviews gesichtet und sortiert werden müssen. Für zweites kann es sich anbieten, die Unterstützung einer Assistenz in Anspruch zu nehmen (Gruppierung der Reviews pro Ressource, Vorsortieren der Kritikpunkte, Sortieren in größere/kleinere Punkte, etc.). Für die Begutachtung der Onlineressourcen kann sich an der Methode des Walkthrough angelegt werden, d.h. die Homepage wird durchgeklickt und pro sichtbarem Interface kommentiert. Die Klickhistorie wird dabei ebenfalls dokumentiert.

Sitzung 8:

Ort: Seminarraum

Einführung Reviews verarbeiten

In dieser Sitzung geht es darum, wie Reviews in der Wissenschaft konstruktiv verarbeitet werden. Die Studierenden erhalten weitere Infos, wie in diesem Kontext ein „Response“ an die Reviewer verfasst werden soll sowie wie die Kommentare strukturiert in die Überarbeitung einfließen können. 

In diesem Video teilen die Studentinnen ihre Erfahrungen zum Schreiben und zur Verarbeitung von Reviews.

Ablauf der Sitzung

Beispielhaft werden in der Sitzung erste Rückmeldungen/Eindrücke zu den Homepages besprochen und gemeinsam wird überlegt, wie die Homepages verbessert werden könnten.

Bis 2 Tage vor dem nächsten Termin erhalten die Studierenden das gesammelte Feedback zu ihren Ressourcen:

  1. Strukturierte und zusammengefasste Reviews der KommilitonInnen
  2. Feedback der Lehrperson

Sitzung 9:

Ort: Asynchron/Gruppenarbeit

Reviews verarbeiten/Überarbeitung Ressourcen

In dieser Woche verschaffen sich die Gruppen einen Überblick über die Reviews und beginnen mit der Verarbeitung entlang der in der letzten Sitzung besprochenen Schritte.

Sitzung 10:

Ort: Seminarraum

Erweiterung des Blicks: Praktische Onlineressourcen in Kurzform.

In dieser Sitzung geht es nochmals darum, sich weitere Ressourcen über Algorithmic Governance anzuschauen, jedoch nun vor allem unter den Perspektiven:

  • wie Inhalte einer ganzen Homepage auch zu Kurzmaterialien (z.B. Onepager) „verdichtet“ werden können;
  • wie NutzerInnen vom Lernen ins „Tun“ gebracht werden können, also in das eigene Erfahren oder Verändern ihres Handelns im Kontext von Algorithmic Governance.

Nach der Sitzung haben die Studierenden weiterhin die Möglichkeit ihre Homepages zu überarbeiten.

Ablauf der Sitzung

In diesem Kontext betrachten wir die sogenannten diy canvases der Homepage datawear.

Nach einer Einstiegsdiskussion zu den oben genannten Fragen (ca. 15 Min.) setzen sich die Projektgruppen der Homepages zusammen und schauen sich jeweils einen (!) der drei diy canvases (PDF Dokumente) unter folgenden Fragestellungen an. Hierfür können ca. 30-40 Min veranschlagt werden:

  • Welche Inhalte zu Algorithmic Governance werden auf dem canvas vermittelt? 
  • Wie werden diese Inhalte grafisch aufbereitet und wie wirkt diese Aufbereitung auf Sie?
  • Welche Aufgaben(typen) werden auf dem canvas vermittelt? Was denken Sie zu diesen Aufgaben?
  • Wie könnten derartige Aufgaben für Ihren Themenbereich/Ihre Homepage aussehen?

Die Ergebnisse werden im Anschluss zusammengetragen.

Sitzung 11:

Ort: Seminarraum

Vorstellen überarbeiteter Ressourcen

In dieser Sitzung hat jede Projektgruppe die Gelegenheit, ihre überarbeitete Homepage im Plenum zu zeigen und hierbei insbesondere die Überarbeitungen/Verbesserungen sichtbar zu machen. Jede Gruppe hat hierfür 5-10 Minuten (je nach Zahl der Gruppen) Präsentationszeit (Timer nutzen). 

Die Homepages können dann noch bis 2 Tage vor der letzten Sitzung überarbeitet und die Response to the Reviewers abgeschlossen werden.

Sitzung 12:

Ort: Seminarraum

Seminarabschluss

Die Abschlusssitzung dient der Gesamtreflexion des Seminars. Hierbei ist es ratsam, nicht nur auf Standardevaluationsbögen zurückzugreifen, sondern mit den Studierenden ins Gespräch zu gehen über Ihre Erfahrungen mit den einzelnen Schritten des Seminars.

In diesem Video reflektieren die Studentinnen Anna Schmidt und Lynn Stahlberg ihre gesammelten Erfahrungen im Seminar.

Anhang:

Vorlagen:

Literatur

Gritsenko, Daria & Wood, Matthew (2020).„Algorithmic governance: A modes of governance approach“.  https://onlinelibrary.wiley.com/doi/full/10.1111/rego.12367

Sander, Ina & Hosein, Gus „Bildungsressourcen zum Thema erstellen“. https://unblackthebox.org/materialien-ergebnisse/kritische-datenbildung/5-eigene-bildungsressourcen-zum-thema-erstellen/

Bei Fragen zu diesem Lehrkonzept wenden Sie sich gerne an die Autorin des Lehrkonzepts: Prof. Dr. Sigrid Hartong

Das Lehrkonzept steht unter einer Creative Commons-Lizenz (CC BY NC SA 4.0). Das heißt, Sie dürfen die Inhalte nutzen sowie verändern und weitergeben, solange Sie angemessene Urheberangaben machen und das Material unter der gleichen Lizenz verbreiten. Eine kommerzielle Nutzung ist im Allgemeinen nicht erlaubt, kann jedoch in Einzelfällen (z.B. selbstständige MedienpädagogInnen, freiberufliche FortbilderInnen etc.) genehmigt werden. In diesem Fall bitte einfach eine kurze Mail an Sigrid Hartong. Eine Nutzung im Rahmen von Bildungsinstitutionen ist immer erlaubt.