Alles unter Kontrolle?

"Gesteuert durch Algorithmen. Endlich. Eine neue Ära hat begonnen. Regierungen und Gerichte sind vollständig durch KI-basierte Systeme ersetzt worden. Frühere Probleme mit menschlicher Voreingenommenheit und Korruption gehören damit der Vergangenheit an. Jede/r BürgerIn hat zu der eigenen Sicherheit und zur Sicherheit aller das Recht auf eine algorithmische Überwachung während der Wachzeit. Das System ist nach den menschlichen Werten Transparenz, Glück, Produktivität, Fairness und Individualität konzipiert. Menschen können egoistisch sein. Unser System kann das nicht. Willkommen in der Zukunft", so lautet die Einleitung der Projektwebseite "aicracy" des Studiengangs Industrial Design der Bergischen Universität Wuppertal.

Anna Moldenhauer: Herr Prof. Hemmert, wie ist das Projekt entstanden?

Fabian Hemmert: Im Rahmen unseres Seminars haben wir das Thema gewählt, wie unsere Gesellschaft in Zukunft aussehen könnte, wenn die technischen Entwicklungen, die wir aktuell beobachten können, in eine dystopische Richtung weiterlaufen, die sich auch in einem kritischen Design widerspiegelt. Dazu haben wir unterschiedliche Bereiche analysiert, wie Versicherungen und unser Rechtssystem. Was könnte passieren, wenn uns der Algorithmus eines Tages regiert? Hierzu haben unsere Studierenden – David Hrlic, David von Netzer, Alexander Görts, Christopher Weld und Piet Becker – während des Semesters recherchiert, Potenziale identifiziert, Konzepte und Skizzen erstellt und dann physische Prototypen in unserer Werkstatt entwickelt. Von diesem Prozess habe ich einen Zeitraffer gefilmt – das Video dient auch der Vermittlung unserer Herangehensweise: Der Großteil eines Gestaltungsprozesses ist nunmal die Konzeption und dazu gehört eine umfangreiche Recherche. Die Entwürfe haben wir in eine fiktive Alltagsgeschichte für eine mögliche, dystopische Zukunft eingebaut.

Die Grundidee von "aicracy" beruht auf einem Algorithmus, der unser Verhalten maßgeblich steuert. Algorithmen lernen vom Menschen – wären in dieser Vision dann die DesignerInnen eine Art gottgleiche Instanz, die mittels des Produktdesigns die Werte für unsere Gesellschaft festlegt?

Fabian Hemmert: Die Frage, wer den Algorithmus programmiert, ist natürlich eine zentrale – diese Frage haben wir uns auch im Seminar gestellt und sind zu dem Schluss gekommen, dass die BürgerInnen über "The Individual Voting Machine" jeden Sonntag die Möglichkeit haben könnten, Wahlstimmen zu gesellschaftlich relevanten Fragen an den Algorithmus abzugeben. Der Algorithmus passt dann die Regeln der Gesellschaft entsprechend an. Das könnte beispielsweise eine Abstimmung hinsichtlich eines Tempolimits sein: Stimmt die Mehrheit dafür, gilt die Regel. Für die Wahl dienen kleine Kugeln – je besser ein/e BürgerIn angepasst ist, umso mehr Kugeln hat diese/r zur Abstimmung zur Verfügung – und natürlich kann man auch mehr als nur eine Kugel benutzen, um eine Frage zu beantworten, wenn man hier besonders gewichtig abstimmen möchte. Mehr Abstimmungskugeln bedeuten also mehr Mitspracherecht.

Wer sich regelkonform verhält, bekommt mehr Abstimmungskugeln für die Wahl, oder auch bessere Preise im Supermarkt, wie ich in Ihrem Film gesehen habe.

Fabian Hemmert: Genau! Daran lässt sich bereits ablesen, dass ein System, das von Algorithmen geleitet wird, nicht fair agiert. Was zudem interessant war, ist die Tatsache wie präsent alle Vorgänge, die wir in dem Rahmen diskutiert haben, bereits in unserer Welt so – oder zumindest in abgeschwächter Form – passieren. Wir sind es beispielsweise von Versicherungen gewöhnt, dass wir vergünstigte Preise bekommen, wenn wir uns regelkonform verhalten.

Gäbe es die Möglichkeit seitens der GestalterInnen einzugreifen, wenn beispielsweise technische Probleme vorliegen oder das System zu zerstörerisch auf den Menschen wirkt?

Fabian Hemmert: In unserer Vision war das nicht vorgesehen, die höchste Instanz ist hier die Technologie.

Haben Sie im Rahmen des Seminars darüber gesprochen, welche Verantwortung GestalterInnen haben, wenn sie Produkte entwerfen, dessen Technologie sich gegen Menschen richten kann oder von Menschen genutzt werden könnte, um einem anderen Menschen Schaden zuzufügen?

Fabian Hemmert: Nicht explizit, aber ich finde, an unserem Beispiel lässt sich sehr gut ablesen, was passiert, wenn DesignerInnen sich aus der Verantwortung nehmen und den Autopiloten gestalten lassen. Dann wird es unmenschlich. Das ist ein Dilemma: Wir können in unserer technologisierten Welt nicht alle Verantwortung an uns reißen, aber uns auch nicht komplett herausnehmen. Es geht um die richtige Balance. Kommunikation und Partizipation spielen eine große Rolle – das System wirkt partizipativ, da die BürgerInnen jede Woche über die weitere Programmierung des Algorithmus abstimmen dürfen. In Wirklichkeit ist diese Abstimmung selbst aber bereits unmenschlich. Es ist auch vorstellbar, dass das System dezentral über eine Blockchain läuft und beispielsweise auf jedem Handy verpflichtend verfügbar sein muss. Damit gäbe es noch nicht mal einen Server, den man im Notfall einfach abschalten könnte. Wenn man den Gedanken weiterspinnt, kommt man schnell zu der Frage, wozu man eigentlich Menschen braucht, um menschliche Entscheidungen zu treffen.

Die Produkte heißen unter anderem "The Transparency Bracelet", "The Happiness Patch", "The Fairness Basket", "The Productivity Chair" und auch in den jeweiligen Beschreibungen wird mittels Schlagwörter wie "kostenfrei" der Eindruck vermittelt, dass sich durch die Verwendung ausschließlich Vorteile ergeben. Diese Form des positiven Framings einer Dystopie für die Vermarktung der Produkte finde ich sehr interessant. Anhand des Projekts lässt sich darüber hinaus sehr gut ablesen, wie ein Algorithmus menschliche Moralvorstellungen oder Wertvorstellungen verändern kann.

Fabian Hemmert: Stimmt, beim Lesen dieser Texte kann einem wirklich Angst und Bange werden. Vor allem, weil eine Nachfrage nicht unwahrscheinlich ist – ich kann mir durchaus Länder vorstellen, in denen die Effizienz der Arbeit über allem steht und diese "Maßregelungen" eingesetzt werden könnten, inklusive der "positiven" Kommunikation.

Es gibt bereits zahlreiche Sci-Fi-Filme, die eine Kontrolle der Menschheit durch die Technik thematisieren. Warum ist das Thema dennoch interessant für GestalterInnen?

Fabian Hemmert: Der Generation, die an unserer Universität gerade in das Studium eintritt, geht es nicht darum, reich zu werden, sondern einen Sinn in der Gestaltung zu finden. Ihre Arbeit soll ganzheitlich "richtig" sein. An dieser Stelle haben wir angesetzt und geschaut, in welche Dystopie der Prozess der Optimierung mitunter auch führen kann.

Haben Sie den Eindruck, dass sich während des Projekts die Herangehensweise der Studierenden an die Gestaltung verändert hat?

Fabian Hemmert: Unser Projekt war fiktiv, daher hatten die Studierenden natürlich einen großen kreativen Freiraum. Ich frage meine Studierenden am Anfang des Studiums immer, ob sie etwas in ihrer Umgebung sehen, das nicht designt ist. Denn alles um uns herum ist gestaltet, war mal eine Idee und wurde dann real. Jedes Objekt in unserem Alltag nehmen wir als "normal" wahr, es wurde aber jeweils von einer Person erdacht. Und daran merkt man bereits, wie viel Verantwortung DesignerInnen haben. Das ist ihnen sicher während des Seminars deutlicher bewusst geworden. Für die Studierenden war es auch erschreckend zu sehen, dass viele dystopische Designideen bereits gängige Praxis in einigen Gegenden der Welt sind.

Wie geht es mit dem Projekt weiter?

Fabian Hemmert: Die Produkte sind nicht dazu gedacht, auf den Markt zu kommen, "aicracy" soll stattdessen eine Diskussion anregen, wie wir uns die Zukunft wünschen. Unter dem Hashtag #aicracy ist eine Beteiligung an der Diskussion möglich. Was wäre, wenn wir Parlamente hätten, die von Algorithmen gesteuert werden? Was könnte besser sein als heute, was könnte schlechter sein? Würde ich beispielsweise eine ständige Überwachung meiner Vitalwerte zulassen, wenn ich dafür einen besseren Tarif bei meiner Krankenkasse bekomme? Wenn wir es schaffen, über das Projekt die Wahrnehmung dahingehend zu sensibilisieren, ist das Projekt bereits erfolgreich.