Sind Maschinen die besseren Menschen?

Welche menschlichen Dramen sich an Bord des Lion Air-Flugs 610  abspielten, mag man sich nicht vorstellen. Die nüchternen Daten aus dem geborgenen Flugschreiber vermitteln aber ein erschütterndes Bild der elfminütigen Tragödie. Unmittelbar nachdem die Boeing 737 Max 8 frühmorgens um 05:45 Ortszeit abhob, begannen die massiven Probleme im Cockpit. 26 Mal versuchte der Pilot die Nase der Maschine hochzuziehen, immer wieder drückte die Maschine aber die Nase wieder nach unten. Auffälligkeiten gab es auch bei den wechselnden Geschwindigkeiten der Maschine.

Eine Grafik im Abschlussbericht des Indonesischen Nationalen Transportsicherheitskomitees (NTSC) veranschaulicht diese dramatische Auseinandersetzung zwischen Mensch und Maschine, die nach 11 Minuten abrupt endete, als das Flugzeug mit rund 450 Stundenkilometern ins Meer stürzte und alle 189 Insassen in den Tod riss.

Der Untersuchungsbericht legt die Schlussfolgerung nahe, dass ein defekter Sensor fehlerhafte Informationen an das automatisierte Steuerungssystem "Maneuvering Characteristics Augmentation System" (MCAS) übermittelt hatte. Entscheidend: Dieses System lässt sich eigentlich vom Piloten ausschalten, der Mensch hatte die finale Entscheidungsgewalt über die Maschine, das ist auch gesetzlich so vorgeschrieben. Aber das scheinen die völlig gestressten Lion-Air Piloten laut Untersuchungsbericht nicht gewusst oder realisiert zu haben. Offenbar waren auch viele Piloten anderer Airlines nicht über die Existenz dieser neuen Software unterrichtet worden. Entsprechend hat Boeing nach dem Crash in Indonesien nochmals auf die neue Software in einem Bulletin hingewiesen.

Einer ersten Analyse zufolge gibt es zwischen den Flugschreiber-Daten der abgestürzten Ethiopian-Airlines-Maschine und denen des verunglückten indonesischen Lion-Air-Passagierflugzeugs deutliche Ähnlichkeiten. Die Blackbox-Informationen seien erfolgreich wiederhergestellt worden, teilte ein Sprecher des äthiopischen Verkehrsministeriums mit. Mehr Angaben dürften in den nächsten Tagen folgen.

Fremdbestimmtes Fliegen

Dass Flugzeuge anders reagieren, als es der Pilot will, kommt immer wieder vor und betrifft auch andere Flugzeugtypen und Flugzeughersteller. Denn überall helfen Assistenzsysteme, Pilotenfehler zu vermeiden, gerade in Stresssituationen wie etwa dem Steigflug kurz nach dem Start. Das ist extrem hilfreich und funktioniert sehr gut.

Allerdings nur, wenn die Systeme problemlos funktionieren. Wenn aber etwa die Anstellwinkelmesser (sogenannte Angle of Attack-Sensoren, AOA) defekt sind, also etwa falsche Daten liefern, oder der Bordcomputer abstürzt, dann können die eigentlich als Hilfe gedachten Systeme zur tödlichen Gefahr werden. Dies haben zahlreiche (Beinahe-) Abstürze gezeigt. Geschockte Piloten berichteten, dass sie kaum noch die Kontrolle über das Flugzeug bekamen und sich die automatisierte Fehlerkorrektur nur mit größter Mühe überwinden ließ.  

Risikofaktor Mensch!?

Was den Absturz verursacht hat, müssen Techniker klären. Wer Schuld trägt, müssen Gerichte klären. Wer verantwortlich ist, lässt sich aber jetzt schon sagen: ein Mensch. Seien es die Piloten, die die Anweisung nicht gelesen haben. Oder die Airlines bzw. Boeing, die die Piloten nicht unterrichtet oder keine Trainings veranlasst haben. Oder auch die US-Luftaufsichtsbehörde, die nicht sichergestellt hat, dass die Anweisungen gelesen werden oder die Trainings stattgefunden haben.

Verantwortung tragen vielleicht auch die Mechaniker, die den Sensor nicht richtig repariert haben oder eine Freigabe des Flugzeugs nach dem vorherigen Problemflug hätten verweigern müssen. Wie auch immer, verantwortlich für dieses menschliche Versäumnis oder Versagen sind wiederum: Menschen. Für Fehler sind fast immer Menschen verantwortlich. Irren ist menschlich. Und in manchen Fällen eben auch tödlich.

Misstrauen gegenüber der Mensch-Maschine-Interaktion

US-Präsident Trump hat nach öffentlichem Druck schließlich doch einem Flugstopp für die in die Kritik geratenen Boeing 737 Max 8 zugestimmt. Vor allem aber hat er seinen Unmut über zu komplexe Flugzeuge in zwei Tweets kundgetan:

Trump wolle auch nicht von einem Genie wie Albert Einstein, sondern lieber von einem erfahrenen Piloten geflogen werden. 

Jenseits von Trumps Zotigkeit zeigen diese Tweets eine nicht seltene Skepsis gegenüber Hochtechnologie, die den Menschen fremdbestimmt.

Wer ist Meister und wer ist Diener in der Mensch-Maschine-Interaktion?

Wenn Menschen tatsächlich das eigentliche Risiko darstellen, kann eine Automatisierung helfen, diese Fehler zu minimieren. Das ist inzwischen - etwa in Assistenzsystemen - längst Realität und weitgehend unstrittig. Aber die zentrale Frage bleibt: Wer trifft die finale Entscheidung? Diese Frage würden die Menschen ganz klar beantworten: die Maschine hat dem Menschen zu dienen, der Mensch entscheidet.

Dieser Grundsatz muss auch aus ganz praktischen Gründen gelten, schlicht weil die Maschinen - noch - gar nicht so weit sind. Automatisierte Steuerungssysteme orientieren sich an Daten. Je mehr Daten vorliegen, desto fundierter ist die Entscheidung.

Bei unerwarteten Situationen aber haben Maschinen oftmals große Probleme. Hier ist - noch- der Mensch klar im Vorteil, denn er kann den Kontext unerwarteter Situationen viel besser und schneller wahrnehmen und auch interpretieren, also entscheiden, erläutert Dr. Emanuel von Zezschwitz, Nachwuchsgruppenleiter beim Institute of Computer Science 4 der Universität Bonn. Entsprechend müssen Maschinen an den Menschen angepasst werden und nicht umgekehrt.

So wie intelligentes Interfacedesign, also z.B. verschiedenfarbige Knöpfe in Stresssituationen Fehleingaben entgegen wirken können, also der berühmte rote Knopf, so kann auch die Maschine helfen. Die Maschine sollte laut von Zezschwitz bei der Entscheidungsfindung primär assistieren, also zum Beispiel aus der überfordernden Informationsmenge - die etwa auf einen gestresster Piloten einstürzt - die entscheidenden Fakten oder Entscheidungsgrundlagen herausfiltern. Auf deren Grundlage kann dann der Mensch entscheiden, ihm obliegt die letzte Entscheidungsgewalt. 

Der Mensch will die Kontrolle behalten

Das komme auch dem menschlichen Bestreben entgegen, denn der Mensch will stets die Kontrolle behalten. Gleichwohl gibt es aber bereits einige Maschinen-Entscheidungen, die wir Menschen stillschweigend akzeptieren. Etwa in Assistenzsystemen wie dem Antiblockiersystem ABS. Hier kann der autofahrende Mensch nicht mehr eingreifen.

Das ProjektCo2Team (Cognitive Collaboration for Teaming) von Dr. Ing. Alain Pagani vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) verfolgt die Idee, dass ein auf künstlicher Intelligenz basierendes System den Piloten durch den Einsatz von Cognitive Computing effizient unterstützen kann.

Mittels künstlicher Intelligenz könnten aus einer gewaltigen Datenmenge die entscheidenden Informationen gesammelt und ggf. Strukturen erkannt werden. Für den Menschen oder z.B. einen gestressten Piloten könnte die künstliche Intelligenz dann die entscheidenden Fakten/Entscheidungsgrundlagen herausfiltern.

Der Mensch aber müsse die letzte Entscheidungsgewalt haben, sagt Pagani im DW-Interview. Auch er vertritt die Auffassung, dass künstliche Intelligenz (KI) nur assistieren sollte, und dass die Maschine nicht die alleinige Kontrolle haben dürfe. Unterstützt werden  diese Forschungen unter anderem übrigens von der Deutschen Lufthansa AG. Selbsterklärtes Ziel des Forschungsteam ist es, "einen technologischen und methodischen Übergang zu einem eigenständigeren Flugverkehr vorzuschlagen". Allerdings sei "eine Reduktion der Besatzung erst dann möglich, wenn zuvor die Grenzen der Automation bekannt sind und ein Vertrauensverhältnis zwischen Mensch und Maschine aufgebaut wurde", betont Pagani.

Ohne Menschen geht es nicht

Eine zentrale Grundannahme der Automatisierung ist - etwa im Transportbereich - dass Menschen eher eine Fehlerquelle darstellen als Maschinen. Das belegen auch die Daten: bei den meisten Unfällen ist der Faktor Mensch primär ein Risiko.

Die Automation kann diese wesentliche Fehlerquelle reduzieren, indem die Entwickler den Mensch bzw. die Einflussmöglichkeit des Menschen ersetzen. Allerdings sind Entwickler ja auch gleichzeitig Menschen. Und trotz zahlloser Sicherheitskontrollen ist keine Software komplett fehlerfrei, weil sie vom Menschen programmiert wurde.

Operative Fehler (etwa eine "Fehlbedienung") sind oft Entwicklungsfehler, gibt Dr.Steffen Wischmann,  Gruppenleiter für den Bereich "Datenökonomie und Geschäftsmodelle" bei der VDI/VDE Innovation + Technik GmbH zu bedenken. Wo Aufgaben zu komplex für eine Automatisierung sind, werden diese Aufgaben zudem ausgerechnet auf den Menschen "als schwächstes Glied in der Prozesskette " übertragen, so Wischmann. Dieses "schwächste Glied" werde zwar durch die Automation ersetzt, so Steffen Wischmann, aber gleichzeitig solle der Mensch weiterhin die hochkomplexen Maschinen überwachen, Fehler beheben und ggf. manuell eingreifen. All dies hatte die Forscherin Lisanne Bainbridge bereits 1983 als "Ironie der Automation" bezeichnet.

Auch Dr. Emanuel von Zezschwitz sieht es als gewaltige Herausforderung an, den Menschen in den automatisierten Prozessen konstant einzubinden, den "User in the loop" zu halten, also etwa seine Aufmerksamkeit hoch zu halten. Besonders heikel sei die Übergangsphase von Maschine zu Mensch. Denn bei einer vorschreitenden Automation, etwa beim Autonomen Fahren, muss sichergestellt werden, dass der Mensch beim diesem "hand over" der Maschine nicht überfordert oder auch unterfordert ist, sprich dass er aufmerksam bleibt, auch wenn er lange Zeit nicht gefordert war. 

Verlorengegangenes Vertrauen

Kommt es bei der Automation zu Fehlern, die sich nie vollständig vermeiden lassen, verstärkt dies die Vorbehalte gegen die Technik. Vor allem, wenn die Ursachen und damit auch die Verantwortlichkeiten unklar bleiben. Boeing etwa muss in den kommenden Wochen verlorengegangenes Vertrauen zurückgewinnen, sonst werden die 737 MAX-Maschinen nicht wieder fliegen. Möglicherweise wird das MCAS so modifiziert, dass das System nur teilweise in die Flugsteuerung eingreift und dass die Piloten auch bei eingeschaltetem System immer noch die letzte Entscheidungsgewalt behalten.

Für die Zukunft muss aber vor allem das Zusammenwirken von Mensch und Maschine weiter optimiert werden. So muss sichergestellt werden, dass der Mensch auch tatsächlich in der Lage ist, die Maschine zu "beherrschen" und dass Piloten, Mechaniker, Airlines, Hersteller oder Aufsichtsbehörden im Zweifel immer für die Sicherheit entscheiden. So verweist Dr. Steffen Wischmann darauf, dass es gerade bei den aktuellen Flugmanagementsystemen einen sehr hohen Nachholbedarf gebe. Dies zeige auch eine amerikanische Studie aus dem Jahr 2013, nach der 60% aller Piloten bei Unfällen angaben, kein ausreichend hohes Situationsbewusstsein über den Hergang von Unfällen besessen zu haben.

Bei der Entscheidungsfindung können Maschinen vor allem Dank künstlicher Intelligenz helfen, aber die Verantwortung kann letztlich nur ein Mensch übernehmen. "Damit der Mensch in der zunehmend vernetzten und automatisierten Welt jedoch in der Lage bleibt, informierte Entscheidungen zu treffen, müssen menschliche Stärken und Schwächen bei jeder Neuentwicklung bekannt sein und im Design berücksichtigt werden. Dies kann nur gelingen, wenn spätere Nutzer von Anfang an in den Entwicklungsprozess neuer Technologien eingebunden werden," so Dr. Emanuel von Zezschwitz von der Uni Bonn.