Sei wie Pixar, nicht wie die NASA

Es begann am 28. März 1979 um 4:00 Uhr morgens auf Three Mile Island, Pennsylvania. Der Kernreaktor lief nahezu mit voller Leistung, als ein sekundärer Kühlkreislauf ausfiel und die Temperatur des primären Kühlmittels beeinträchtigte. Dieser starke Temperaturanstieg führte zur automatischen Abschaltung des Reaktors. In der Sekunde, die zur Deaktivierung des Reaktorsystems benötigt wurde, konnte ein Überdruckventil nicht geschlossen werden. Der Kernkern wurde schwer beschädigt, aber die Betreiber konnten die unerwartete Abschaltung des Reaktors im Eifer des Gefechts weder diagnostizieren noch bewältigen.

Der Soziologe Charles Perrow analysierte später, warum der Unfall auf Three Mile Island passiert war, in der Hoffnung, weitere Katastrophen vorhersehen zu können. Das Ergebnis war sein wegweisendes Buch Normal Accidents. Sein Ziel sei es, „einen Rahmen vorzuschlagen, um komplexe technische Systeme wie Flugverkehr, Seeverkehr, Chemieanlagen, Staudämme und insbesondere Kernkraftwerke nach ihrem Risiko zu charakterisieren“.

Ein Faktor war die Komplexität: Je mehr Komponenten und Wechselwirkungen in einem System vorhanden sind, desto schwieriger ist es, wenn etwas schief geht. Mit der Skalierung geht Komplexität einher, unabhängig davon, ob wir an die Technologie oder die Organisation denken, die sie unterstützt. Stellen Sie sich vor, Sie leiten ein Start-up, bei dem alle im selben Loft sitzen. Von Ihrem Sitzplatz aus können Sie leicht sehen, was sie alle tun. In einer großen Organisation geht diese Sichtbarkeit verloren. In dem Moment, in dem eine Führungskraft das Innenleben des Systems selbst – in diesem Fall die Aktivitäten der Mitarbeiter – nicht erkennen kann, steigt die Komplexität.

Perrow brachte diese Art von Komplexität mit technischem Versagen in Verbindung. Auf Three Mile Island konnten die Bediener nicht einfach bis zum Kern gehen und die Temperatur manuell messen oder einen Blick hinein werfen, um festzustellen, dass nicht genügend Kühlmittel vorhanden war. Ebenso können Führungskräfte in einem großen Unternehmen nicht jeden Mitarbeiter ständig überwachen, ohne Unmut hervorzurufen. Sie sind auf indirekte Indikatoren wie Leistungsbewertungen und Verkaufsergebnisse angewiesen. Auch große Unternehmen sind auf komplexe Informationstechnologien und komplexe Lieferketten angewiesen.

Ein weiterer Faktor, schrieb Perrow, sei die Kopplung eines Systems: der Grad der gegenseitigen Abhängigkeit zwischen seinen Komponenten. Wenn Systeme sowohl komplex als auch eng gekoppelt sind, ist die Wahrscheinlichkeit größer, dass sie negative unerwartete Folgen haben und außer Kontrolle geraten.

Perrow zählte weder künstliche Intelligenz (KI) noch Software zu den Technologien, deren Interaktionen er kartierte. Aber anhand der Kriterien, die er in Bezug auf das technologische Risiko darlegte, passen KI-Systeme neben Kernkraftwerken, Weltraummissionen und DNA-Sequenzierung in Perrows Rahmen. Wenn ein Element nicht wie geplant funktioniert, kann es zu unvorhergesehenen Kaskadeneffekten kommen, die sich auf völlig unerwartete Weise auf ein System auswirken.

Eng gekoppelte Systeme verfügen über Architekturen – technologischer und sozialer Art –, die die gegenseitige Abhängigkeit zwischen ihren Komponenten und häufig die Isolation von externen Verbindungen fördern. Dadurch sind sie effizient und selbstschützend, aber weniger robust.

Im Gegensatz dazu verfügen lose gekoppelte Systeme über offenere und vielfältigere Architekturen. Änderungen in einem Modul, Abschnitt oder einer Komponente wirken sich kaum auf die anderen Komponenten aus. Jeder arbeitet einigermaßen unabhängig von den anderen. Eine lose gekoppelte Architektur ist einfach zu warten und zu skalieren. Es ist außerdem robust, da sich Probleme nicht so leicht auf andere Teile des Systems ausbreiten.

Führungskräfte, die große Organisationen leiten, bevorzugen tendenziell ein eng gekoppeltes System. Es ist das, was sie wissen. Sie sind in ihrer Branche aufgewachsen und haben gesehen, wie eine kleine Anzahl von Menschen Entscheidungen trifft, die Millionen von Menschen betreffen. Aber eng gekoppelte Systeme können schwieriger zu kontrollieren sein. Stellen Sie sich einen Boden vor, der mit aufgereihten Dominosteinen bedeckt ist. Wenn Sie einen umkippen, wird er nacheinander die gesamte Reihe von Dominosteinen umwerfen – ein einfaches Beispiel für ein eng gekoppeltes System. Versuchen Sie nun, es zu stoppen, sobald der Dominoeffekt in Gang kommt. Es ist viel schwieriger als man denkt.

Ein großes Unternehmen ist im Allgemeinen auch ein eng gekoppeltes System, insbesondere im Vergleich zu kleinen Unternehmen und lokalen Einzelhändlern. Wenn Sie eine Beschwerde über das Produkt eines Tante-Emma-Ladens haben, können Sie diese zurücknehmen. Dort wird die Sache gelassen und für jeden Kunden anders gehandhabt. Sie haben die Kontrolle über ihr Handeln. Wenn sie in einem großen Unternehmen oder als Franchise-Unternehmen arbeiten, sind sie eng mit der Markenbildung und den erweiterten Verfahren des Unternehmens verbunden – und untereinander. Wer anders als die Standardverfahren agieren will, muss sich dem eng gekoppelten Netzwerk widersetzen.

Während der Pandemie wurde uns klar, wie eng unsere Lieferketten miteinander verbunden und vernetzt sind – wie ein im Suezkanal festsitzendes Containerschiff weltweite Lieferungen um Monate verzögern kann. Viele Unternehmen haben versucht, robustere Redundanzen zu schaffen und so die Kopplung in ihren Lieferketten effektiv zu lockern, indem sie alternative Anbieter finden und in lokale Quellen investieren.

Die Organisationssoziologin Diane Vaughan ist eine Expertin dafür, wie Systeme immer wieder Katastrophen hervorrufen können. Sie begann sich nach der Challenger-Katastrophe von 1986 mit dem Thema zu befassen, als die Raumfähre kurz nach dem Start explodierte. Die „technische Ursache“, schrieb sie später, sei „ein Versagen der Gummi-O-Ringe beim Abdichten der Feststoffraketen-Booster-Verbindungen des Shuttles. Aber auch die NASA-Organisation hat versagt.“

Die NASA hatte seit 1981 Raumfähren mit beschädigten O-Ringen gestartet. Unter dem Druck des Startplans hatten die Behördenleiter die Warnungen der Ingenieure bis zum Tag des Starts ignoriert. Tatsächlich hatte die Behörde den O-Ring-Schaden im Rahmen der geltenden Regeln als „akzeptables Risiko“ eingestuft.

Vaughan verbrachte die nächsten fünf Jahre damit, „The Challenger Launch Decision“ zu recherchieren und zu schreiben, ein ausführliches Buch über die organisatorischen Probleme, die zu der technologischen Katastrophe führten. Wie Perrow kam sie zu dem Schluss, dass diese Art von Organisation immer wieder katastrophale Fehler hervorrufen würde. Nach Erscheinen des Buches bemerkte sie später: „Ich hörte von Ingenieuren und Leuten in vielen verschiedenen Organisationen, die die Analogien zwischen dem, was bei der NASA geschah, und den Situationen in ihren Organisationen erkannten. ‚Die NASA sind wir‘, schrieben einige.“

Ein weiterer Absturz, diesmal der Raumfähre Columbia, ereignete sich am 1. Februar 2003. Weitere sieben Astronauten starben. Eine technische Überprüfung ergab, dass ein Stück Schaumstoff abgebrochen war und einen Flügel getroffen hatte. Wieder einmal hatten Ingenieure die Behörde gewarnt, und die Warnungen waren ignoriert worden. Wieder einmal beteiligte sich Vaughan intensiv an der Untersuchung der Ursachen und trat schließlich dem Columbia Accident Investigation Board der Regierung bei. Sie sagte gegenüber dem Vorstand aus, dass sie für beide Unfälle die gleichen organisatorischen Ursachen gefunden habe.

In ihrem Schreiben über die Katastrophen zitiert Vaughan Perrow und stellt fest, dass die NASA aufgrund ihrer engen Verknüpfung und Komplexität systematisch anfällig für gelegentliche größere Fehler sei. Die wichtigsten Entscheidungsträger waren einer „Normalisierung der Abweichung“ zum Opfer gefallen, bei der gefährliche Selbstgefälligkeit nach und nach zur normalen Vorgehensweise wurde. „Wir können das Problem der Komplexität nie vollständig lösen, aber wir müssen sensibel für unsere Organisationen und ihre Arbeitsweise sein“, schrieb sie. „Obwohl viele von uns in komplexen Organisationen arbeiten, ist uns nicht bewusst, wie sehr die Organisationen, in denen wir leben, uns vollständig bewohnen. Das gilt für die mächtigen Akteure an der Spitze der Organisation, die für die Schaffung von Kultur verantwortlich sind, ebenso wie für die Menschen.“ in den unter ihnen liegenden Ebenen, die ihre Weisungen ausführen und die alltägliche Arbeit erledigen.“

Bei diesen Katastrophen, sagte sie gegenüber dem Vorstand, „war das technische Versagen eine Folge des organisatorischen Versagens der NASA.“

Der Softwaredesigner Alan Chan argumentiert, dass einige angeborene Aspekte der künstlichen Intelligenz dazu neigen, alles, was sie berührt, komplexer und enger miteinander zu verknüpfen. Selbst wenn ein Projekt „verantwortungsvolle KI“ sein soll, kann die Arbeit mit einem automatisierten Algorithmus die besten Absichten der Softwareentwickler außer Kraft setzen.“

Obwohl Designer versuchen, so weit wie möglich alle relevanten Merkmale einzubeziehen, erkennen sie die Relevanz einiger Merkmale möglicherweise erst, nachdem ein Unfall sie darüber informiert hat“, sagt Chan. „Darüber hinaus ist ein menschlicher Beobachter durch die eingeschränkt Wie ihre Sinne mit Messinstrumenten interagieren, ist ein KI-Subsystem nicht nur durch die gleichen Bedingungen wie der menschliche Beobachter begrenzt, sondern auch durch die Tatsache, dass menschliche Beobachter die zu berücksichtigenden Merkmale auswählen. Die Messgeräte könnten selbst fehlerhaft sein, was ein entscheidender Faktor beim Unfall auf Three Mile Island war.“

In Perrows Sprachgebrauch ist davon auszugehen, dass „normale Unfälle“ in solchen Systemen mit der Zeit zunehmen. Dies gilt insbesondere dann, wenn nicht nur ein KI-System selbst, sondern auch das es umgebende organisatorische Ökosystem sowohl komplex als auch eng miteinander verbunden ist.

Im Technologiebereich verschärft der Optimierungsprozess selbst die enge Kopplung. Es entstehen starke Abhängigkeiten und damit auch Dominoeffekte. Stellen Sie sich ein KI-System vor, das die Aufgabe hat, Produktionsressourcen in einer Lieferkette zuzuweisen. Das einzige Ziel des Systems ist möglicherweise die Maximierung der Leistung. Dieser einzelne Fokus würde das gesamte System dazu veranlassen, sich enger zu koppeln.

Der Algorithmus würde alle Kompromisse zwischen Flexibilität und Optimierung zugunsten der Optimierung auflösen. Beispielsweise würden keine Reservebestände gehalten, da dies die Lagerbestände belasten würde. Das System ist so programmiert, dass es sich dabei an der Strategie des Unternehmens orientiert, allerdings so eng gekoppelt, dass das System unter Stress ins Stocken geraten würde, wie es bei vielen Lieferketten zu Beginn der COVID-19-Pandemie der Fall war. Zu verschiedenen Zeitpunkten in der jüngeren Geschichte führte diese Dynamik zu Engpässen bei Schutzausrüstung, Halbleiterchips, Windeln und Säuglingsnahrung.

Ein weiterer Fall eines eng gekoppelten KI-Systems ist Zillows gescheiterter Einsatz eines automatisierten Entscheidungsalgorithmus beim Kauf von Häusern. Als Online-Immobilienmarktplatz wurde Zillow ursprünglich entwickelt, um Verkäufern und Käufern dabei zu helfen, fundiertere Entscheidungen zu treffen. Im Jahr 2018 eröffnete das Unternehmen eine neue Abteilung mit einem Geschäftsmodell, das auf dem Kauf und Verkauf von Häusern unter Verwendung eines maschinellen Lernalgorithmus namens Zillow Offers basiert. Da die Immobilienpreise während der COVID-19-Pandemie schnell anstiegen, verwendeten die iBuying-Algorithmen von Zillow Daten wie das Alter, den Zustand und die Postleitzahl des Hauses, um vorherzusagen, welche Häuser an Wert gewinnen würden. Doch das System berücksichtigte nicht die durch das Virus verursachte radikale Unsicherheit und unterschätzte die schnellen Veränderungen auf dem Wohnungsmarkt völlig. Darüber hinaus gab es eine Gegenreaktion gegen Zillow, als ein Immobilienmakler, Sean Gotcher, ein virales Video erstellte, in dem er die angebliche Manipulation des Immobilienmarktes durch das Unternehmen anprangerte. Bis November 2021 verkaufte das Unternehmen nur 17.000 der 27.000 gekauften Häuser.

Die Entkopplung des Eigenheimkaufgeschäfts von Zillow vom Online-Marktplatz könnte das Unternehmen oder zumindest einen Teil seines Rufs gerettet haben. Letztendlich schloss Zillow seine Hauskaufabteilung, reduzierte 25 Prozent der Belegschaft des Unternehmens – etwa 2.000 Mitarbeiter – und schrieb einen Verlust von 304 Millionen US-Dollar an Wohnungsbeständen ab.

Für John Sviokla, der einen Harvard-Doktortitel in Management-Informationssystemen besitzt, steht die enge Kopplung in direktem Zusammenhang mit der Undurchsichtigkeit algorithmischer Systeme: dem Closed-Box-Effekt. „Wenn ich nicht in das System hineinschauen und die Gewichtung verschiedener Faktoren sehen kann“, sagt er, „dann ist es de facto eng gekoppelt. Aus semantischer Sicht kann ich nicht mit ihm kommunizieren. Ich kann es nur verwalten.“ indem ich versuche herauszufinden, wie es funktioniert, basierend auf den Verhaltensweisen, die es hervorruft. Ich habe keinen Zugang zu den zugrunde liegenden Annahmen oder dazu, wie es funktioniert. Ich muss es entweder ablehnen oder verwenden – das sind meine einzigen zwei Möglichkeiten.“

Chan argumentiert, dass das größte Risiko in eng gekoppelten und komplexen KI-Systemen innerhalb von eng gekoppelten und komplexen Organisationen liegt. Wenn die organisatorischen Voraussetzungen stimmen, ist die Gefahr von Unfällen besonders hoch. Da sich genaue Bedingungen nicht im Detail vorhersagen oder verhindern lassen und die Organisationsstruktur eine Belastbarkeit verhindert, stellen algorithmische, autonome und automatisierte Systeme eine ständige Herausforderung dar. Selbst wenn Systeme gut funktionieren, ist es unmöglich, sie vor einem „normalen Unfall“ absolut ausfallsicher zu machen.

Wer das System sicherer und weniger schädlich machen will, muss es lockern.

Pixar Animation Studios, die Macher der Filme „Toy Story“ und „Findet Nemo“, haben ein bekanntes Ritual, das sich die lockere Kopplung des Studios zunutze macht. Immer wenn ein in der Entwicklung befindlicher Film in eine schwierige Lage gerät, kann der Regisseur das „Brain Trust“ des Unternehmens für eine eingehende Kritik einberufen. Nach der Sitzung entscheiden der Direktor und sein Team, was mit den Ratschlägen geschehen soll. Es braucht ein dickes Fell, um ein Werk überprüfen zu lassen, aber das Ergebnis ist eine immense, spürbare Verbesserung.“

„Es gibt keine obligatorischen Notizen und der Brain Trust hat keine Autorität“, erklärte Pixar-Mitbegründer Ed Catmull im Harvard Business Review. „Diese Dynamik ist entscheidend.“ Es gibt den Mitgliedern des Trusts die Freiheit, ihre ungeschminkten Expertenmeinungen abzugeben, und es gibt dem Direktor die Freiheit, Hilfe zu suchen und den Rat umfassend zu berücksichtigen.“

Pixar brauchte eine Weile, um zu verstehen, warum dieses System so hilfreich war. „Als wir versuchten, das Brain-Trust-Modell in unseren technischen Bereich zu exportieren, stellten wir zunächst fest, dass es nicht funktionierte“, schrieb Catmull. „Sobald wir sagten: ‚Hier geben sich nur Kollegen gegenseitig Feedback‘, änderte sich die Dynamik und die Effektivität der Überprüfungssitzungen verbesserte sich dramatisch.“

Beachten Sie, dass das Organisationsdesign von Pixar bewusst locker ist. Die Reaktionen des Brain Trusts werden nicht als Forderungen, sondern als kreative Möglichkeiten behandelt. Diese Möglichkeiten ermöglichen Einfachheit auf der anderen Seite der Komplexität.

Charles Perrow widmete einen Großteil von Normal Accidents der Untersuchung komplexer soziotechnischer Vorgänge, die nicht in einer Krise oder Katastrophe endeten. Er fand, dass eine Möglichkeit darin besteht, die Entscheidungsfindung zu vereinfachen, indem man sich auf nur ein oder zwei Aktivitäten konzentriert: Man zentralisiert die Entscheidungsfindung um diese relativ einfache Reihe von Zielen herum, sodass es eine klare Richtung für die Kanalisierung aller damit verbundenen Komplexitäten gibt. Eine andere Möglichkeit bestand darin, einige grundlegende Organisationsstrukturen einzuführen. Eine Risikoprüfungs- und Überwachungsgruppe mag wie eine weitere langweilige bürokratische Funktion erscheinen, aber wenn sie von jemandem geleitet wird, der sich mit loser Kopplung auskennt, wird sie aus einer vielfältigen Gruppe von Menschen bestehen, die komplexe Probleme gemeinsam verstehen.

Und es gibt noch eine andere Alternative: das System zu lockern. Die Entscheidungsfindung auf die unterste Hierarchieebene zu verlagern und sicherzustellen, dass jeder Teil der Organisation autonom agieren kann. Menschen zur freien Kommunikation ermutigen, damit nicht eine kleine Gruppe als alleinige Wissensquelle zu einem Schlüsselthema angesehen wird. Die Entscheidungsfindung so nah wie möglich an den Ort der Handlung zu verlagern und Menschen regelmäßig zusammenzubringen, um voneinander zu lernen und den Wettbewerb mit anderen Silos zu vermeiden.

KI-Chatbots können die Verknüpfungen in komplexen Systemen verstärken, die Kommunikation darin intensivieren und die Art und Weise automatisieren, wie Unternehmen ihr Verhalten steuern. Das könnte zu weiteren Katastrophen und Fehltritten führen. Sie könnten aber auch komplexe Systeme auflockern, indem sie alternative Verknüpfungen bereitstellen und die Suche nach alternativen Ansichten erleichtern. Der Erfolg hängt oft davon ab, jemanden mit einer Sensibilität von außen zu finden, der die Prioritäten von innen respektiert. Generative KI-Systeme könnten es einfacher machen, diese Menschen zu finden und sie einander vorzustellen.

Es gibt viel zu lernen über die Wechselbeziehung zwischen Maschinenverhalten, menschlichem Verhalten und dem Verhalten größerer soziotechnischer Systeme wie Unternehmen und Regierungen. Letztlich spielt es keine Rolle, ob wir unsere KI-Systeme für intelligent halten. Am wichtigsten ist, was sie tun und wie sie wachsen und wie wir mit ihnen wachsen.

Der Beitrag Be Like Pixar, Not NASA erschien zuerst auf Reason.com.