Veröffentlicht
Aktualisiert
Lesezeit
7 Min. Lesezeit
Essay Wang Simian

Scheitern in den Weg zur Wahrheit einbauen

Warum Arbeit unter Unsicherheit Experimente braucht, bei denen die Wirklichkeit früh, klar und nützlich Nein sagen kann.

Scheitern wird gewöhnlich als psychologisches Problem behandelt. Etwas geht schief, und dann sollen wir widerstandsfähig sein, daraus lernen und es erneut versuchen.

Das greift zu kurz.

Bei wirklich ungewisser Arbeit ist Scheitern nicht bloß ein emotionaler Preis, den man nach dem Plan bezahlt. Es ist einer der Mechanismen, durch die der Plan Wahrheit hervorbringt.

Die Frage ist weder, wie wir Scheitern vermeiden, noch, wie wir uns damit versöhnen. Die Frage ist, wie wir einen Weg entwerfen, auf dem die Wirklichkeit früh, klar und nützlich Nein sagen kann.

Maximale Unsicherheit, maximale Information

Die einfachste mathematische Form dieses Gedankens findet sich in Claude Shannons Informationstheorie.

Angenommen, ein Experiment hat nur zwei mögliche Ergebnisse: Erfolg oder Misserfolg. Die Erfolgswahrscheinlichkeit sei p. Die Entropie des Ergebnisses lautet:

H(Y) = -p log₂ p - (1-p) log₂(1-p)

Bei einem binären Ergebnis erreicht die Entropie bei p = 0.5 ihr Maximum. Dann steht keines der beiden Ergebnisse fest. Die Beobachtung des Ergebnisses kann die größtmögliche Unsicherheit beseitigen.

Nähert sich p null oder eins, sinkt die Entropie. Ein fast garantiertes Ergebnis enthält weniger Information, weil es weniger Möglichkeiten ausschließt. Je näher wir einer vorher feststehenden Antwort kommen, desto weniger Raum lassen wir der Wirklichkeit, uns etwas Neues zu sagen.

Das bedeutet nicht, dass jedes reale Experiment auf eine Misserfolgsquote von fünfzig Prozent eingestellt werden sollte. Bei der bayesianischen Versuchsplanung ist das eigentliche Ziel der erwartete Informationsgewinn: Wie stark verändert eine Beobachtung unsere Einschätzung der zugrunde liegenden Parameter?

I(Θ;Y) = H(Y) - EΘ[H(Y|Θ)]

Das nützliche Prinzip ist enger und wichtiger: Je stärker das Ergebnis eines Experiments bereits feststeht, desto weniger informativ wird es.

Ein garantierter Erfolg bestätigt vor allem die Konstruktion des Tests. Ein garantiertes Scheitern ist nicht besser. Interessant ist die Grenze, an der noch mehrere Erklärungen möglich sind und eine einzige Beobachtung die meisten davon ausschließen kann.

Ein Fehlschlag ist nur nützlich, wenn er den nächsten Schritt verändert

Scheitern ist nicht automatisch Information.

Ein unbeobachteter Fehlschlag ist nur Schaden. Ein Fehlschlag ohne konkurrierende Hypothesen ist nur Verwirrung. Ein Fehlschlag, der die nächste Entscheidung nicht verändern kann, ist nur Wiederholung.

Damit Scheitern etwas lehrt, muss das Experiment begrenzt und messbar sein. Es sollte zeigen, welche Annahme falsch war, genügend Belege zur Unterscheidung der Ursachen bewahren und diese Belege in die nächste Version des Systems einspeisen.

SpaceX ist ein sichtbares Beispiel dieser Logik, aber nicht ihr Ursprung. Die Fehleranalyse von Trägerraketen der NASA dokumentiert, wie die ersten drei Falcon-1-Flüge aus unterschiedlichen Gründen scheiterten und wie daraufhin Hardware, Software, Prüfverfahren, Tankkonstruktion und Stufentrennung verändert wurden. Die vierte Falcon 1 erreichte die Umlaufbahn. Später beschrieb SpaceX Starship als ein Programm schneller iterativer Entwicklung, in dem Flugdaten, Ursachenanalyse und Korrekturmaßnahmen unmittelbar in das nächste Fahrzeug einfließen.

Die Explosion ist nicht die Lektion. Das veränderte System ist die Lektion.

Nicht jeder sichtbare Fehlschlag beweist Intelligenz. Derselbe Fehler aus demselben Grund ist keine Iteration, sondern Fahrlässigkeit mit besserem Marketing. Doch auch der gegenteilige Fehler ist verbreitet: jeden Test so sicher zu gestalten, dass er den Ruf des Teams schützt, ihm aber nichts beibringt.

Die bittere Lektion ist eine Lektion über Systeme

Richard Sutton beschreibt in seinem Essay The Bitter Lesson ein wiederkehrendes Muster in der KI-Forschung. Forscher bauten immer wieder menschliches Wissen, Intuition und handgefertigte Strukturen in ihre Systeme ein. Diese Methoden funktionierten kurzfristig oft gut und erreichten dann eine Grenze. Allgemeinere Methoden, die durch Rechenleistung, Suche und Lernen skalieren konnten, kamen schließlich weiter.

Die Lektion ist bitter, weil wir wollen, dass unsere eigene Klugheit der wertvolle Teil bleibt. Wir bevorzugen ein System, das erfolgreich ist, weil es unsere Einsicht enthält. Weniger wohl fühlen wir uns beim Bau eines Systems, das über uns hinaus suchen, aus Ergebnissen lernen und unsere Lieblingserklärung bedeutungslos machen kann.

Gründer wiederholen denselben Fehler in ihren Unternehmen.

Sie verhindern Fehler, indem sie jede Unsicherheit durch sich selbst leiten. Sie prüfen jede Nachricht, genehmigen jede Einstellung, schreiben jedes Verkaufsgespräch um und retten persönlich jede unklare Situation. Eine Weile wirkt das Unternehmen ungewöhnlich intelligent, weil der Gründer die Intelligenz von Hand trägt.

Aber das ist kein lernendes System. Es ist eine Abhängigkeit.

Ein echtes Betriebssystem muss Hypothesen erzeugen, sie an der Welt testen, das Ergebnis erfassen und die nächste Handlung verändern können — ohne dass ein einzelner Mensch jedes Mal alles von Grund auf neu deuten muss. Die Aufgabe des Gründers ist nicht, das System unfähig zum Scheitern zu machen. Er muss Scheitern so günstig, sichtbar und informativ machen, dass sich das System verbessert.

Das ist derselbe Architekturwechsel, auf den ich bei KI-nativen Organisationen immer wieder zurückkomme: Der Mensch definiert das Ziel und die Grenzen der Urteilskompetenz. Das System übernimmt mehr von Ausführung, Beobachtung und Rückkopplung.

Das Scheitern sollte vor dem Experiment existieren

Das Klischee, Gründer müssten „Frieden mit dem Scheitern schließen“, behandelt einen Fehlschlag wie einen Unfall mit anschließender emotionaler Erholung. Erst zerbricht der Plan, dann übt sich der Gründer in Reife.

Ein besserer Entwurf beginnt vor dem Experiment. Er definiert:

  • welche Annahme getestet wird;
  • welche Belege sie widerlegen würden;
  • das maximal akzeptable Schadensausmaß;
  • welche Daten bei jedem Ergebnis erhalten bleiben müssen;
  • welche Entscheidung sich danach ändern wird; und
  • welche Systemänderung verhindert, dass dieselbe Lektion zweimal bezahlt wird.

Du erträgst das Scheitern nicht bloß. Du kaufst damit Information. Rational ist dieser Kauf aber nur, wenn die Information erhalten bleibt und das System verändert.

Teste zuerst die günstigste fragwürdige Annahme. Halte den möglichen Schaden kleiner als den Lerngewinn. Richte die Messung ein, bevor du das Experiment startest. Entscheide vorher, welche Belege dich zum Aufhören, Weitermachen oder Richtungswechsel bringen.

Scheitern, das du lediglich überlebst, ist Schmerz. Scheitern, das das System verändert, ist Information.

Den Weg entwerfen

Scheitern in einen Weg einzubauen bedeutet nicht, sich Fehlschläge zu wünschen, Risiken zu romantisieren oder jede Wahrscheinlichkeit in Richtung fünfzig Prozent zu zwingen. Es bedeutet, Bedingungen zu schaffen, unter denen eine falsche Überzeugung schwer aufrechtzuerhalten ist.

Wer nie scheitert, arbeitet möglicherweise zu nah am bereits Bekannten — oder erklärt jedes Ergebnis nachträglich zum Erfolg. Wer ständig scheitert, ohne zu lernen, ist schlicht unfähig. Produktive Arbeit liegt dazwischen: ungewiss genug, um etwas zu lehren; begrenzt genug, um überlebt zu werden; und messbar genug, um den nächsten Schritt anzupassen.

Die meisten Organisationen optimieren stillschweigend auf eine bereits feststehende Antwort. Tests sollen den Vorschlag bestätigen. Berichte sollen den Verantwortlichen schützen. Fehlschläge werden umbenannt, Erfolge verstärkt. Die Organisation wirkt stabil, weil die Wirklichkeit aus dem Kreislauf entfernt wurde.

Wahrheit braucht ein Vetorecht.

Scheitern in den Weg zur Wahrheit einzubauen heißt, dieses Vetorecht zu bewahren: einen Prozess zu schaffen, in dem die Wirklichkeit dem Plan widersprechen kann, bevor er zu teuer, zu politisch oder zu eng mit der eigenen Identität verflochten ist, um noch geändert zu werden.

Das Gegenteil von Wahrheitssuche ist nicht Scheitern. Es ist ein Prozess, in dem der Erfolg bereits feststeht, bevor die Wirklichkeit gefragt wird.