Prognosen mit gemessener eigener Fehlbarkeit
Ein Programm in der Konzeptphase über maschinelle Prognosen, deren erstes Messobjekt die eigene Fehlbarkeit ist: Kalibrierung ohne Selbstbewertung des Modells, Auflösbarkeit bei nicht zufällig fehlender Grundwahrheit, Mechanismen statt Ereignisse und fail-closed-Selbstverifikation — die Konstruktion bleibt vollständig zurückgehalten.
Koch Laboratory — Prognosen mit gemessener eigener Fehlbarkeit
Dieses Programm fragt, ob eine maschinell erzeugte Aussage über die Zukunft eine ehrliche, kalibrierte Wahrscheinlichkeit tragen kann — und ob ein System, das solche Aussagen produziert, selbst nachweisen kann, dass es lernt und nicht bloß immer geschickter begründet. Messobjekt erster Ordnung ist die eigene Fehlbarkeit: Jede Prognose soll maschinell auflösbar sein, jede Auflösung gezählt und das Ergebnis gegen einfache Vergleichsmaßstäbe gestellt werden, bevor irgendetwas Können genannt wird.
Methodik. Wie im übrigen Labor: Problem → Hypothese → falsifizierbares Kriterium → Methode → Ergebnis mit Randbedingungen. Der Status ist offen ausgewiesen: Die Konzeptphase ist nach externer Begutachtung des Grundlagendokuments abgeschlossen, die Implementierung nicht begonnen — unten steht kein einziges Messergebnis, sondern ausschließlich formulierte Probleme und die Kriterien, an denen sich das Programm messen lassen wird.
Publikationshinweis (IP, besonders reduzierte Fassung). Veröffentlicht werden ausschließlich Problem, Stand der Technik und Erfolgskriterium. Zurückgehalten bleiben die gesamte Lösungskonstruktion sowie Produktform, Anwendungsdomäne und die Struktur der Arbeitspakete.
1. Richtung 1 — Kalibrierung ohne Selbstbewertung des Modells
Forschungsfrage. Kann die einer Prognose zugeordnete Wahrscheinlichkeit ausschließlich aus Messung stammen — nie aus der Deklaration eines Sprachmodells — und nach rein rechnerischer Korrektur gegen gemessene Ausgänge einen Vorsprung gegenüber einfachen Vergleichsmaßstäben erreichen? Warum schwierig. Übereinstimmung mehrerer Stichproben desselben Modells ist keine Treffsicherheit: Die Stichproben teilen dieselben Vorannahmen aus dem Training und können einstimmig falsch liegen; eine rechnerische Korrektur repariert systematische Überschätzung, nicht korrelierte Blindheit. Bei wenigen Ereignissen pro Tag sind Kalibrierungsdaten zudem strukturell dünn. Stand der Technik (veröffentlicht). Proper Scoring Rules, Kalibrierungskurven, isotone Regression; die Forschung zum menschlichen Prognostizieren (u. a. Good Judgment Project). Erfolgskriterium. Ein positiver Skill Score gegen drei gleichzeitig gerechnete Vergleichsmaßstäbe (Basisrate, Persistenz, Quellenkonsens); der rohe Brier-Wert genügt nicht, da er vor allem die Leichtigkeit der gewählten Ereignisse misst. Konstruktion: vollständig zurückgehalten. Status: Entwurfsarbeiten.
2. Richtung 2 — Auflösbarkeit von Prognosen bei nicht zufällig fehlender Grundwahrheit
Forschungsfrage. Lässt sich eine Prognose bei ihrer Entstehung so festschreiben, dass ihr Ausgang später maschinell bestimmt werden kann, ohne erneutes Urteil des Modells — obwohl die Rückkehr zum Normalzustand meist keine Nachricht ist und ausbleibende Meldungen nicht ausbleibende Ereignisse bedeuten? Warum schwierig. Ein Modell, das die eigene Prognose im Nachhinein bewertet, ist wertlos — es ist im Begründen stärker als im Vorhersagen. Schlimmer: Fehlende Daten korrelieren mit der Richtung der These (negativ formulierte Thesen „treffen” scheinbar), und diesen Fehler behebt keine nachgelagerte Kalibrierung. Ein System, das seinen Auflösungstermin selbst wählt, hat zudem zwei Fluchtwege: triviale Nähe oder einen so fernen Termin, dass die Auflösung im Rauschen untergeht. Stand der Technik (veröffentlicht). Prognosemärkte und Superforecasting — mit von Menschen formulierten und aufgelösten Fragen; Prüfsammlungen für Modelle, aufgelöst gegen kuratierte Antworten. Erfolgskriterium. Ein messbarer Anteil maschinell aufgelöster Prognosen, mit offenem Ausweis nicht feststellbarer Fälle statt ihrer Zählung als Treffer; Abschätzung und Begrenzung der Verzerrung durch nicht zufälliges Fehlen. Konstruktion: vollständig zurückgehalten. Dokumentierte Korrektur: Eine frühe probabilistische Konstruktion erwies sich in externer Begutachtung als falsch und wurde neu gefasst — Fehler und Korrektur sind datiert protokolliert; die widerlegte Hypothese ist hier ein Dokument, keine Peinlichkeit. Status: Entwurfsarbeiten.
3. Richtung 3 — Mechanismen, nicht Ereignisse
Forschungsfrage. Lassen sich Zusammenhänge zwischen Typen von Ereignissen — nicht zwischen einzelnen, sich nie wiederholenden Ereignissen — so messen, dass jeder Zusammenhang eine eigene, ehrlich gezählte Fehlerrate trägt? Warum schwierig. Die Zahl möglicher Typenpaare übersteigt die verfügbaren Beobachtungen um Größenordnungen — ein üblicher Signifikanzschwellenwert erzeugt auf reinem Rauschen tausende Scheinzusammenhänge. Der ehrliche Nenner (wie oft die Wirkung beobachtbar gewesen wäre, nicht nur wie oft sie bemerkt wurde) ist schwer zu operationalisieren, und ein Zusammenhang ohne Gegenbeispiele ist per Definition verdächtig: Gemessen wurde nur dort, wo das Ergebnis schon bekannt war. Stand der Technik (veröffentlicht). Verfahren der Kausalentdeckung, Wissensgraphen, Ereignis-Kookkurrenzdatenbanken — keine führt Fehlerraten oder negative Evidenz je Zusammenhang. Erfolgskriterium. Ein Register von Zusammenhängen, in dem jeder Eintrag die Zahl der Bestätigungen und Widerlegungen trägt und verwerfbar ist; verworfene Zusammenhänge werden als Ergebnis aufbewahrt, nicht gelöscht. Konstruktion: vollständig zurückgehalten. Status: Entwurfsarbeiten.
4. Richtung 4 — Lernen oder Rationalisierung: Selbstverifikation und fail-closed
Forschungsfrage. Wie kann ein unbeaufsichtigt arbeitendes System laufend unterscheiden, ob es lernt oder nur immer geschickter begründet — wenn seine Messschleife die Übereinstimmung mit dem eigenen Korpus misst, nicht mit der Wirklichkeit? Warum schwierig. Die gefährlichste Störung ist nicht der sichtbare Fehler, sondern der stille Scheinerfolg: steigende Kennzahlen bei einem in sich stimmigen, aber von der Welt gelösten System. Der einzige bekannte Test, der Lernen von nachträglicher Begründung unterscheidet, sind Aufgaben mit bekanntem Ausgang, den das Modell nicht aus dem Training kennen kann (nach dem Wissensschnitt liegend) — und dieser Vorrat verbraucht sich mit jeder Modellaktualisierung und muss ständig erneuert werden. Stand der Technik (veröffentlicht). Die Verunreinigung durch Trainingsdaten ist ein bekanntes Problem; es existieren Prüfsammlungen mit korrektem zeitlichem Zuschnitt — sie dienen jedoch der einmaligen Bewertung von Modellen, nicht der laufenden Selbstkontrolle eines produktiven Systems. Erfolgskriterium. Das fail-closed-Prinzip im Betrieb nachgewiesen: Ein System, das sich nicht verifizieren kann, stellt die Veröffentlichung ein, statt mit Warnhinweis weiterzumachen; das Ergebnis auf den Kontrollaufgaben ist vom Zufall unterscheidbar. Offen zugelassenes negatives Ergebnis: Bleibt die Kontrolle dauerhaft vom Zufall ununterscheidbar, endet das Programm mit einem belastbaren Negativbefund — „ein Rauschgenerator mit gepflegter Oberfläche” ist auch eine Entscheidung. Konstruktion: vollständig zurückgehalten. Status: Entwurfsarbeiten.
Programmstatus: Konzeptphase abgeschlossen (Grundlagendokument nach externer Begutachtung), Implementierung nicht begonnen; nächste Etappe: eine manuelle Machbarkeitsprüfung an einer kleinen Stichprobe realer Fälle, mit offen zugelassenem negativem Ergebnis.