Prognozy z mierzoną własną omylnością
Program w fazie koncepcyjnej o prognozach maszynowych, których pierwszym mierzonym obiektem jest własna omylność: kalibracja bez samooceny modelu, rozstrzygalność przy nielosowo brakującej prawdzie, mechanizmy zamiast zdarzeń i samoweryfikacja fail-closed — konstrukcja w całości wstrzymana.
Koch Laboratory — prognozy z mierzoną własną omylnością
Ten program pyta, czy maszynowo generowana wypowiedź o przyszłości może nieść uczciwą, skalibrowaną wartość prawdopodobieństwa — i czy system, który takie wypowiedzi produkuje, potrafi sam wykazać, że się uczy, a nie tylko coraz sprawniej uzasadnia. Przedmiotem pomiaru pierwszego rzędu jest tu własna omylność: każda prognoza ma być rozstrzygalna maszynowo, każde rozstrzygnięcie zliczone, a wynik porównywany z prostymi punktami odniesienia, zanim cokolwiek zostanie nazwane umiejętnością.
Metodyka. Jak w reszcie laboratorium: problem → hipoteza → falsyfikowalne kryterium → metoda → wynik z warunkami brzegowymi. Status jest jawny: faza koncepcyjna zamknięta po zewnętrznej recenzji dokumentu wykładni, implementacja nierozpoczęta — poniżej nie ma ani jednego wyniku pomiarowego, są wyłącznie sformułowane problemy i kryteria, według których program pozwoli się rozliczyć.
Nota publikacyjna (IP, wersja szczególnie okrojona). Publikujemy wyłącznie problem, stan techniki i kryterium sukcesu. Wstrzymana pozostaje cała konstrukcja rozwiązań, a ponadto forma produktu, domena zastosowania i struktura pakietów roboczych.
1. Kierunek 1 — kalibracja bez samooceny modelu
Pytanie badawcze. Czy prawdopodobieństwo przypisane prognozie może pochodzić wyłącznie z pomiaru — nigdy z deklaracji modelu językowego — i po czysto rachunkowej korekcie względem zmierzonych wyników osiągnąć przewagę nad prostymi punktami odniesienia? Dlaczego to trudne. Zgodność wielu próbek tego samego modelu nie jest trafnością: próbki dzielą te same uprzedzenia treningowe i mogą być jednomyślnie w błędzie; korekta rachunkowa naprawia systematyczne przeszacowanie, nie skorelowaną ślepotę. Przy niewielkiej liczbie zdarzeń dziennie dane kalibracyjne są przy tym strukturalnie rzadkie. Stan techniki (publikowany). Proper scoring rules, krzywe kalibracji, regresja izotoniczna; dorobek badań nad prognozowaniem ludzkim (m.in. Good Judgment Project). Kryterium sukcesu. Dodatni skill score względem trzech równolegle liczonych punktów odniesienia (stopa bazowa, persystencja, konsensus źródeł); surowy wynik Briera nie wystarcza, bo mierzy głównie łatwość wybranych zdarzeń. Konstrukcja: wstrzymana w całości. Status: prace projektowe.
2. Kierunek 2 — rozstrzygalność prognoz przy nielosowo brakującej prawdzie
Pytanie badawcze. Czy prognozę można w chwili powstania zapisać tak, aby jej wynik dało się później ustalić maszynowo, bez ponownego sądu modelu — skoro powrót do normy zwykle nie jest newsem, a brak doniesień nie oznacza braku zdarzeń? Dlaczego to trudne. Model oceniający własną prognozę po fakcie jest bezwartościowy — jest lepszy w uzasadnianiu niż w przewidywaniu. Gorzej: brak danych jest skorelowany z kierunkiem tezy (tezy negatywne „trafiają” pozornie), a tej wady nie naprawia żadna późniejsza kalibracja. System, który sam wybiera termin rozstrzygnięcia, ma dodatkowo dwie drogi ucieczki: trywialną bliskość terminu albo termin tak odległy, że rozstrzygnięcie tonie w szumie. Stan techniki (publikowany). Rynki predykcyjne i superforecasting — z pytaniami formułowanymi i rozstrzyganymi przez ludzi; zbiory ewaluacyjne modeli rozstrzygane względem kuratorowanych odpowiedzi. Kryterium sukcesu. Mierzalny odsetek prognoz rozstrzygniętych maszynowo, z jawnym wykazywaniem przypadków nierozstrzygalnych zamiast liczenia ich jako trafień; oszacowanie i ograniczenie skrzywienia od nielosowego braku danych. Konstrukcja: wstrzymana w całości. Udokumentowana korekta: jedna z wczesnych konstrukcji probabilistycznych okazała się w zewnętrznej recenzji błędna i została przeprojektowana — zapis błędu i poprawki jest datowany; obalona hipoteza jest tu dokumentem, nie wstydem. Status: prace projektowe.
3. Kierunek 3 — mechanizmy, nie zdarzenia
Pytanie badawcze. Czy zależności między typami zdarzeń — nie między pojedynczymi zdarzeniami, które się nie powtarzają — można mierzyć tak, aby każda zależność nosiła własną, uczciwie policzoną stopę błędu? Dlaczego to trudne. Liczba możliwych par typów przewyższa dostępne obserwacje o rzędy wielkości — zwykły próg istotności wyprodukuje na czystym szumie tysiące pozornych zależności. Uczciwy mianownik (ile razy skutek mógł być zaobserwowany, nie tylko ile razy go zauważono) jest trudny do operacjonalizacji, a zależność bez kontrprzykładów jest z definicji podejrzana: mierzono tylko tam, gdzie wynik był już znany. Stan techniki (publikowany). Metody odkrywania przyczynowości, grafy wiedzy, bazy współwystępowania zdarzeń — żadna nie prowadzi stóp błędu ani ewidencji negatywnej per zależność. Kryterium sukcesu. Rejestr zależności, w którym każda pozycja nosi liczbę potwierdzeń i zaprzeczeń oraz jest odrzucalna; zależności odrzucone są zachowywane jako wynik, nie kasowane. Konstrukcja: wstrzymana w całości. Status: prace projektowe.
4. Kierunek 4 — uczenie czy racjonalizacja: samoweryfikacja i zasada fail-closed
Pytanie badawcze. Jak system pracujący bez nadzoru może na bieżąco odróżnić, że się uczy, od tego, że coraz sprawniej uzasadnia — skoro jego pętla pomiarowa mierzy zgodność z własnym korpusem, a nie z rzeczywistością? Dlaczego to trudne. Najgroźniejszą awarią nie jest błąd widoczny, lecz cichy pozorny sukces: rosnące wskaźniki przy systemie wewnętrznie spójnym, ale oderwanym od świata. Jedynym znanym testem odróżniającym uczenie od uzasadniania post hoc są zadania o znanym wyniku, którego model nie mógł znać z treningu (leżące po cięciu wiedzy) — a taki zasób zużywa się z każdą aktualizacją modelu i wymaga stałego odnawiania. Stan techniki (publikowany). Kontaminacja danych treningowych jest znanym problemem; istnieją zbiory ewaluacyjne o poprawnym cięciu czasowym — służą jednak jednorazowej ocenie modeli, nie ciągłej samokontroli działającego systemu. Kryterium sukcesu. Zasada fail-closed wykazana w działaniu: system, który nie może się zweryfikować, wstrzymuje publikację, zamiast publikować z ostrzeżeniem; wynik na zadaniach kontrolnych odróżnialny od przypadku. Jawnie dopuszczony wynik negatywny: jeśli kontrola trwale nie odróżnia systemu od losowania, program kończy się rzetelnym negatywem — „generator szumu z zadbaną powierzchnią” to też rozstrzygnięcie. Konstrukcja: wstrzymana w całości. Status: prace projektowe.
Status programu: faza koncepcyjna zamknięta (dokument wykładni po recenzji zewnętrznej), implementacja nierozpoczęta; najbliższy krok: ręczna próba wykonalności na małej próbie rzeczywistych przypadków, z jawnie dopuszczonym wynikiem negatywnym.