labРеестр прогнозов. Как прогноз проверяется исходом
Прогноз лаборатории записывается до того, как наступит срок, а после срока записывается исход, каким бы он ни был. Из накопленных исходов видно, насколько слова шкалы совпадают с тем, что происходит.
Прогноз проверяется тем, что произошло потом. Поэтому каждый прогноз лаборатории попадает в реестр до того, как наступит его срок: так требует методология лаборатории.
Что записывается
- Дата. Когда прогноз сделан.
- Формулировка. Что именно произойдет или не произойдет.
- Вероятность по шкале. Одно из семи слов вероятности.
- Горизонт. Ближний, стратегический или дальний.
- Автор. Кто сделал прогноз и отвечает за него.
- Срок проверки. Дата, после которой исход известен.
- Исход. Записывается после срока: сбылось или не сбылось.
Проверяемая формулировка
Главная трудность реестра - формулировка. «Ситуация в отрасли обострится» проверить нельзя: после срока любой исход можно истолковать в пользу прогноза. Проверяемая формулировка называет событие, его участника и дату: «до 31 декабря такого-то года регулятор примет такое-то решение».
Если прогноз не получается записать так, его не записывают как прогноз. Он остается рассуждением в блоке «Значение» записки.
Исход записывается любым
Память удерживает попадания и забывает промахи. Реестр, в который исход вносится выборочно, дает ту же картину, что и память, только на бумаге. Поэтому после срока исход записывается всегда, и несбывшийся прогноз остается в реестре наравне со сбывшимся.
Спорный исход разбирает рецензент вне команды, и его решение тоже записывается.
Калибровка
Когда исходов накопится достаточно, по каждому слову шкалы будет видно, какая доля прогнозов с этим словом сбылась. Если доля ниже диапазона слова, аналитики переоценивают свои основания. Если выше, они недооценивают их. Такая сверка называется калибровкой.
Мерить точность вероятностных прогнозов умеют давно. Метеорологи пользуются мерой Гленна Брайера с 1950 года. Филип Тетлок в книге «Экспертное политическое суждение» (Expert Political Judgment, 2005) и проект Good Judgment, который он вел вместе с Барбарой Меллерс, показали, что точность прогнозов о политике тоже измеряется и растет, когда прогнозист видит исходы своих прогнозов. Проект победил в турнире прогнозистов, который исследовательское агентство американской разведки IARPA проводило с 2011 по 2015 год.
На малом числе прогнозов калибровка ничего не говорит. Пока исходов мало, лаборатория так и пишет и выводов о калибровке не делает.
Разбор после события
Реестр отвечает на вопрос «сбылось ли». Разбор после события отвечает на вопрос «почему». В нем записано, что в прогнозе было верным, что было пропущено и какие допущения оказались ошибочными. Выводы разбора возвращаются в постановку новых задач: это последний шаг аналитического цикла, «Архив знаний и калибровка».