Методология
Каждая работа лаборатории проходит один цикл и заканчивается запиской одной формы. Источники, вероятность и уверенность оцениваются по закрепленным шкалам, поэтому слово шкалы значит одно и то же у любого аналитика.
01
Аналитический цикл
Работа начинается с запроса заказчика или с сигнала мониторинга.
- Запрос или сигналВопрос ставит заказчик или мониторинг.
- ШлюзПравовая и этическая проверкаБез допуска работа не начинается, и запрос получает отказ.
- Паспорт задачи и план сбораВопрос, срок, владелец результата и критерий завершения.
- Сбор и проверка данныхПроисхождение, дата, контекст и независимое подтверждение каждого источника. У приложенного документа CATK считает SHA-256: хеш показывает, что файл не меняли после того, как приложили.
- Анализ и альтернативные гипотезыС данными сверяются не меньше двух объяснений.
- Выводы и сценарииПроект результата с основаниями и индикаторами.
- ШлюзПроверка качества и рецензияБез независимой рецензии нет выпуска. Вывод о конкретной организации или человеке проходит еще и правовую вычитку. Замечание рецензента возвращает проект на доработку.
- Выпуск и обратная связьРезультат уходит читателю, вопросы читателя возвращаются в работу.
- Архив знаний и калибровкаИтоги, калибровка прогнозов и уроки учитываются при постановке новых задач.
02
Стандарт аналитической записки
Записка отвечает на девять вопросов в закрепленном порядке. В любой записке лаборатории вывод, факты и альтернативы стоят на одних и тех же местах.
| Блок | На какой вопрос отвечает |
|---|---|
| Ключевой вывод | Что главное и что из этого следует для читателя? |
| Факт | Что произошло и насколько это подтверждено? |
| Контекст | Почему это произошло и с чем связано? |
| Значение | Что это значит для поставленной задачи? |
| Альтернативы | Какие еще объяснения возможны? Не меньше двух. |
| Прогноз | Что, скорее всего, произойдет дальше, с какой вероятностью и на каком горизонте? |
| Индикаторы | Какие признаки подтвердят или опровергнут прогноз? |
| Действия | Что делать сейчас, чего не делать и что подготовить? |
| Источники и уверенность | На чем основан вывод и насколько аналитик в нем уверен? |
03
Оценка источников
Надежность источника и достоверность конкретного сообщения оцениваются отдельно: надежный источник может передать сомнительное сообщение, а ненадежный - верное.
| Буква | Надежность источника | Цифра | Достоверность сообщения |
|---|---|---|---|
| A | Полностью надежный | 1 | Подтверждено независимыми источниками |
| B | Обычно надежный | 2 | Вероятно достоверно |
| C | Довольно надежный | 3 | Возможно достоверно |
| D | Обычно ненадежный | 4 | Сомнительно |
| E | Ненадежный | 5 | Маловероятно |
| F | Надежность невозможно оценить | 6 | Достоверность невозможно оценить |
Отметка B2 читается так: источник «обычно надежный», сообщение «вероятно достоверно». F6 означает, что оценка невозможна, и ничего не говорит о ложности.
04
Вероятность и уверенность
За каждым словом шкалы вероятности закреплен свой диапазон, и диапазоны не пересекаются. Крайние значения не используются: они означали бы факт.
- Почти исключеноОснований почти нет, но сценарий не исключен полностью.
- МаловероятноОснования есть, но основной сценарий другой.
- ВозможноРеальный сценарий, если выполнится несколько условий.
- Примерно равновероятноНедостаточно оснований выбрать сторону.
- ВероятноПодтверждений больше, чем опровержений.
- Весьма вероятноВесомая совокупность подтверждений.
- Почти навернякаОчень высокая вероятность, но не абсолютная.
Уверенность
- ВысокаяНесколько независимых надежных источников, согласованные данные, проверенная методика.
- СредняяДанные правдоподобны, но есть пробелы, единичные источники или конкурирующие толкования.
- НизкаяФрагментарные или сомнительные данные, существенные допущения.
Вероятность и уверенность указываются раздельно, например: «вероятно, уверенность средняя». Вероятность говорит о событии, уверенность - о качестве основания для оценки.
05
Проверка качества
- Значимую работу проверяет рецензент вне команды, которая ее готовила.
- Рецензент проверяет, соответствуют ли выводы источникам и нет ли в рассуждении скачков логики.
- Выводы о конкретных организациях и лицах дополнительно проходят правовую проверку.
- Стратегические оценки, ежегодный прогноз и публичные выводы о конкретных организациях проверяет группа альтернативного анализа (red team). Она ищет другие объяснения, скрытые допущения и признаки группового мышления.
- После события разбор фиксирует, что было верно, что пропущено и какие допущения оказались ошибочными.
06
Реестр прогнозов
- Каждый прогноз записывается: дата, формулировка, вероятность по шкале, горизонт, автор и срок проверки.
- После срока проверки записывается исход, каким бы он ни был.
- Накопленные исходы показывают калибровку: насколько слова шкалы совпадают с тем, что происходит.