Началось с анекдота. В свежей ленте технических новостей попался разбор: человек, полтора десятилетия работавший с разведывательными аналитиками, взял методологию Кубинского кризиса — сценарии, индикаторы, пересмотр вероятностей — и применил её к сезону футбольной команды Иллинойса. Модель после поражения стала пессимистичнее насчёт плей-офф и оптимистичнее насчёт линии нападения, то есть выдала противоречие, которое метод как раз и должен был вытащить наружу.
Комментаторы отреагировали предсказуемо: покажите, что это методика, а не галлюцинации языковой модели, наряженные в терминологию. И вот тут мне стало интересно не то, прав ли автор, а другое: почему вообще фраза «по оценке разведки, вероятно» должна что-то доказывать? Откуда взялась уверенность, что за такими словами стоит измеримая величина?
Дальше след увёл в 1964 год, в эссе Шермана Кента «Words of Estimative Probability», рассекреченное и выложенное на сайте ЦРУ. Читал я его в настроении «сейчас будет сухой методический текст с табличкой», а получил сорок страниц про то, как ведомство двадцать лет не может договориться о значении слова «возможно», и про то, что психика аналитика этому сопротивляется по причинам вполне корыстным.
В марте 1951 года вышел очередной National Intelligence Estimate — сводный документ разведсообщества США — под названием «Вероятность вторжения в Югославию в 1951 году». Ключевое суждение в нём звучало так: нападение «следует считать серьёзной возможностью». Через несколько дней Кент разговорился с председателем отдела планирования политики Госдепартамента, и тот спросил напрямую: какие шансы вы имели в виду под «серьёзной возможностью»? Кент ответил, что лично он ставил примерно 65 к 35 в пользу нападения. Собеседник был озадачен: он и его коллеги прочитали формулировку как заметно меньшую вероятность.
Терзаемый дурным предчувствием, Кент пошёл по своим коллегам из Совета национальных оценок и спросил, какие числа они держали в голове, соглашаясь на эту формулировку. Разброс оказался от 20 до 80 процентов. Один и тот же текст, подписанный одной группой людей, означал для них самих вещи, отличающиеся вчетверо. Кента потрясло не столько то, что они не объяснились с читателем, сколько то, что они не объяснились друг с другом.
Из этого эпизода и родилось его предложение. Сначала он построил шкалу на одиннадцать градаций, присвоив каждой словесной формулировке свои шансы, а потом сам же признал затею глупостью: различия между соседними ступенями были резче, чем позволяли данные, а словесный эквивалент всё равно не передал бы точность. Во второй попытке ступеней осталось пять. Стопроцентная уверенность, «почти наверняка» — 93 процента плюс-минус шесть, «вероятно» — 75 плюс-минус двенадцать, «шансы примерно равны» — 50 плюс-минус десять, «вероятно, нет» — 30, «почти наверняка нет» — семь, и невозможность. Ключевая мысль, которую Кент вбивал отдельно: слово «unlikely» должно означать шансы примерно три к одному против, то есть вероятность события около четверти, а не «маловероятно» в бытовом смысле.
Правило про «возможно» вообще стало для Кента отдельной кардинальной ошибкой. Он видел её в том, что к слову, стоящему в самом низу вероятностей, приставили усиливающее прилагательное и этим вытолкнули его наверх. Слово «возможно» и его родственники не подлежат модификации — никаких «вполне возможно», «едва возможно», «серьёзная возможность». У него должна быть ровно одна работа: обозначать то, для чего численной оценки дать нельзя.
Кент разделил коллег на две партии и не скрывал, что первую презирает. «Поэты» считали, что в спекулятивных материях язык в принципе способен передать только самый общий смысл, а если сообщение дошло искажённым, что ж — такова жизнь. «Математики», к которым Кент причислял себя, требовали чисел. Поэты возражали не глупо: читателей-поэтов не меньше, чем пишущих, и на аккуратную численную формулировку они не отреагируют, тогда как живая расплывчатая фраза дойдёт куда лучше.
Дальше начинается та часть эссе, из-за которой я вообще сел это писать. Кент перечисляет выражения, которыми аналитики подменяют оценку: «по-видимому», «как представляется», «якобы», «наводит на мысль», «указывает на». И даёт их назначению формулировку, которую я приведу дословно, потому что пересказ её ослабляет: «то, что мы сознательно или подсознательно ищем, — это выражение, которое передаёт определённый смысл и в то же время либо полностью снимает с нас ответственность, либо отодвигает оценку на достаточное расстояние, чтобы мы не оказались в неё впутаны».
Дальше он описывает механику давления сверху. Заказчика не устраивает ответ «оценить невозможно», и его вынуждают всё равно выдать число, потому что «вы же эксперты» и «иначе я пойду к тем, кто знает меньше вас, но не отказывается». Обходные пути ведомство изобрело: называть документ «разведывательными допущениями для планирования», публиковать диапазоны вместо точек, а таблицы с расчётными допущениями печатать красным с предупреждением, что без сопроводительного текста их нельзя использовать ни для чего.
История, впрочем, закончилась тем, чем и должна была. Несколько человек повесили копию шкалы на стену в кабинете, кто-то предлагал печатать её на внутренней обложке каждого документа как глоссарий, кто-то использовал как слайд на лекциях. Идею не приняли. Кент с горечью пишет: «с высоты почти четырнадцатилетнего опыта трудности представляются практически непреодолимыми».
В 1990-х и. о. директора ЦРУ Джон Маклафлин попробовал продвинуть числовые оценки — они тоже «не пошли». Старший офицер ЦРУ в разговоре с журналистом объяснил причину: аналитики «предпочитают слова числам, когда речь о том, насколько мы уверены», а потребители разведки «любят слова и картинки».
Кента до конца дней раздражала вторая часть этого объяснения. Не то, что аналитик уклоняется, а то, что это сходит с рук.
Прошло шестьдесят лет, шкалу всё-таки приняли — точнее, приняли три разные. И если поставить их рядом, становится видно, что договорённость так и не достигнута, просто теперь у каждого ведомства своя.
Американская директива ICD 203 предписывает семь терминов: «почти нет шансов» — от одного до пяти процентов, «очень маловероятно» — пять-двадцать, «маловероятно» — двадцать-сорок пять, «примерно равные шансы» — сорок пять-пятьдесят пять, «вероятно» — пятьдесят пять-восемьдесят, «очень вероятно» — восемьдесят-девяносто пять, «почти наверняка» — девяносто пять-девяносто девять. Полосы не пересекаются, и это осознанное решение. Но крайние точки оси — от нуля до процента и от девяноста девяти до ста — не покрыты ни одним термином: у разведки, по её же стандарту, нет слов для абсолютной уверенности и абсолютной невозможности.
Британская линейка, которую в марте 2025 года обновил профессиональный руководитель оценки (Probability Yardstick), устроена иначе. Там тоже семь полос, но между ними оставлены зазоры: «отдалённый шанс» — до пяти процентов, «крайне маловероятно» — десять-двадцать, «маловероятно» — двадцать пять-тридцать пять, «реалистичная возможность» — сорок-менее пятидесяти, «вероятно» — пятьдесят пять-семьдесят пять, «очень вероятно» — восемьдесят-девяносто, «почти наверняка» — девяносто пять и выше.
Документ утверждает, что линейка «делит шкалу вероятности на семь диапазонов». Если событие оценивается в семь процентов, в двадцать два или в тридцать семь, ни один термин ему не соответствует, и что делать аналитику, в документе не сказано. Это, пожалуй, самая честная деталь всей британской бумаги: шкала признаёт, что между «крайне маловероятно» и «маловероятно» лежит полоса, для которой у языка просто нет слова.
Мотив, впрочем, прописан прямо: термины используются вместо чисел вроде «55%», чтобы читатель не принял суждение за излишне точное, поскольку большинство разведоценок не основано на количественных данных. И вторая, менее рекламируемая функция: жёсткий набор слов заставляет самих аналитиков формулировать суждение, а не писать «если X произойдёт, то Y может случиться».
Третья шкала — климатическая, от Межправительственной группы экспертов по изменению климата. Здесь устроено ещё иначе: «практически наверняка» — 99–100 процентов, «очень вероятно» — 90–100, «вероятно» — 66–100. Полосы заякорены на край шкалы и потому пересекаются, и авторы сами пишут про «размытые границы».
Из этого сразу вырастает практический вопрос, который добросовестные читатели задают уже полтора десятилетия: «вероятно» — это от 66 до 90 или от 66 до 100? Формально второе. Интуитивно первое.
Логичный ход — приставить к слову число. Не заменять, а продублировать: «очень маловероятно (пять-двадцать процентов)». Казалось бы, что тут можно испортить.
В 2019 году группа исследователей проверила четыре способа подачи на 924 участниках и сравнила, насколько понятое совпадает с задуманным. Диапазон в скобках прямо в тексте дал совпадение 66 процентов. Отдельная таблица со всеми терминами, открывающаяся по ссылке — 39. Всплывающая подсказка при наведении курсора — 40. Контрольная группа без всяких ориентиров — 32.
Значимо улучшил ситуацию только формат с числом в скобках, и вероятность попадания наилучшей оценки читателя внутрь официальной полосы поднялась с 59 до 82 процентов. Попутно выяснилось, что по ссылке на таблицу люди переходят примерно в одном случае из восьми.
Дальше начинается самое неприятное для идеи стандартизации. В том же исследовании отдельно спросили 809 человек, какие числа они сами вкладывают в семь официальных терминов — без всякого контекста. Совпадение оказалось приемлемым только для «примерно равных шансов». Хуже всего обстояло дело со словами «маловероятно» и «вероятно».
И обнаружилась асимметрия, о которой в методичках не пишут: разброс оценок для терминов с отрицанием заметно шире, чем для терминов без него. Стандартное отклонение для «очень маловероятно» — 21,1, для «маловероятно» — 20,7, а для «вероятно» — 13,0 и «очень вероятно» — 12,9. Слово, построенное через отрицание, понимают хуже, чем слово, построенное через утверждение. Вероятно, потому что человеку приходится сначала представить событие, а потом мысленно его снять.
Самый радикальный результат принадлежит другой группе, опубликовавшей в 2021 году эксперимент на 1202 участниках. Числовой формат и формат «слово плюс диапазон» превзошли чисто словесный и вдобавок лучше различали низкую вероятность от высокой. Комбинированный формат при этом не дал никакого преимущества над чисто числовым.
Вывод авторов звучит приговором всей затее: численно ограниченные словесные схемы вероятности — неэффективное средство передавать информацию о вероятности другим людям. И это прямо противоречит позиции предыдущей исследовательской группы, которая именно комбинированный формат рекомендовала как решение. Две уважаемые команды, двадцать лет работы, взаимно исключающие выводы.
Отдельное наблюдение, которое мне нравится больше любых средних. В словесном условии у участников резко выросла доля ответов ровно «50 процентов». Причём медианы для «маловероятно» и «вероятно» практически слиплись около этой отметки. Пятидесятипроцентный ответ — не оценка вероятности, а способ сказать «не знаю». Явление даже получило имя — «fifty-fifty blip», — и означает оно простую вещь: человек, которому дали шкалу из семи слов, в затруднении выбирает то, что стоит ровно посередине, и его ответ съезжает в неопределённость, которую он как раз пытался разрешить.
Отчёты той же климатической группы публикуются на шести языках. До 2013 года никто системно не проверял, одинаково ли читаются термины в разных переводах, и когда проверили, результат оказался грубее, чем ожидалось.
Сравнили британских и китайских читателей — сначала первокурсников, потом случайных прохожих в Лондоне и Цзинани. Китайские интерпретации оказались сдвинуты к середине шкалы заметно сильнее британских: среднее отклонение от пятидесяти процентов составило 19,6 пункта против 31,9. Китайские участники хуже различали термины между собой и давали больший разброс. Термины на верхнем конце шкалы у них сильно просели: «практически наверняка» — медиана 86,5 процента, «очень вероятно» — 70, «вероятно» — ровно 50. То есть высокая вероятность в китайском чтении означала то же самое, что «примерно равные шансы».
Но самое интересное в этом сравнении — то, что расхождение частично объяснилось ошибкой перевода. Английское «unlikely» в официальном китайском издании отчёта было передано словом, буквально означающим «невозможно». Пятьдесят один процент китайских участников прочитали этот термин как ноль процентов. Не как низкую вероятность — как отсутствие вероятности.
Попутно вылезла деталь, которая ставит под вопрос саму идею аккуратного словаря. В английском наборе терминов для описания вероятностей гораздо больше, чем в китайском, и, по данным более раннего исследования, китайское «кэнэн» — обычное слово со значением «вероятно» — покрывает диапазон от 20 до 95 процентов. Такому слову бессмысленно приписывать узкую полосу: оно просто шире, чем вся предложенная шкала. Число этой проблемы не имеет — 70 процентов остаются 70 процентами на любом языке, и именно поэтому авторы работы заканчивают почти политическим требованием: если терминам всё равно положены числовые диапазоны, почему бы не указывать диапазоны всегда.
Есть и другой слой, который числа не передают вовсе. Психологи называют его направленностью: часть словесных выражений указывает на наступление события («возможно», «вероятно»), часть — на его ненаступление («сомнительно», «не вполне ясно»). Число «семьдесят процентов» этой направленности лишено: оно одинаково сообщает и про семьдесят за, и про тридцать против.
А ещё слова несут след отношения говорящего. «Внутренняя» уверенность — «я на 70 процентов уверен» — и «внешняя» — «это на 60 процентов достоверно» — стабильно разводятся по числам применительно к одному и тому же событию, причём внутренняя всегда выше. Формулировка не украшение поверх оценки, она часть оценки.
Если бы проблема ограничивалась путаницей внутри разведсообщества, история была бы местечковой. Но ровно та же арифметика разворачивается в трёх областях, где ставки измеримы деньгами и жизнью.
Прогноз дождя — самый массовый в мире опыт чтения вероятности, и он же самый провальный. Вероятность осадков определяется как шанс, что в отдельно взятой точке выпадет больше четверти миллиметра осадков, усреднённый по площади прогноза. На практике это уверенность синоптика, умноженная на долю площади. Три самых распространённых ошибочных трактовки: что намокнет такая-то доля района, что дождь будет идти такую-то долю времени и что синоптик настолько уверен в дожде. Неверные определения дают от 35 до 74 процентов опрошенных, причём в верхней части этого диапазона попадаются метеорологи. Канадская служба вообще не публикует вероятность ровно 50 процентов, считая её слишком неуверенной.
При этом профессиональные прогнозисты смещают шкалу сознательно — явление называют «wet bias», сдвиг в сторону сырости. По данным проекта, собирающего прогнозы с 2002 года, национальная служба США работает без смещения, а коммерческие каналы завышают. Когда один популярный канал говорил «20 процентов», дождь исторически шёл в пяти процентах случаев. Локальные телестанции завышают по всей шкале и нередко выдают 100 процентов там, где дождь случается в семидесяти. Обратный край того же сдвига: вероятность 90 и выше округлялась до ста.
А при прогнозе «ноль процентов» осадки всё равно выпадали примерно в одном случае из десяти. Формально это ложь в прогнозе, но мотивированная: завышенный шанс дождя побуждает взять зонт, а взятый зонт приятнее, чем невзятый в дождь.
В медицине сдвиг организован иначе — через юридическую ответственность. Ранжирование слов у врачей и пациентов согласовано, а абсолютные числа расходятся: сводка трёх независимых исследований даёт для «вероятно» средние 70, 75 и 77 процентов, для «возможно» — 25, 20 и 47, для «маловероятно» — 13, 11 и 20. Исследователь, составлявшая сводку, обратила внимание, что согласие в медицине выше, чем в метеорологии, и предположила причину вполне земную: закон требует раскрывать пациенту информацию о рисках независимо от того, спрашивал он о них или нет.
В финансах всё повторяется с третьей попытки. В опросе 1988 года финансовым советникам и клиентам предложили оценить набор вероятностных фраз числами: ранжирование у обеих сторон совпало, а вот абсолютные значения разошлись так, что фраза «вероятно, ставки вырастут» в сознании двух третей клиентов означала диапазон от 37 до 95 процентов. Даже «крайне маловероятно» — одно из слов с наименьшим разбросом — две трети клиентов разместили между нулём и 28 процентами. Вывод авторов того исследования был прямым: советникам следует сопротивляться желанию использовать неточные вероятностные слова.
Осталось объяснить, почему всё это вообще важно за пределами лабораторий. Здесь придётся вернуться к разведке, потому что там цена словесной небрежности выставляется списком погибших. Правда, сразу оговорюсь: я не собираюсь доказывать, что войну в Ираке развязало неудачное словосочетание. Шкала не работает как причина, она работает как усилитель, и в связке с политической волей этого достаточно, чтобы максимум превратился в типичное значение.
Осенью 2002 года в британском досье по Ираку появилось утверждение о сорока пяти минутах. Проследим его путь. Двадцать девятого августа MI6 получает разведсообщение, пришедшее, по выводам комиссии Батлера, из третьих рук: через основной надёжный источник и второе звено цепочки, первоначально от иракского военного источника, причём среднее звено впоследствии было признано ненадёжным.
В первом проекте оценки Объединённого разведывательного комитета от пятого сентября сказано, что химические и биологические боеприпасы «могли бы находиться в войсках и быть готовыми к применению в течение 45 минут». На следующий день профильное подразделение уточняет: разведданные говорят о максимальном времени 45 минут, среднее — 20. В новой редакции девятого сентября появляется «в течение 20–45 минут». А в проекте досье, датируемом десятым-одиннадцатым сентября, максимум исчезает и остаётся только «может развернуть такое оружие в течение 45 минут после приказа».
Максимум превратился в типичное значение. Дальше подключаются люди. Семнадцатого сентября сотрудник разведывательного управления пишет в комитет, что формулировка «довольно крепкая, поскольку основана на единственном источнике», и предлагает оговорить, что это данные разведки. В тот же день руководитель медиа-службы Даунинг-стрит сообщает председателю комитета, что глагол «может» в основном тексте слабее, чем в резюме. Восемнадцатого сентября председатель отвечает: язык в основном тексте «подтянут». Двадцать четвёртого досье выходит.
В предисловии премьер-министра сказано, что военное планирование позволяет «части оружия массового поражения быть готовыми в течение 45 минут после приказа». Дальше работает уже не ведомство, а редакции. Двадцать пятого сентября Evening Standard выходит с заголовком «45 минут до атаки», The Sun — «Британцы в 45 минутах от гибели», The Star — «Сумасшедший Саддам готов напасть: 45 минут до химической войны». За девять месяцев между публикацией досье и первыми журналистскими разоблачениями это утверждение прозвучало в Палате общин один раз вскользь и дважды среди более чем тридцати восьми тысяч письменных вопросов.
В феврале 2004 года премьер заявил в парламенте, что не знал до войны: речь шла только о боеприпасах поля боя, а не о ракетных боеголовках. Министр обороны сказал, что выяснил это различие, когда спросил своих подчинённых из любопытства.
Он же объяснил комиссии, почему не стал поправлять газеты: трудно заставить прессу печатать опровержения. Двенадцатого октября 2004 года глава MI6 отозвал утверждение официально.
Отдельная линия — словосочетание «slam dunk», «бесспорное дело». Его произнёс директор ЦРУ на совещании в Белом доме в 2002 году, отвечая на вопрос, лучшие ли это данные по иракскому оружию. Фраза утекла в книгу Боба Вудворда и стала доказательством того, что разведка была уверена. Только в 2007 году, в интервью, директор впервые объяснил, что имел в виду: он говорил о том, что можно собрать более убедительное дело для публичной подачи, а не об оценке разведанных. К этому моменту его словосочетание уже пять лет служило политическим аргументом, и он называл утечку «самой гнусной вещью», которая с ним случалась.
А теперь стоит сопоставить два числа. По разбору ключевых суждений ста двадцати сводных разведдокументов за пятьдесят восемь лет самым частым оценочным словом оказалось не «вероятно» и не «возможно», а «will» — «будет». Семьсот семнадцать употреблений, с огромным отрывом, причём распределение по десятилетиям стабильно.
Директор ЦРУ в 2008 году сформулировал это так: «всё, что выше семи, — не по нашей шкале. Если мы на восьми, девяти или десяти, значит, нам не задают вопросов, на которые можно ответить с такой уверенностью». Слово с абсолютным значением — самое популярное в документах, чей автор по определению никогда не может быть уверен до конца.
И тут мы возвращаемся к Кенту, который описал это за сорок четыре года до того разбора: ведомство ищет формулировку, которая что-то значит и в то же время снимает ответственность. Слово «будет» в этом качестве работает идеально. Оно не оставляет читателю шанса понять, что оценка вероятностная, — значит, у аналитика потом не спросят, почему не сбылось.
Правда, у этой истории есть деталь, которая мне мешает поставить точку. Тот самый разбор частотности делала студентка магистратуры, а не группа методологов, и считала она слова в ключевых суждениях, а не смысл этих слов в контексте. Так что «717 раз будет» — это факт про язык документов, а не приговор мышлению ведомства. Чем именно аналитик подкреплял своё «будет» в каждом конкретном случае, по такой методике не видно. Не знаю, что с этой поправкой делать: она не отменяет иронии, но и не даёт её дожать до конца.