Круизное судно должно пройти под линией электропередачи. Линию отключают. Через полчаса гаснет свет у миллионов людей в нескольких странах. Между этими событиями — цепочка решений, каждое из которых по отдельности выглядело разумным.
На верфи Meyer Werft в Папенбурге строили большие корабли. Это само по себе создавало инженерный парадокс: верфь стоит в глубине суши, на реке Эмс, в десятках километров от открытого моря. Каждый новый лайнер нужно было провести по узкому извилистому руслу к Северному морю — операция штучная, требующая координации с десятком служб. Русло углубляли, мосты разводили, а высоковольтные линии, провисавшие над водой, приходилось обесточивать, потому что надстройки океанских судов не оставляли зазора.
Norwegian Pearl — круизный лайнер водоизмещением около 93 тысяч тонн — был готов к выходу осенью 2006 года. Проводка по Эмсу была запланирована на вечер 4 ноября, и оператор высоковольтной сети E.ON Netz заблаговременно подготовил отключение двух цепей линии 380 кВ Conneforde—Diele, пересекавшей реку. Процедура рутинная: верфь регулярно спускала суда, линию регулярно отключали. Ничего экстраординарного в самом факте отключения не было — суда проходили под этими проводами и раньше. Но в тот вечер рутина столкнулась с арифметикой, которую никто не проверил до конца.
В объединённой энергосистеме континентальной Европы — тогда она называлась UCTE — действовал базовый принцип надёжности: критерий N-1. Суть его проста, почти бытова: система должна выдерживать потерю любого одного элемента без перегрузки остальных. Если отключается линия, трансформатор или генератор, оставшаяся сеть обязана принять на себя перераспределившиеся потоки мощности и продолжить работу. Это страховка, зашитая в правила. Не рекомендация — требование.
E.ON Netz отключил линию Conneforde—Diele по графику. Но расчёт того, как изменятся потоки мощности в оставшейся сети после отключения, по данным расследования, проведён не был — во всяком случае, не в том объёме, который требовался. Электричество течёт по пути наименьшего сопротивления, и когда один путь перекрыт, поток перенаправляется на соседние линии. Это физика, она не ждёт согласований. Мощность, которая шла через Conneforde—Diele, хлынула на параллельные маршруты, и одна из них — линия Landesbergen—Wehrendorf — начала принимать на себя больше, чем была рассчитана нести в нормальном режиме.
Ток в этой линии перевалил за 1800 ампер. Для линии 380 кВ это зона перегрузки — не мгновенного разрушения, но опасного нагрева проводов. Провода нагреваются, удлиняются, провисают; если провис достаточен, возможно перекрытие на землю или на деревья. Оператор видел проблему. И принял решение, которое казалось логичным.
В 22:10:11 по центральноевропейскому времени диспетчеры E.ON Netz попытались перераспределить нагрузку, замкнув шинную перемычку на подстанции Landesbergen. Идея была в том, чтобы открыть для тока дополнительный путь и разгрузить перегретую линию Landesbergen—Wehrendorf. Это стандартная коммутационная операция — примерно как открыть дополнительный кран, чтобы снизить давление в трубе. Только в электрической сети последствия наступают со скоростью света.
Замыкание шин не разгрузило линию — расчёт обманул ожидания: ток в ней вырос, и через две секунды защита на подстанции Wehrendorf отключила её. Меня поражает скорость, с которой дальше развернулись события. Отключение одного элемента перебросило его нагрузку на следующие линии, те тоже оказались перегружены, их защита тоже сработала — и пошла цепная реакция. Каждое отключение усугубляло перегрузку оставшихся элементов. Автоматика делала именно то, для чего была спроектирована: защищала оборудование от повреждения. Но совокупный эффект был разрушительным — защита каждого отдельного элемента уничтожала целостность системы.
За считаные секунды синхронная энергосистема континентальной Европы раскололась на три изолированные зоны. Единый электрический организм, связывавший страны от Португалии до Польши, от Дании до Греции, распался на фрагменты, каждый из которых оказался в состоянии дисбаланса между производством и потреблением электроэнергии.
Когда единая сеть разделилась, в каждой зоне установился свой баланс — точнее, свой дисбаланс. Частота переменного тока в энергосистеме — прямой индикатор равновесия: если потребление превышает генерацию, частота падает; если генерация больше потребления, частота растёт. В нормальном режиме вся система UCTE работала на 50 Гц с допустимым отклонением в доли герца. После разделения отклонения стали измеряться целыми герцами, и это уже территория аварии.
Западная зона — Франция, Бельгия, Нидерланды, часть Германии, Испания, Португалия, Италия — оказалась в дефиците генерации. Частота упала до 49 Гц. Один герц ниже нормы — это звучит незначительно, но для энергосистемы это как падение давления крови у человека: ещё немного, и органы начинают отказывать. Сработала автоматика частотной разгрузки — система начала принудительно отключать потребителей, чтобы снизить нагрузку и остановить падение частоты. Люди в домах увидели, как погас свет. Лифты остановились. Светофоры отключились.
Северо-восточная зона столкнулась с обратной проблемой: избыток генерации. Электростанции продолжали работать, а потребителей стало меньше — часть из них осталась в западной зоне. Частота взлетела до 51,4 Гц. Это опасно для генераторов: турбины начинают разгоняться, и если частоту не сбить, оборудование может быть повреждено. Операторам пришлось экстренно снижать выработку, отключая генераторы.
В юго-восточной зоне не хватало около 800 МВт — частота просела лишь до 49,7 Гц. Три зоны, три разных кризиса, одна причина — и у каждой зоны свои часы, которые тикали с разной скоростью.
Операторы систем передачи — TSO — в разных странах оказались перед задачей, которую нельзя было решать последовательно: нужно было одновременно стабилизировать частоту в каждой зоне и подготовить условия для их повторного соединения. Синхронизация — процесс деликатный: нельзя просто замкнуть выключатель между двумя частями сети, если в них разная частота и разный фазовый угол. Это примерно как попытаться сцепить два поезда, идущих с разной скоростью, — результатом будет удар, а не соединение.
Ресинхронизация началась после того, как частоту в каждой зоне удалось стабилизировать в допустимых пределах. Первую успешную линию положили между западной и северо-восточной зонами в 22:47, юго-восточную присоединили спустя две минуты — через тридцать девять минут после разделения сеть снова была целой. Полное восстановление нормального режима заняло почти два часа: к полуночи система вернулась в штатное состояние. Если учесть масштаб произошедшего — распад крупнейшей синхронной энергосистемы мира — скорость восстановления впечатляет. Операторы знали свои аварийные протоколы, и протоколы сработали. Проблема была не в реакции на аварию, а в том, что аварию допустили.
Перебои затронули, по распространённым оценкам, около 15 миллионов домохозяйств в ряде стран Западной и Центральной Европы. Для большинства из них отключение длилось от нескольких минут до получаса — неприятно, но не катастрофично. Однако само по себе число даёт представление о масштабе: пятнадцать миллионов домохозяйств — это население нескольких европейских государств.
Расследование, проведённое UCTE, установило несколько ключевых причин, и ни одна из них не была технической неисправностью в привычном смысле. Оборудование работало исправно. Защитная автоматика сработала корректно — каждый отдельный релейный комплект выполнил свою функцию. Проблема была организационной и информационной.
Первое: нарушение критерия N-1. После отключения линии Conneforde—Diele система утратила запас прочности, и это не было выявлено, потому что соответствующие расчёты либо не были проведены, либо были проведены с неполными данными. Второе: недостаточная координация между операторами. Энергосистема UCTE объединяла десятки TSO из разных стран, каждый из которых управлял своим участком сети. Информация о плановом отключении и его последствиях для соседних зон передавалась, но, по заключению расследования, обмен данными был неполным и несвоевременным. Операторы соседних систем не имели полной картины того, что происходило в зоне ответственности E.ON Netz.
Третье — и, пожалуй, самое тонкое: настройки защитной автоматики в разных частях сети не были согласованы друг с другом как единое целое. Каждый оператор настраивал защиту своего оборудования, исходя из локальных условий. Но когда аварийный процесс пересёк границы зон ответственности, локальные настройки вступили в конфликт с глобальной задачей — удержать систему вместе. Защита, спроектированная для спасения отдельных элементов, стала механизмом разрушения целого. Меня не покидает ощущение, что это одна из тех ситуаций, где каждый участник действовал рационально, а результат оказался иррациональным.
Norwegian Pearl благополучно прошла по Эмсу и вышла в Северное море. Лайнер был передан заказчику — компании Norwegian Cruise Line — и отправился в свой первый рейс. Судно не виновато. Верфь не виновата. Даже решение отключить линию ради проводки корабля — рутинная операция, которая проводилась десятки раз.
Мне нравится эта деталь — контраст между праздничным выходом нового круизного лайнера и тем, что происходило в это время в электрических сетях континента. Пассажиры будущих круизов, вероятно, никогда не узнали, что их судно косвенно причастно к одному из крупнейших сбоев европейской энергосистемы. Но причастность эта — из разряда бабочки, взмахнувшей крыльями: лайнер был поводом, а не причиной. Причиной было то, что система, рассчитанная на отказ любого одного элемента, столкнулась с ситуацией, когда этот принцип не был соблюдён — и никто из ответственных не заметил этого вовремя.
После инцидента UCTE ужесточила требования к координации между операторами, к обязательному проведению расчётов N-1 перед любыми плановыми отключениями и к обмену данными в реальном времени. Были пересмотрены стандарты настройки защитной автоматики. Грубо говоря, систему не перестроили — её научили лучше разговаривать внутри себя. Но сам факт того, что крупнейшая синхронная зона мира раскололась из-за проводки корабля по реке, остаётся напоминанием: чем теснее связаны элементы инфраструктуры, тем дальше и быстрее распространяются последствия локальной ошибки — и тем важнее, чтобы те, кто управляет разными частями системы, видели одну и ту же картину в одно и то же время. Тремя годами позже, в июле 2009-го, UCTE вместе с соседними региональными объединениями передала свои задачи ENTSO-E — общий операторский контур уже для всей европейской синхронной зоны.