Введение

Системный риск отказа

Каскадный отказ — это отказ в системе взаимосвязанных элементов, при котором отказ одного или нескольких элементов приводит к отказу других, прогрессивно нарастающему в результате положительной обратной связи. Это может произойти, когда один элемент выходит из строя, увеличивая вероятность отказа других частей системы. Подобный отказ может произойти во многих типах систем, включая системы передачи электроэнергии, компьютерные сети, финансовые системы, транспортные системы, организмы, человеческий организм и экосистемы. Каскадные отказы могут возникать при выходе из строя одного элемента системы. В этом случае другие элементы должны компенсировать отказ данного компонента. Это, в свою очередь, перегружает эти элементы, вызывая их отказ, что приводит к последовательному отказу других элементов.

В передаче мощности

Каскадный сбой – распространенное явление в электросетях, когда один из элементов выходит из строя (полностью или частично) и переносит свою нагрузку на соседние элементы системы. Эти соседние элементы затем оказываются перегруженными и, в свою очередь, перебрасывают свою нагрузку на другие элементы. Каскадный сбой – типичный эффект, наблюдаемый в системах высокого напряжения, где единая точка отказа (SPF) в полностью или незначительно перегруженной системе приводит к резкому скачку напряжения во всех узлах системы. Этот скачок тока может привести к выходу из строя уже перегруженных узлов, вызывая дополнительные перегрузки и, тем самым, выводя из строя всю систему за очень короткое время. Этот процесс распространения сбоя проходит по элементам системы подобно кругам на воде и продолжается до тех пор, пока не будет нарушена работа значительной части элементов системы и/или система не будет функционально отключена от источника нагрузки. Например, при определенных условиях крупная электросеть может обрушиться после отказа всего одного трансформатора. Мониторинг работы системы в реальном времени и своевременное отключение отдельных участков могут помочь остановить каскадный сбой. Другой распространенный метод – расчет запаса прочности системы путем компьютерного моделирования возможных сбоев, определение безопасных уровней эксплуатации, при которых ни один из смоделированных сценариев не приведет к каскадному сбою, и выявление наиболее уязвимых участков сети, способных вызвать каскадный сбой. Одна из основных проблем предотвращения сбоев в электросети заключается в том, что скорость управляющего сигнала не превышает скорость распространения перегрузки мощности, то есть, поскольку и управляющий сигнал, и электрическая мощность распространяются с одинаковой скоростью, невозможно изолировать повреждение, заблаговременно отправив предупреждение для отключения элемента.

В компьютерных сетях

Каскадные сбои могут также возникать в компьютерных сетях (таких как Интернет), где сетевой трафик существенно замедляется или полностью прекращается в определенных участках сети или между ними, из-за отказа или отключения аппаратного или программного обеспечения. В этом контексте такой сбой известен как каскадный отказ. Каскадный отказ может затронуть большие группы людей и систем. Обычно причиной каскадного отказа является перегрузка единственного, критически важного маршрутизатора или узла, что приводит к его выходу из строя, даже кратковременному. Это также может произойти при отключении узла для технического обслуживания или обновления. В любом из этих случаев трафик перенаправляется по другому (альтернативному) пути. В результате этот альтернативный путь также перегружается, что приводит к его отказу, и так далее. Это также повлияет на системы, которые зависят от нормальной работы этого узла.

Симптомы

Симптомы каскадного сбоя включают потерю пакетов и высокую сетевую задержку, не только для отдельных систем, но и для целых сегментов сети или Интернета. Высокая задержка и потеря пакетов вызваны узлами, которые перестают функционировать из-за коллапса пропускной способности, что приводит к их сохранению в сети, но без существенного или какого-либо полезного трафика, проходящего через них. В результате маршруты могут оставаться валидными, хотя фактически связь по ним не обеспечивается. Если из-за каскадного сбоя выходит из строя достаточное количество маршрутов, целый сегмент сети или Интернета может стать недоступным. Хотя это и нежелательно, это может ускорить восстановление после сбоя, поскольку соединения будут истекать по тайм-ауту, а другие узлы прекратят попытки установить соединения с изолированными сегментами, снижая нагрузку на затронутые узлы. Распространенным явлением во время каскадного сбоя является "блуждающий сбой", когда сегменты выходят из строя, вызывая отказ следующего сегмента, после чего первый сегмент восстанавливается. Эта волна может несколько раз проходить через одни и те же сегменты или соединяющие узлы, прежде чем будет восстановлена стабильность.

История

Каскадные отказы – относительно недавнее явление, возникшее в связи с резким ростом трафика и высокой степенью взаимосвязанности систем и сетей. Этот термин впервые был использован в этом контексте в конце 1990-х годов голландским ИТ-специалистом и постепенно стал достаточно распространенным для обозначения подобных масштабных отказов.

Пример

Сетевые сбои обычно начинаются с отказа одного сетевого узла. Изначально трафик, который обычно проходил через этот узел, прекращается. Системы и пользователи получают сообщения об ошибках, указывающие на невозможность доступа к хостам. Как правило, резервные системы провайдера быстро реагируют, выбирая альтернативный маршрут через другую магистраль. Этот альтернативный маршрут длиннее, содержит больше переходов и, следовательно, проходит через большее количество систем, которые обычно не обрабатывают такой объем трафика. Это может привести к отказу одной или нескольких систем на альтернативном маршруте, что вызовет аналогичные проблемы. В этом случае также могут пострадать связанные системы. Например, разрешение DNS может не работать, и функции, обеспечивающие взаимосвязь систем, могут нарушить соединения, даже если они не связаны напрямую с отказавшими системами. Это, в свою очередь, может привести к возникновению проблем в, казалось бы, не связанных узлах, что может вызвать новый каскадный сбой. В декабре 2012 года произошла частичная потеря (40%) сервиса Gmail по всему миру на 18 минут. Эта потеря сервиса была вызвана плановым обновлением программного обеспечения для балансировки нагрузки, содержащим ошибочную логику – в данном случае, ошибка была вызвана использованием некорректного оператора "все" вместо более подходящего "некоторые". Каскадная ошибка была устранена путем полного обновления одного узла в сети, а не частичного обновления всех узлов одновременно.

Каскадная структурная неисправность

Определенные несущие конструкции с дискретными элементами могут подвергаться "эффекту застежки-молнии", когда отказ одного несущего элемента увеличивает нагрузку на соседние. В случае обрушения пешеходного перехода в отеле Hyatt Regency, подвесной переход (который уже был перегружен из-за ошибки при строительстве) рухнул после отказа одного вертикального подвесного стержня, что привело к перегрузке соседних стержней и их последовательному отказу (то есть, подобно расстегиванию молнии). Мост, подверженный такому типу разрушения, называется критичным по разрушению, и множество обрушений мостов было вызвано отказом единственной детали. Правильно спроектированные конструкции используют достаточный запас прочности и/или альтернативные схемы распределения нагрузки для предотвращения подобного каскадного механического разрушения.

Каскад переломов

Каскад трещин – это явление, наблюдаемое в геологии, которое описывает инициирование цепной реакции последовательных трещин одним единственным трещиной. Исходная трещина приводит к распространению дополнительных трещин, вызывая каскадный эффект во всем материале. Каскады трещин могут возникать в различных материалах, включая горные породы, лед, металлы и керамику. Типичным примером является изгиб сухой спагетти, которая в большинстве случаев ломается более чем на две части, как впервые заметил Ричард Фейнман.

Биология

В биологии существуют биохимические каскады, когда небольшая реакция может иметь масштабные последствия для всей системы. Одним из негативных примеров является ишемический каскад, при котором небольшая ишемическая атака высвобождает токсины, уничтожающие гораздо больше клеток, чем первоначальное повреждение, что приводит к дальнейшему высвобождению токсинов. Современные исследования направлены на поиск способа блокирования этого каскада у пациентов, перенесших инсульт, для минимизации повреждений. В изучении вымирания видов, вымирание одного вида иногда может повлечь за собой вымирание многих других. Такой вид известен как ключевой вид.

Электроника

Другой пример — генератор Кокрофта — Уолтона, который также может подвергаться каскадным отказам, когда отказ одного диода может привести к отказу всех диодов за долю секунды. Еще одним примером этого эффекта в научном эксперименте стала имплозия в 2001 году нескольких тысяч хрупких стеклянных фотоэлектронных умножителей, использовавшихся в эксперименте Super Kamiokande, где ударная волна, вызванная отказом одного детектора, по-видимому, спровоцировала имплозию остальных детекторов в цепной реакции.

Финансы

В финансовой сфере риск каскадного краха финансовых учреждений называется системным риском: крах одного финансового учреждения может повлечь за собой крах других финансовых учреждений (его контрагентов), распространяясь по всей системе. Финансовые институты, представляющие системный риск, считаются либо "слишком большими, чтобы обанкротиться" (TBTF), либо "слишком взаимосвязанными, чтобы обанкротиться" (TICTF), в зависимости от причины возникновения угрозы. Важно отметить, что системный риск обусловлен не самими институтами, а взаимосвязями между ними. В научной литературе разработаны модели для изучения и прогнозирования последствий каскадных сбоев. Существует также связанный (но отличный) тип каскадного сбоя в финансах, наблюдаемый на фондовом рынке, например, Flash Crash 2010 года. Электрические отключения часто являются результатом каскада сбоев во взаимозависимых сетях, что ярко продемонстрировали многочисленные крупномасштабные отключения, произошедшие в последние годы. Отключения электроэнергии наглядно демонстрируют важную роль зависимостей между сетями. Например, отключение электроэнергии в Италии в 2003 году привело к масштабным сбоям в работе железнодорожной сети, системы здравоохранения и финансовых услуг, а также серьезно повлияло на телекоммуникационные сети. Частичный сбой в системе связи, в свою очередь, усугубил управление электросетью, создав положительную обратную связь в энергосистеме. Этот пример подчеркивает, как взаимозависимость может значительно увеличить масштаб ущерба во взаимодействующей сетевой системе.

Модель каскадных сбоев при перегрузке

Модель каскадных отказов, возникающих из-за распространения перегрузки, – это модель Motter–Lai.