Повреждение данных: причины и последствия

Введение

Ошибки в компьютерных данных, приводящие к нежелательным изменениям исходных данных.

Повреждение данных – это ошибки в компьютерных данных, возникающие при записи, чтении, хранении, передаче или обработке, которые вносят нежелательные изменения в исходные данные. Компьютерные, передающие и системы хранения используют ряд мер для обеспечения целостности данных, то есть отсутствия ошибок. Как правило, при повреждении данных файл, содержащий эти данные, при обращении к нему системой или соответствующим приложением, выдает непредсказуемые результаты. Последствия могут варьироваться от незначительной потери данных до сбоя системы. Например, если файл документа поврежден, при попытке открыть его редактором документов пользователь может получить сообщение об ошибке, в результате чего файл может не открыться или откроется с поврежденными данными (или, в некоторых случаях, полностью поврежденным, делая документ нечитаемым). На прилегающем изображении показан поврежденный файл изображения, в котором большая часть информации утрачена. Некоторые типы вредоносного ПО могут намеренно повреждать файлы в качестве части своей полезной нагрузки, обычно перезаписывая их нерабочим или бессмысленным кодом, в то время как невредоносный вирус также может непреднамеренно повредить файлы при доступе к ним. Если вирус или троян, использующий подобный метод, удастся изменить файлы, критически важные для работы операционной системы компьютера или физического оборудования, вся система может стать неработоспособной. Некоторые программы могут предложить автоматическое восстановление файла (после обнаружения ошибки), а другие не смогут его восстановить. Это зависит от степени повреждения и встроенных возможностей приложения для обработки ошибки. Существует множество причин повреждения данных.

Обзор

Существует два типа повреждения данных, связанных с компьютерными системами: необнаруженное и обнаруженное. Необнаруженное повреждение данных, также известное как "тихое повреждение данных", приводит к наиболее опасным ошибкам, поскольку нет никаких признаков того, что данные некорректны. Обнаруженное повреждение данных может быть постоянным, с потерей данных, или временным, когда какая-то часть системы способна обнаружить и исправить ошибку; в последнем случае повреждения данных не происходит. Повреждение данных может возникать на любом уровне системы, от хоста до носителя информации. Современные системы пытаются обнаруживать повреждения на многих уровнях, а затем восстанавливать или исправлять их; это почти всегда удается, но очень редко информация, поступающая в системную память, оказывается поврежденной и может приводить к непредсказуемым результатам. Повреждение данных при передаче имеет различные причины. Прерывание передачи данных приводит к потере информации. Условия окружающей среды могут мешать передаче данных, особенно при использовании беспроводных методов передачи. Тяжелые облака могут блокировать спутниковые передачи. Беспроводные сети подвержены помехам от устройств, таких как микроволновые печи. Аппаратные и программные сбои – две основные причины потери данных. Фоновое излучение, повреждения головок и старение или износ носителя информации относятся к первой категории, в то время как программные сбои обычно возникают из-за ошибок в коде. Космические лучи вызывают большинство случайных ошибок в DRAM.

Тихо.

Некоторые ошибки остаются незамеченными, не обнаруживаемыми прошивкой диска или операционной системой хоста; эти ошибки известны как скрытая (молчаливая) коррупция данных. Существует множество источников ошибок, выходящих за рамки самой подсистемы хранения. Например, кабели могут быть слегка ослаблены, блок питания может быть ненадежным, внешние вибрации, такие как громкий звук, сеть может вносить незамеченную коррупцию, космическое излучение и многие другие причины возникновения ошибок мягкой памяти и т.п. В 39 000 проанализированных системах хранения ошибки в прошивке составляли 5–10% от общего числа сбоев хранения. В целом, частота ошибок, зафиксированная в исследовании CERN по скрытой коррупции, значительно превышает один случай на 10¹⁶ бит. Интернет-магазин Amazon.com подтвердил аналогично высокие показатели коррупции данных в своих системах. В 2021 году в публикациях Google и Facebook были выявлены неисправные процессорные ядра как дополнительная причина; неисправные ядра обнаруживались в количестве нескольких на тысячу ядер. Одна из проблем заключается в том, что емкость жестких дисков значительно возросла, но их частота ошибок осталась неизменной. Скорость коррупции данных всегда была примерно постоянной во времени, что означает, что современные диски не намного безопаснее старых. На старых дисках вероятность коррупции данных была очень мала, поскольку они хранили небольшие объемы данных. На современных дисках вероятность гораздо выше, поскольку они хранят гораздо больше данных, при этом не являясь более безопасными. Поэтому скрытая коррупция данных не вызывала серьезных опасений, пока устройства хранения оставались относительно небольшими и медленными. В настоящее время, с появлением дисков большей емкости и очень быстрых RAID-массивов, пользователи способны передавать 10¹⁶ бит за разумное время, тем самым легко достигая порогов коррупции данных. В качестве примера, создатель ZFS Джефф Бонвик заявил, что быстрая база данных в Greenplum, компании, специализирующейся на разработке программного обеспечения для баз данных, предназначенного для крупномасштабного хранения данных и аналитики, сталкивается со скрытой коррупцией каждые 15 минут. В качестве другого примера, реальное исследование, проведенное NetApp на более чем 1,5 миллионах жестких дисков за 41 месяц, выявило более 400 000 случаев скрытой коррупции данных, из которых более 30 000 не были обнаружены аппаратным RAID-контроллером (обнаружены только во время проверки). Другое исследование, проведенное CERN в течение шести месяцев с участием около 97 петабайт данных, показало, что около 128 мегабайт данных были безвозвратно повреждены где-то на пути от сети к диску. Скрытая коррупция данных может привести к каскадным сбоям, при которых система может работать в течение определенного периода времени с незамеченной первоначальной ошибкой, вызывающей все больше проблем, пока она не будет обнаружена. Например, сбой, затрагивающий метаданные файловой системы, может привести к частичному повреждению нескольких файлов или к полной их недоступности, поскольку файловая система используется в поврежденном состоянии.

Some errors go unnoticed, without being detected by the disk firmware or the host operating system; these errors are known as silent data corruption. There are many error sources beyond the disk storage subsystem itself. For instance, cables might be slightly loose, the power supply might be unreliable, external vibrations such as a loud sound, the network might introduce undetected corruption, cosmic radiation and many other causes of soft memory errors, etc. In 39,000 storage systems that were analyzed, firmware bugs accounted for 5–10% of storage failures. All in all, the error rates as observed by a CERN study on silent corruption are far higher than one in every 1016 bits. Webshop Amazon. com has acknowledged similar high data corruption rates in their systems. In 2021, faulty processor cores were identified as an additional cause in publications by Google and Facebook; cores were found to be faulty at a rate of several in thousands of cores. One problem is that hard disk drive capacities have increased substantially, but their error rates remain unchanged. The data corruption rate has always been roughly constant in time, meaning that modern disks are not much safer than old disks. In old disks the probability of data corruption was very small because they stored tiny amounts of data. In modern disks the probability is much larger because they store much more data, whilst not being safer. That way, silent data corruption has not been a serious concern while storage devices remained relatively small and slow. In modern times and with the advent of larger drives and very fast RAID setups, users are capable of transferring 1016 bits in a reasonably short time, thus easily reaching the data corruption thresholds. As an example, ZFS creator Jeff Bonwick stated that the fast database at Greenplum, which is a database software company specializing in large scale data warehousing and analytics, faces silent corruption every 15 minutes. As another example, a real life study performed by NetApp on more than 1.5 million HDDs over 41 months found more than 400,000 silent data corruptions, out of which more than 30,000 were not detected by the hardware RAID controller (only detected during scrubbing). Another study, performed by CERN over six months and involving about 97 petabytes of data, found that about 128 megabytes of data became permanently corrupted silently somewhere in the pathway from network to disk. Silent data corruption may result in cascading failures, in which the system may run for a period of time with undetected initial error causing increasingly more problems until it is ultimately detected. For example, a failure affecting file system metadata can result in multiple files being partially damaged or made completely inaccessible as the file system is used in its corrupted state.

Контрмеры

Когда повреждение данных проявляется как пуассоновский процесс, при котором каждый бит данных имеет независимо малую вероятность изменения, повреждение данных обычно можно обнаружить с помощью контрольных сумм и часто исправить с использованием кодов коррекции ошибок (ECC). В случае обнаружения неисправимого повреждения данных могут быть применены такие процедуры, как автоматическая повторная передача или восстановление из резервных копий. Определенные уровни RAID-массивов дисков способны хранить и проверять биты четности для данных на наборе жестких дисков и восстанавливать поврежденные данные при выходе из строя одного или нескольких дисков, в зависимости от реализованного уровня RAID. Некоторые архитектуры процессоров используют различные прозрачные проверки для обнаружения и смягчения повреждения данных в кэше процессора, буферах процессора и конвейерах команд; примером является технология Intel Instruction Replay, доступная на процессорах Intel Itanium. Многие ошибки обнаруживаются и исправляются жесткими дисками с использованием кодов ECC, хранящихся на диске для каждого сектора. Если жесткий диск обнаруживает множественные ошибки чтения на секторе, он может создать копию поврежденного сектора на другой части диска, переназначив поврежденный сектор на резервный без участия операционной системы (хотя это может быть отложено до следующей записи в сектор). Этот "скрытый ремонт" можно отслеживать с помощью S.M.A.R.T. и инструментов, доступных для большинства операционных систем, для автоматической проверки жесткого диска на предмет надвигающихся сбоев, отслеживая ухудшение параметров SMART. Некоторые файловые системы, такие как Btrfs, HAMMER, ReFS и ZFS, используют внутренние контрольные суммы данных и метаданных для обнаружения скрытого повреждения данных. Кроме того, если повреждение обнаружено и файловая система использует интегрированные механизмы RAID, обеспечивающие избыточность данных, такие файловые системы также могут прозрачно восстанавливать поврежденные данные. Такой подход обеспечивает улучшенную защиту целостности данных, охватывающую все пути передачи данных, что обычно называют сквозной защитой данных, в отличие от других подходов к обеспечению целостности данных, которые не охватывают различные уровни в стеке хранения и допускают повреждение данных при прохождении данных между этими уровнями. Очистка данных (data scrubbing) – это еще один метод снижения вероятности повреждения данных, поскольку ошибки диска обнаруживаются и устраняются до того, как накопится множество ошибок и превысится количество битов четности. Вместо проверки четности при каждом чтении, четность проверяется во время регулярного сканирования диска, часто выполняемого как фоновый процесс с низким приоритетом. Операция очистки данных активирует проверку четности. Если пользователь просто запускает обычную программу, которая считывает данные с диска, то проверка четности не будет выполняться, если проверка четности при чтении поддерживается и включена в подсистеме диска. При использовании соответствующих механизмов для обнаружения и устранения повреждения данных можно обеспечить целостность данных. Это особенно важно в коммерческих приложениях (например, в банковском деле), где необнаруженная ошибка может повредить индекс базы данных или изменить данные, что может серьезно повлиять на остаток на счете, а также при использовании зашифрованных или сжатых данных, где даже небольшая ошибка может сделать большой набор данных непригодным для использования.

When data corruption behaves as a Poisson process, where each bit of data has an independently low probability of being changed, data corruption can generally be detected by the use of checksums, and can often be corrected by the use of error correcting codes (ECC). If an uncorrectable data corruption is detected, procedures such as automatic retransmission or restoration from backups can be applied. Certain levels of RAID disk arrays have the ability to store and evaluate parity bits for data across a set of hard disks and can reconstruct corrupted data upon the failure of a single or multiple disks, depending on the level of RAID implemented. Some CPU architectures employ various transparent checks to detect and mitigate data corruption in CPU caches, CPU buffers and instruction pipelines; an example is Intel Instruction Replay technology, which is available on Intel Itanium processors. Many errors are detected and corrected by the hard disk drives using the ECC codes which are stored on disk for each sector. If the disk drive detects multiple read errors on a sector it may make a copy of the failing sector on another part of the disk, by remapping the failed sector of the disk to a spare sector without the involvement of the operating system (though this may be delayed until the next write to the sector). This "silent correction" can be monitored using S. M. A. R. T. and tools available for most operating systems to automatically check the disk drive for impending failures by watching for deteriorating SMART parameters. Some file systems, such as Btrfs, HAMMER, ReFS, and ZFS, use internal data and metadata checksumming to detect silent data corruption. In addition, if a corruption is detected and the file system uses integrated RAID mechanisms that provide data redundancy, such file systems can also reconstruct corrupted data in a transparent way. This approach allows improved data integrity protection covering the entire data paths, which is usually known as end to end data protection, compared with other data integrity approaches that do not span different layers in the storage stack and allow data corruption to occur while the data passes boundaries between the different layers. Data scrubbing is another method to reduce the likelihood of data corruption, as disk errors are caught and recovered from before multiple errors accumulate and overwhelm the number of parity bits. Instead of parity being checked on each read, the parity is checked during a regular scan of the disk, often done as a low priority background process. The "data scrubbing" operation activates a parity check. If a user simply runs a normal program that reads data from the disk, then the parity would not be checked unless parity check on read was both supported and enabled on the disk subsystem. If appropriate mechanisms are employed to detect and remedy data corruption, data integrity can be maintained. This is particularly important in commercial applications (e. g. banking), where an undetected error could either corrupt a database index or change data to drastically affect an account balance, and in the use of encrypted or compressed data, where a small error can make an extensive dataset unusable.