Файловая система, ориентированная на записи

Введение

Файловая система, в которой данные хранятся в виде наборов записей.

В информатике файловая система, ориентированная на записи, – это файловая система, где данные хранятся как наборы записей. Это отличается от байтовой файловой системы, где данные рассматриваются как неформатированный поток байтов. Существует несколько различных возможных форматов записей; детали зависят от конкретной системы. В общем случае форматы могут быть фиксированной или переменной длины, с различными физическими организациями или механизмами дополнения; метаданные могут быть связаны с файловыми записями для определения длины записи, либо данные могут быть частью самой записи. Могут быть предусмотрены различные методы доступа к записям, например, записи могут извлекаться последовательно, по ключу или по номеру записи.

Происхождение и характеристики

Файловые системы, ориентированные на записи, часто ассоциируются с операционными системами мейнфреймов, такими как OS/360 и последующие версии, DOS/360 и последующие версии, и операционными системами среднего класса, такими как RSX 11 и VMS. Однако они возникли раньше в программном обеспечении, таком как система управления вводом/выводом (IOCS). Записи, иногда называемые логическими записями, часто записываются вместе в блоках, иногда называемых физическими записями; это норма для устройств прямого доступа и магнитных лент, но файлы на устройствах обработки пакетных данных обычно не блокируются, то есть в блоке содержится только одна запись. Файловые системы, ориентированные на записи, могут поддерживаться на носителях, отличных от устройств прямого доступа. Колода перфокарт может рассматриваться как файл, ориентированный на записи. Магнитная лента является примером носителя, который может поддерживать записи фиксированной или переменной длины. В файловой системе, ориентированной на записи, программист определяет структуру записей, которые могут использоваться в файле. Все прикладные программы, обращающиеся к файлу – будь то добавление, чтение или обновление записей – должны понимать структуру этих записей. В DOS/360, OS/360 и их преемниках нет ограничений на состав данных в записи, то есть отсутствует символ-разделитель; это не всегда верно для других программ, например, для определенных типов записей в RCA File Control Processor (FCP) на 301, 501, 601 и 3301. Файл создается, когда файловой системе отправляется запрос на его создание. В этом запросе может быть включена информация о файле, например, указание на то, что файл содержит записи фиксированной длины (все записи одинакового размера) и их размер. Альтернативно, может быть указано, что записи имеют переменную длину, а также максимальную длину записи. Дополнительно может быть указан коэффициент блокировки, тип данных (двоичный или текстовый) и максимальное количество записей. Может быть разрешено чтение только начала записи; следующее последовательное чтение возвращает следующий набор данных (запись), который автор намеревался сгруппировать. Также может быть разрешена запись только начала записи. В этих случаях запись дополняется нулями или пробелами, в зависимости от того, распознается ли файл как двоичный или текстовый. Некоторые операционные системы требуют включения в программу библиотечных подпрограмм, специфичных для формата записи. Это означает, что программа, предназначенная для чтения файла записей переменной длины, не сможет прочитать файл с фиксированной длиной. Таким образом, эти операционные системы должны предоставлять утилиты файловой системы для преобразования файлов из одного формата в другой. Это может потребовать копирования файла (что требует дополнительного места для хранения, времени и координации). Другие операционные системы включают различные подпрограммы и связывают соответствующую подпрограмму, основанную на организации файла, во время выполнения. В любом случае, для обеспечения целостности файла необходимо предоставить значительный объем защищенного кода для управления записями. Альтернативой файлу, ориентированному на записи, является потоковый файл, в котором файловая система рассматривает файл как неструктурированную последовательность байтов. Приложения могут, но не обязаны, накладывать структуру записей. Такой подход значительно уменьшает размер и сложность библиотеки и сокращает количество утилит, необходимых для обслуживания файлов. Распространенной практикой для текстовых файлов, представленных в виде потоков, является использование символа новой строки для разделения или завершения записей, обычно CR, CRLF или LF. К сожалению, время процессора, необходимое для поиска символа-разделителя записи, значительно, и исключение шаблона разделителя из данных часто нежелательно. Альтернативным решением является включение поля длины в каждую запись. Приложение-автор отвечает за наложение структуры записи, а приложение-читатель – за разделение записей.

Record oriented filesystems are frequently associated with mainframe operating systems, such as OS/360 and successors and DOS/360 and successors, and midrange operating systems, such as RSX 11 and VMS. However, they originated earlier in software such as Input/Output Control System (IOCS). Records, sometimes called logical records, are often written together in blocks, sometimes called physical records; this is the norm for direct access and tape devices, but files on unit record devices are normally unblocked, i. e., there is only one record per block. Record oriented filesystems can be supported on media other than direct access devices. A deck of punched cards can be considered a record oriented file. A magnetic tape is an example of a medium that can support records of uniform length or variable length. In a record file system, a programmer designs the records that may be used in a file. All application programs accessing the file, whether adding, reading, or updating records share an understanding of the design of the records. In DOS/360, OS/360, and their successors there is no restriction on the bit patterns composing the data record, i. e. there is no delimiter character; this is not always true in other software, e. g., certain record types for RCA File Control Processor (FCP) on the 301, 501, 601 and 3301. The file comes into existence when a file create request is issued to the filesystem. Some information about the file may be included with the create request. This information may specify that the file has fixed length records (all records are the same size) along with the size of the records. Alternatively, the specification may state that the records are of variable length, along with the maximum record length. Additional information including blocking factor, binary vs. text and the maximum number of records may be specified. It may be permitted to read only the beginning of a record; the next sequential read returns the next collection of data (record) that the writer intended to be grouped together. It may also be permitted to write only the beginning of a record. In these cases, the record is padded with binary zeros or with spaces, depending on whether the file is recognized as a binary file or a text file. Some operating systems require that library routines specific to the record format be included in the program. This means that a program originally expected to read a variable length record file cannot read a fixed length file. These operating systems must provide file system utilities for converting files between one format and another. This means copying the file (which requires additional storage space, time and coordination) may be necessary. Other operating systems include various routines and associate the appropriate routine, based on the file organization, at execution time. In either case, significant amounts of code to manage records must be provided in protected routines to ensure file integrity. An alternative to a Record oriented file is a stream file, in which the file system treats a file as an unstructured sequence of bytes. The applications may, but need not, impose a record structure. This approach significantly reduces the size and complexity of the library and reduces the number of utilities required to maintain files. A common application convention for text files represented as streams is to use a new line delimiter to separate or terminate records, commonly CR, CRLF or LF. Unfortunately, the CPU time required to parse for the record delimiter is significant and the exclusion of the record delimiter pattern from the data is frequently undesirable. An alternate convention is to include a length field in each record. The writer application is responsible for imposing any record structure and the reader application is responsible for separating out the records.

Преимущества и издержки

У файла, ориентированного на записи, есть несколько преимуществ. После того, как программа записывает набор данных в виде записи, программа, читающая эту запись, воспринимает эти данные как единый набор. Часто файл содержит несколько связанных записей последовательно; после того, как программа прочитает начало последовательности, следующее последовательное чтение вернет следующий набор данных (запись), который автор намеревался сгруппировать вместе. Другое преимущество заключается в том, что запись имеет длину и обычно нет ограничений на состав битовых шаблонов записи данных, то есть отсутствует символ-разделитель. Обычно использование файлов, ориентированных на записи, связано с определенными затратами. Для записей фиксированной длины некоторые записи могут содержать неиспользуемое пространство, а для записей переменной длины поле-разделитель или поле длины занимают место. Блоки переменной длины могут иметь накладные расходы из-за разделителей или полей длины. Кроме того, существует накладной расход, обусловленный устройством. На магнитной ленте накладной расход обычно представлен промежутком между записями. На устройстве прямого доступа с секторами фиксированной длины в последнем секторе блока может быть неиспользуемое пространство. На устройстве прямого доступа с физическими записями переменной длины этот накладной расход обычно представлен метаданными и промежутками между записями. В файле, состоящем из записей переменной длины, определяется максимальная длина записи для определения размера метаданных длины, связанных с каждой записью. Важным преимуществом файловых систем, ориентированных на записи, является то, что они абстрагируют файлы, которые ранее хранились на бумаге. Запись может содержать данные, связанные с конкретным объектом, например, зданием, контактом, сотрудником, деталью, площадкой. Вторым стимулом для идеи ориентации на записи является то, что в некотором смысле это более естественная ориентация для постоянного хранения на энергонезависимом, но медленном физическом устройстве хранения. Большинство физических устройств хранения данных могут обмениваться информацией только блоками. Значительная часть современных ядер операционных систем и связанных с ними драйверов устройств посвящена сокрытию естественно структурированной и ограниченной (и в некотором смысле блок является просто физической записью) природы физических устройств хранения. Не случайно, что файловые системы, ориентированные на записи, возникли раньше в истории вычислительной техники, чем файловые системы, ориентированные на потоки байтов, когда возможности абстракции были гораздо меньше.

A record oriented file has several advantages. After a program writes a collection of data as a record the program that reads that record has the understanding of those data as a collection. Often a file will contain several related records in sequence; after the program reads the beginning of the sequence, the next sequential read returns the next collection of data (record) that the writer intended to be grouped together. Another advantage is that the record has a length and there is usually no restriction on the bit patterns composing the data record, i. e. there is no delimiter character. There is usually a cost associated with record oriented files. For fixed length records, some records may have unused space, while for variable length records the delimiter or length field takes up space. Variable length blocks may have overhead due to delimiters or length fields. In addition, there is overhead imposed by the device. On a magnetic tape overhead typically takes the form of an inter record gap. On a direct access device with fixed length sectors, there may be unused space in the last sector of a block. On a direct access device with variable length physical records, that overhead typically takes the form of metadata and inter record gaps. On a file composed of varying length records a maximum record length is defined to determine the size of the length metadata associated with each record. A major advantage of record oriented file systems is that they abstract files kept on paper in earlier times. A record might contain data associated with a particular, e. g., building, contact, employee, part, venue. A second motivator for the idea of record orientation is that it is in some sense the more natural orientation for persistent storage on a non volatile but slow physical storage device. Most physical storage devices can communicate only in units of a block. Significant portions of modern operating system kernels and associated device drivers are devoted to hiding the naturally structured and delimited (and in some sense a block is just a physical record) nature of physical storage devices. It is not coincidental that record oriented file systems arose earlier in the history of computing than byte stream oriented file systems, when the capabilities for abstraction were far less.