Принципы цифрового сохранения и проекты LOCKSS/CLOCKSS

Введение

Принцип цифрового сохранения

Проект LOCKSS ("Lots of Copies Keep Stuff Safe" – "Множество копий сохраняют информацию") под эгидой Стэнфордского университета – это одноранговая сеть, разрабатывающая и поддерживающая систему с открытым исходным кодом, позволяющую библиотекам собирать, сохранять и предоставлять читателям доступ к материалам, опубликованным в сети Интернет. Его основная цель – цифровое сохранение. Система стремится воспроизвести методы, используемые библиотеками для сохранения материалов, издаваемых на бумаге. Изначально она была разработана для научных журналов, но в настоящее время также применяется для широкого спектра других материалов. Примеры включают проект SOLINET по сохранению диссертаций в восьми университетах, документы правительства США и программу MetaArchive Cooperative, занимающуюся сохранением цифровых архивных коллекций, находящихся под угрозой исчезновения, в том числе электронных диссертаций (ETD), газет, фотоколлекций и аудиовизуальных материалов. Схожий проект под названием CLOCKSS (Controlled LOCKSS) – это некоммерческая организация, освобожденная от налогов в соответствии с пунктом 501(c)(3), и управляемая советом директоров, состоящим из библиотекарей и издателей. CLOCKSS работает на базе технологии LOCKSS.

Проблема

Традиционно академические библиотеки сохраняют выпуски научных журналов, либо индивидуально, либо совместно, предоставляя своим читателям доступ к полученному контенту даже после того, как издатель прекратил публикацию или подписка была отменена. В цифровую эпоху библиотеки часто подписываются на журналы, которые доступны только в цифровом виде через Интернет. Хотя это удобно для читателей, модель цифровой подписки не позволяет библиотекам сохранять копию журнала. Если издатель прекращает публикацию, или библиотека отменяет подписку, или если веб-сайт издателя недоступен, оплаченный контент становится недоступным.

Методы

Система LOCKSS позволяет библиотеке, с разрешения издателя, собирать, сохранять и распространять среди своих читателей копии материалов, на которые она подписана, а также материалы с открытым доступом (например, опубликованные под лицензией Creative Commons). Система каждой библиотеки собирает копию с помощью специализированного веб-сканера, который проверяет, что издатель предоставил соответствующее разрешение. Система не зависит от формата, собирая любые форматы, которые издатель предоставляет через HTTP. Библиотеки, собравшие один и тот же материал, сотрудничают в одноранговой сети для обеспечения его сохранности. Участники сети голосуют за криптографические хеш-функции сохраненного контента и случайное число (nonce); участник, чья позиция отклонена большинством, считает свою копию поврежденной и восстанавливает ее у издателя или других участников. Лицензия LOCKSS, используемая большинством издателей, предоставляет читателям библиотеки доступ к собственной копии, но не разрешает аналогичный доступ другим библиотекам или посторонним читателям; система не поддерживает обмен файлами. По запросу библиотека может предоставить другой библиотеке контент для восстановления, но только если запрашивающая библиотека доказала, что ранее имела корректную копию, проголосовав вместе с большинством. Если браузер читателя больше не поддерживает формат, в котором была собрана копия, процесс миграции формата может преобразовать ее в актуальный формат. Эти ограничения на использование сохраненных копий материалов, защищенных авторским правом, оказались эффективными для убеждения правообладателей в предоставлении необходимого разрешения. Подход LOCKSS, основанный на выборочном сборе с разрешения издателя, распределенном хранении и ограниченном распространении, контрастирует, например, с подходом Интернет-архива, заключающимся в всеохватном сборе без разрешения издателя, централизованном хранении и неограниченном распространении. Система LOCKSS значительно меньше, но она способна сохранять материалы по подписке, к которым Интернет-архив не имеет доступа. Поскольку каждая библиотека управляет своим собственным узлом LOCKSS и поддерживает свою собственную копию сохраненных материалов, и поскольку такие библиотеки существуют по всему миру (см. список участвующих библиотек ниже), система обеспечивает гораздо более высокую степень репликации, чем обычно в отказоустойчивой системе. Процесс голосования использует эту высокую степень репликации для устранения необходимости резервного копирования на внешние носители и обеспечения надежной защиты от атак, направленных на повреждение сохраненного контента.

The LOCKSS system allows a library, with permission from the publisher, to collect, preserve and disseminate to its patrons a copy of the materials to which it has subscribed as well as open access material (perhaps published under a Creative Commons license). Each library's system collects a copy using a specialized web crawler that verifies that the publisher has granted suitable permission. The system is format agnostic, collecting whatever formats the publisher delivers via HTTP. Libraries which have collected the same material cooperate in a peer to peer network to ensure its preservation. Peers in the network vote on cryptographic hash functions of preserved content and a nonce; a peer that is outvoted regards its copy as damaged and repairs it from the publisher or other peers. The LOCKSS license used by most publishers allows a library's readers access to its own copy, but does not allow similar access to other libraries or unaffiliated readers; the system does not support file sharing. On request, a library may supply another library with content to effect a repair, but only if the requesting library proved that in the past that it had a good copy by voting with the majority. If the reader's browser no longer supports the format in which the copy was collected, a format migration process can convert it to a current format. These limits on the use that may be made of preserved copies of copyright material have been effective in persuading copyright owners to grant the necessary permission. The LOCKSS approach of selective collection with permission from the publisher, distributed storage, and restricted dissemination contrasts with, for example, the Internet Archive's approach of omnivorous collection without permission from the publisher, centralized storage, and unrestricted dissemination. The LOCKSS system is far smaller, but it can preserve subscription materials to which the Internet Archive has no access. Since each library administers its own LOCKSS peer and maintains its own copy of preserved material, and since there are libraries doing so worldwide (see the list of participating libraries below), the system provides a much higher degree of replication than is usual in a fault tolerant system. The voting process makes use of this high degree of replication to eliminate the need for backups to off line media, and to provide robust defenses against attacks aimed at corrupting preserved content.

Важность

Помимо сохранения доступа, библиотеки традиционно затрудняли переписывание или сокрытие печатных материалов. Существование неопределенного, но значительного числа идентичных копий на относительно устойчивом к изменениям носителе, находящихся под управлением множества независимых организаций, означало, что попытки изменить или удалить все экземпляры опубликованного произведения, скорее всего, потерпят неудачу и будут обнаружены. Веб-публикация, основанная на единственном экземпляре под управлением одной организации, не предоставляет никакой из этих гарантий от подмены или искажения. Таким образом, веб-публикация является удобным инструментом для переписывания истории. Сохраняя множество копий под разными администрациями, автоматически сверяя их между собой через определенные промежутки времени (и в будущем – с копией издателя) и уведомляя библиотеки об обнаруженных изменениях, система LOCKSS стремится восстановить многие из этих гарантий в современном цифровом мире публикации.

Реализация

Перед внедрением системы LOCKSS необходимо тщательно продумать ряд вопросов, чтобы убедиться в возможности проверки, оценки и аудита контента пользователями. Пользователю следует задать вопросы, такие как: "Каковы ваши процедуры?", "Каковы ваши методы?", "Как проводится оценка этой системы?" и "Какова ваша программа обеспечения готовности к чрезвычайным ситуациям?". Эти вопросы позволят пользователю оценить систему, разработать эффективный план обслуживания материалов и обеспечить поддержку системы тщательно проверенной инфраструктурой. Исходный код всей системы LOCKSS распространяется под лицензиями BSD с открытым исходным кодом и доступен на GitHub. LOCKSS является торговой маркой Стэнфордского университета.