Электронное дерево: Сохранение и распространение живых записей музыки.

Введение

etree, или электронное дерево, — это музыкальное сообщество, возникшее летом 1998 года для обмена записями живых концертов в сети. etree стало пионером в разработке стандартов распространения аудио в формате без потерь и разрешает своим пользователям распространять музыку только тех исполнителей, которые допускают её свободную запись и обмен.

Предыстория

etree.org был создан, поскольку коллекционеры и кураторы записей живой музыки исторически сталкивались с четырьмя взаимосвязанными проблемами:

Во-первых, проблема, общая для всех кураторов: исходный материал со временем деградирует. В частности, магнитная аудиолента, используемая для создания многих живых аудиозаписей, физически разрушается и, при многократном воспроизведении, теряет четкость. Поэтому сохранение музыкального исходного материала подразумевало ограничение доступа к нему. В результате, архивная музыка могла быть сохранена, но никто ее не слушал. Аналогично, люди, владевшие записями живых концертов, как правило, не имели возможности обеспечить их надлежащее хранение (например, в помещениях с контролируемым климатом и пожарной безопасностью) и/или не обладали возможностью создавать копии для архивирования и сохранения. По сути, музыкальная история концертных выступлений XX века терялась, оставаясь запертой в хранилищах или разрушаясь на чердаках и в книжных шкафах. Во-вторых, копии аналоговых записей при копировании склонны к ухудшению качества из-за появления шипения или "шума", присущего использованию магнитной ленты. В результате, не существует двух идентичных копий, и каждая копия, или поколение, звучит хуже предыдущей. В-третьих, учитывая существование обмена живыми записями до появления интернета (описанного ниже) и тот факт, что право на копирование многих таких записей было или является полулегальным, происхождение, или "родословная" многих записей была плохо документирована. Даже сегодня историки и коллекционеры сталкиваются с путаницей относительно даты, места проведения, сет-листа и т.д. в ранних пиратских записях. Кураторам и коллекционерам, ищущим исходный материал или просто наилучшую по качеству копию концертной записи, требовалось тратить значительное время на сбор нескольких копий (якобы) одного и того же материала, сравнение записей, обращение к источникам и т.д. Присутствие мошенников, коммерческих пиратов и других преступников в этой сфере не помогало. Наконец, с точки зрения исторической сохранности, существование единственной копии исторического объекта (каким бы он ни был) представляет значительно больший риск его уничтожения, повреждения или потери, чем если бы существовало несколько копий этого объекта. Поэтому архивисты предпочитают распространять копии исторических материалов как можно шире, чтобы снизить риск уничтожения всех копий и безвозвратной потери объекта.

First, a problem common to all curators: source material degrades over time. In particular, the magnetic audio tape used to make many live audio recordings physically decays and, as it is repeatedly played back, loses its clarity. Preserving musical source material, therefore, meant restricting access to it. As a result, archival music may have been preserved, but it was not being heard by anyone. Similarly, individuals who possessed live concert recordings were typically unable to store them appropriately (in climate controlled, fire safe storage, for example) and/or they lacked the ability to make copies for archiving and preservation. Essentially, the musical history of 20th century concert performances was being lost, locked up in vaults or decaying in attics and living room bookcases. Second, copies of analog recordings tend to degrade when copied due to the introduction of hiss or "noise" inherent to the use of magnetic tape. As a result, no two copies are identical, and each copy, or generation, sounds inferior to the generation preceding it. Third, given the pre Internet nature of exchanging live recordings (described below) and the fact that the right to copy many such recordings was or is quasi legal, the provenance, or "lineage" of many recordings was poorly documented. Even today, historians and collectors find much confusion as to date, venue, setlist, etc., in early bootleg recordings. Curators and collectors searching for source material, or simply the best sounding copy of a concert recording, were required to spend considerable time accumulating multiple copies of the (supposedly) same material, comparing recordings, following up with sources, etc. The presence of fraudsters, commercial bootleggers, and other criminals in this area did not help. Finally, as a matter of historical preservation, the existence of a single copy of an historical object (whatever it may be) presents a significantly greater risk that the object will be destroyed, damaged or lost than if multiple copies of the object exist. Archivists, therefore, prefer to distribute copies of historical material as widely as possible, to reduce the risk that all copies are destroyed and the object be lost forever.

Рост

К концу 1990-х годов механизмы захвата или передачи записей в цифровую область были хорошо развиты. Цифровые магнитные форматы и носители, такие как импульсно-кодовая модуляция (PCM) и цифровые аудиокассеты (DAT), или оптические носители, такие как компакт-диски (CD), и другие типы цифрового хранения, позволили архивистам записывать концерты таким образом, чтобы уменьшить или устранить деградацию исходного материала при воспроизведении или копировании. Из таких записей можно было создавать копии, являющиеся точными дубликатами оригинала, и эти копии не демонстрируют деградации, как это происходит с аналоговыми аудиолентами. Таким образом, сегодня цифровые записи обычно делаются на DAT, оптические диски или на жесткие диски, флеш-память и другие типы цифрового хранения. Появление возможности преобразования музыкальных записей в компьютерные файлы данных (такие как wav и aiff файлы, являющиеся контейнерами для данных PCM) позволило коллекционерам проверять идентичность дубликатов цифровой или оцифрованной аналоговой записи. Обычно это делается путем генерации контрольной суммы данных в файле, как правило, в формате MD5, и сравнения ее с контрольной суммой другого файла или известной контрольной суммой исходного файла. Если контрольные суммы совпадают, файлы идентичны; в противном случае – файлы различны. Такие копии называют "без потерь" (чтобы отличить их от подверженных деградации носителей, таких как аналоговые ленты, и от форматов файлов, таких как mp3, которые удаляют аудиоинформацию для уменьшения размера файла). Такие копии обычно сопровождаются текстовым файлом, содержащим информацию о записи, такую как дата, место проведения, сет-лист, использованное оборудование и т.д., что снижает неопределенность и вероятность ошибок при установлении происхождения записи и сравнении источников. Распространение аудиоданных без потерь стало проще с развитием Интернета. Ранее распространение копий живой музыки среди коллекционеров и архивистов было затруднено необходимостью поиска друг друга и организации передачи копий физических носителей (дисков, кассет и т.д.) лично или по почте. Одним из способов ускорения распространения было создание "дерева" людей, где "сеятель" делал копии "мастер"-записи и передавал копию низкого поколения каждой "ветке" дерева, члены которой затем передавали этот мастер низкого поколения каждому "листу" на ветке, значительно ускоряя распространение и минимизируя потери поколений (для аналогового материала). Однако это было медленно и могло сорваться, если кто-то на ветке дерева не выполнял свою задачу. Идея передачи аудиофайлов качества DAT через Интернет, то есть создание "электронного дерева", впервые обсуждалась в 1996 году, но тогда она была непрактичной из-за больших размеров файлов, необходимых для сохранения качества. Например, 74-минутный CD содержит около 640 МБ несжатых данных PCM, а двухчасовой концерт потребует двух CD. Передача данных с одного CD через dial-up модем занимает около семи дней. Несколько достижений в области компьютерных технологий сделали возможным четвертый фактор – передачу файлов без потерь через Интернет. Во-первых, компанией SoftSound был разработан формат файла Shorten (SHN). Процесс Shorten неразрушающе удаляет избыточные данные из PCM wav файлов, уменьшая их размер примерно на 45–55%, при этом позволяя восстановить полученные SHN файлы до их исходного вида без потери каких-либо аудиоданных. (Более новый формат FLAC в значительной степени заменил SHN и теперь является предпочтительным.) Эти цифровые аудиофайлы, называемые “наборами файлов” (“filesets”), являются, таким образом, битно-идентичными копиями, идентичными своим оригинальным источникам, и могут воспроизводиться практически на любом компьютере, конвертироваться в соответствующий формат для записи на CD для воспроизведения на домашних стереосистемах или конвертироваться в другие форматы для использования на портативных музыкальных плеерах. Во-вторых, взрывной рост Интернета позволил большему числу людей создавать FTP-серверы для распространения SHN-копий своих записей с высокой скоростью пользователям с широкополосным доступом в Интернет. В-третьих, списки рассылки, электронная почта, listservs и т.д. позволили коллекционерам и кураторам легче находить друг друга и интересующие материалы. После этого сформировалось сообщество etree, объединившее участников двух уважаемых онлайн-сообществ по обмену музыкой: Sugarmegs Audio и PCP (People for a Clearer Phish). Начав с 10 человек, etree.org продемонстрировал ошеломляющий рост. К февралю 2001 года насчитывалось почти 300 независимых FTP-серверов, обеспечивающих основу etree.org для более чем 12 000 пользователей. Были разработаны инструменты для создания, упаковки, проверки и исправления наборов файлов без потерь, включая программы mkwACT, Shorten, Shntool и другие. BitTorrent был разработан с учетом etree, и etree был единственным сайтом с листингом BitTorrent, на который ссылались в официальном FAQ в течение некоторого времени. С ростом популярности BitTorrent и ограничением доступности бесплатных высокоскоростных FTP-серверов университетами и корпорациями количество FTP-серверов etree неуклонно сокращалось, и к 2004 году в активной работе осталось лишь несколько. Тем не менее, etree.org продолжал экспоненциально расти. По состоянию на июнь 2010 года на db.etree.org было зарегистрировано почти 400 000 пользователей, которые внесли более 480 000 сет-листов для 42 000 исполнителей и помогли распространить более 90 000 записей без потерь примерно для 140 исполнителей, обогащая культурное наследие мира через bt.etree.org и другие подобные онлайн-сообщества.

By the late 1990s, mechanisms for capturing or transferring recordings to the digital domain were well developed. Digital, magnetic formats and media like pulse code modulation (PCM) and Digital Audio Tape (DAT), or optical media like compact discs (CDs), and other types of digital storage, permitted archivists to record concerts in a manner that reduced or eliminated the degradation of source material when played back or copied. Copies of such recordings could be made that were exact duplicates of the original recording, and such copies do not exhibit degradation in the way that analog audio tape does. Thus, today, digital recordings are typically made to DAT, optical disc, or to hard drives, flash memory, and other types of digital storage. The emergence of the ability to transform musical recordings to computer data files (such as wav and aiff files, which are containers for PCM data) permitted collectors to verify the identity of duplicate copies of a particular digital, or digitized analog, recording. This is typically done by generating a checksum of the data in a file, usually in the MD5 format, and comparing that checksum to a checksum for another file, or a known checksum of the original file. If the checksums match, the files are identical; if not, then the files are different. Such matching copies are referred to as "lossless" copies (to distinguish them from both degradable media like analog tape, and from file formats like mp3, which remove audio information in order to reduce file size). Such copies are usually bundled with a text file including information about the recording such as date, venue, setlist, recording equipment used, etc., that reduces uncertainty and error in establishing recording provenance and comparing recording sources. Distribution of lossless audio data became easier as the Internet developed. Historically, distributing copies of live music to collectors and archivists faced a bottleneck, in that collectors had to find each other and arrange to transfer copies of physical media (discs, tapes, etc.) in person or through the U. S. mail. One way of expediting distribution was to create a "tree" of people, the "seeder" of which would make copies of a "master" recording and deliver a low generation copy to each "branch" of the tree, the members of which would then pass the low generation master along to each "leaf" on the tree branch, thus speeding distribution greatly while minimizing generational loss (for analog material). Still, this was slow and liable to fail if a single person on the branch of the tree did not follow through. The idea of transferring DAT quality audio files via the Internet – i. e., an "e tree" – was first discussed in 1996, but it was impractical at the time due to the large file sizes required to keep the quality intact. For example, a 74 minute CD holds approximately 640 MB of uncompressed PCM data, and a two hour concert would require two CDs. Transferring a single CD worth of data over a dial up modem takes approximately seven days. Several developments in computer technology made the fourth factor, the lossless file transfer over the Internet, possible. First, the Shorten (SHN) file format was developed by a company called SoftSound. The Shorten process non destructively removes extraneous data within PCM wav files, reducing their size by approximately 45–55% while allowing the resulting SHN files to be expanded to their original form without the loss of any audio data. (The newer FLAC format has largely replaced SHN and is now preferred.) These digital audio files, called “filesets”, are thus bit perfect copies, identical to their original sources, and can be played on virtually any computer, converted to the appropriate format to be burnt to CD for playback on home stereo systems, or converted to other formats for use on portable music players. Second, the explosive growth of the Internet allowed many more people to set up File Transfer Protocol (FTP) servers to distribute SHN copies of their recordings at high speed to users with broadband Internet connections. Third, mailing lists, e mail, listservs, etc., allowed collectors and curators to locate each other and material of interest more easily. Once these events happened, the etree community was formed by members of two highly regarded online music trading communities; Sugarmegs Audio and PCP (People for a Clearer Phish). Starting with 10 people, etree. org saw staggering growth rate. By February 2001, there were almost 300 independent FTP servers providing the trunk of etree. org to over 12,000 users. Tools for creating, packaging, verifying and fixing lossless filesets were developed, and included programs like mkwACT, Shorten, Shntool, and others. BitTorrent was written with etree in mind and etree was the only bittorrent listing site linked from the official FAQ for quite some time. As BitTorrent gained in popularity, and as the availability of free, high bandwidth FTP servers was restricted by universities and corporations, the number of etree FTP servers steadily declined, and by 2004, few remained in active service. Still, etree. org continued to grow exponentially. As of June 2010, there were nearly 400,000 registered users of db. etree. org who have contributed more than 480,000 setlists for 42,000 artists, and helped to distribute more than 90,000 lossless recordings for approximately 140 artists, to the world's cultural heritage through bt. etree. org and other like minded online communities.

Награды

В 2000 и 2001 годах etree.org выиграла премию Jammy Award от Jambands.com в категории "Лучший фан-сайт". Это были первые два года проведения церемонии награждения Jammy. После 2002 года Jambands.com перестала вручать эту премию.