ARC: Программное обеспечение для сеточных вычислений

Введение

Программное обеспечение для сеточных вычислений

infobox software
| name = ARC
| logo = Logo ARC.png
| logo alt = Логотип ARC

Функциональность ARC CE включает в себя подготовку и кэширование данных, разработанные для поддержки ресурсоемких распределенных вычислений. ARC – это программное обеспечение с открытым исходным кодом, распространяемое под лицензией Apache 2.0.

История

ARC появился (и до сих пор часто упоминается) как промежуточное ПО NorduGrid, первоначально предложенное в качестве архитектуры поверх Globus Toolkit, оптимизированной для нужд вычислительной физики высоких энергий для экспериментов Большого адронного коллайдера. Первое развертывание ARC на тестовой площадке NorduGrid состоялось летом 2002 года, а к 2003 году он использовался для поддержки сложных вычислений. Первый стабильный релиз ARC (версия 0.4) вышел в апреле 2004 года под лицензией GNU General Public License. Название "Advanced Resource Connector" было введено для этого релиза, чтобы отличать промежуточное ПО от инфраструктуры. В том же году шведский национальный проект Swegrid стал первой крупной междисциплинарной инфраструктурой, основанной на ARC. В 2005 году NorduGrid была официально учреждена как объединение для поддержки и координации разработки ARC. В 2006 году были запущены два тесно связанных проекта: Nordic Data Grid Facility, развертывающий общескандинавскую инфраструктуру e-Science на основе ARC, и KnowARC, ориентированный на преобразование ARC в промежуточное ПО для сетей следующего поколения. ARC v0.6 был выпущен в мае 2007 года, став вторым стабильным релизом. Его ключевой особенностью стало внедрение клиентской библиотеки, облегчающей разработку приложений более высокого уровня. Это также был первый релиз ARC, использующий открытые стандарты, поскольку он включал поддержку JSDL. Позднее в том же году был представлен первый технологический предрелиз промежуточного ПО ARC следующего поколения, хотя он и не распространялся вместе с самим ARC. Новый подход предполагал переход к архитектуре, основанной на веб-сервисах, и в целом существенную рефакторизацию основного кода. В 2008 году консорциум NorduGrid принял лицензию Apache для всех компонентов ARC. Последним стабильным релизом в линейке 0 был ARC v0.8, выпущенный в сентябре 2009 года. В конечном итоге он включал предварительную версию нового сервиса исполнения A REX и несколько других компонентов, таких как Chelonia, ISIS, Charon и графический интерфейс arcjobtool. Параллельно с ARC v0.8, проект EU KnowARC выпустил в ноябре 2009 года концептуальный пакет ARC NOX, представляющий собой комплексное решение для сетей, полностью основанное на технологиях веб-сервисов. Название NOX фактически указывает на дату выпуска: ноябрь года Быка. ARC 6 был выпущен в мае 2019 года и, хотя сохраняет те же интерфейсы, отличается полностью переработанной конфигурацией и новым инструментом управления.

ARC appeared (and is still often referred to) as the NorduGrid middleware, originally proposed as an architecture on top of the Globus Toolkit optimized for the needs of High Energy Physics computing for the Large Hadron Collider experiments. First deployment of ARC at the NorduGrid testbed took place in summer 2002, and by 2003 it was used to support complex computations. The first stable release of ARC (version 0.4) came out in April 2004 under the GNU General Public License. The name "Advanced Resource Connector" was introduced for this release to distinguish the middleware from the infrastructure. In the same year, the Swedish national Grid project Swegrid became the first large cross discipline infrastructure to be based on ARC. In 2005, NorduGrid was formally established as a collaboration to support and coordinate ARC development. In 2006 two closely related projects were launched: the Nordic Data Grid Facility, deploying a pan Nordic e Science infrastructure based on ARC, and KnowARC, focused on transforming ARC into a next generation Grid middleware. ARC v0.6 was released in May 2007, becoming the second stable release. Its key feature was introduction of the client library enabling easy development of higher level applications. It was also the first ARC release making use of open standards, as it included support for JSDL. Later that year, the first technology preview of the next generation ARC middleware was made available, though was not distributed with ARC itself. The new approach involved switching to a Web service based architecture, and in general a very substantial re factorisation of the core code. In 2008, the NorduGrid consortium adopted the Apache License for all ARC components. The last stable release in the 0 line was ARC v0.8, shipped in September 2009. It eventually included a preview version of the new execution service the A REX and several other components, such as Chelonia, ISIS, Charon and the arcjobtool GUI. In parallel to ARC v0.8, the EU KnowARC project released in November 2009 the conceptual ARC NOX suite, which was a complete Grid solution, fully based on Web service technologies. The name NOX actually indicates the release date: November of the Year of the Ox. ARC 6 was released in May 2019 and while having same interfaces it features a completely redesigned configuration and a new management tool.

Код источника

ARC – это свободное программное обеспечение, доступное из общедоступного репозитория NorduGrid как в виде бинарных пакетов для различных систем Linux и исходного кода, так и на GitHub. Открытая разработка промежуточного программного обеспечения ARC координируется коллаборацией NorduGrid. Вклад в разработку программного обеспечения, документацию и распространение поступает от сообщества и различных проектов, таких как проекты ЕС KnowARC и EMI, NDGF, NeIC, а также от различных национальных инфраструктурных и исследовательских проектов.

Версионное управление

В период с 2011 по 2018 год ARC использовал схему версионирования, аналогичную Ubuntu, для пакетных релизов, состоящих из отдельных компонентов. Отдельные компоненты имеют собственное версионирование, соответствующее тегам кода. Версия основных пакетов ARC часто используется вместо официального номера релиза в повседневном общении. Начиная с ARC6 (2019) номер версии релиза совпадает с номером соответствующего тега.

Стандарты и операционная совместимость

ARC реализует несколько стандартов Open Grid Forum, в частности, JSDL, Glue2, BES, UR/RUS и StAR.

Европейская инициатива по межпрограммным продуктам

В 2010–2013 годах несколько ключевых компонентов ARC, в частности HED, A-REX, клиенты и библиотеки, были включены в состав программного обеспечения Европейской инициативы по промежуточному ПО (EMI). Благодаря EMI, ARC стал частью унифицированного распространения промежуточного ПО (UMD) Европейской сетевой инфраструктуры (EGI).

Nordic DataGrid Facility и NeIC

ARC является основой вычислительной инфраструктуры Nordic Data Grid Facility (NDGF), являющейся центром Tier1 сети WLCG. В период с 2006 по 2010 год NDGF активно способствовал разработке ARC, а с 2010 года предоставляет экспертную поддержку по развертыванию ARC в рамках EGI. С 2012 года NDGF вошел в состав Nordic e-Infrastructure Collaboration в качестве проекта Nordic Tier 1 (NT1).

Проект KnowARC

"Технологии обмена знаниями и опытом в сетчатых вычислениях на основе сервисов ARC и открытых стандартов" (KnowARC) был специализированным целевым исследовательским проектом Шестой рамочной программы, финансируемым в рамках приоритета IST 2005 2.5.4 "Продвинутые технологии, системы и сервисы сетей" с июня 2006 года по ноябрь 2009 года. Во многом именно этот проект определил развитие ARC. Основной целью было создание ARC на основе открытых стандартов сообщества, и одним из ключевых результатов стало создание стандартизированной среды размещения для сервисов ARC (HED). Помимо основной цели – дальнейшего развития ARC, проект способствовал увеличению использования Grid и ARC в медицине и биоинформатике. В июле 2009 года KnowARC объявила о своем вкладе в интеграцию технологий Grid в официальные репозитории Linux путем добавления компонентов Globus Toolkit в репозитории Fedora и Debian.