Введение
Oracle Grid Engine, ранее известный как Sun Grid Engine (SGE), CODINE (Computing in Distributed Networked Environments) или GRD (Global Resource Director), представлял собой программную систему для компьютерных кластеров, предназначенную для организации вычислений в сетях (также известную как система пакетной обработки задач), приобретенную в результате покупки Gridware, а затем усовершенствованную и поддерживаемую Sun Microsystems и впоследствии Oracle. Существовали версии с открытым исходным кодом и несколько коммерческих версий этой технологии, изначально разработанные Sun, затем Oracle, а позднее Univa Corporation. 22 октября 2013 года Univa объявила о приобретении интеллектуальной собственности и товарных знаков для технологии Grid Engine и о том, что Univa возьмет на себя ее поддержку. С тех пор Univa развивала технологию Grid Engine, например, улучшая масштабируемость, что было продемонстрировано кластером в 1 миллион ядер в Amazon Web Services (AWS), о чем было объявлено 24 июня 2018 года. Исходный веб-сайт проекта Grid Engine с открытым исходным кодом был закрыт в 2010 году, но версии технологии все еще доступны под оригинальной лицензией Sun Industry Standards Source License (SISSL). Эти проекты были созданы на основе исходного кода проекта и известны как Son of Grid Engine, Open Grid Scheduler и Univa Grid Engine. Grid Engine обычно используется в компьютерных парках или кластерах высокопроизводительных вычислений (HPC) и отвечает за прием, планирование, распределение и управление удаленным и распределенным выполнением большого количества независимых, параллельных или интерактивных пользовательских заданий. Он также управляет распределением распределенных ресурсов, таких как процессоры, память, дисковое пространство и лицензии на программное обеспечение. Grid Engine был основой системы вычислительных услуг Sun Grid, предоставленной через Интернет в Соединенных Штатах в 2006 году, позднее ставшей доступной во многих других странах и являвшейся ранней версией общедоступной облачной инфраструктуры, предшествующей, например, AWS.
Oracle Grid Engine, previously known as Sun Grid Engine (SGE), CODINE (Computing in Distributed Networked Environments) or GRD (Global Resource Director), was a grid computing computer cluster software system (otherwise known as a batch queuing system), acquired as part of a purchase of Gridware, then improved and supported by Sun Microsystems and later Oracle. There have been open source versions and multiple commercial versions of this technology, initially from Sun, later from Oracle and then from Univa Corporation. On October 22, 2013 Univa announced it acquired the intellectual property and trademarks for the Grid Engine technology and that Univa will take over support. Univa has since evolved the Grid Engine technology, e. g. improving scalability as demonstrated by a 1 million core cluster in Amazon Web Services (AWS) announced on June 24, 2018. The original Grid Engine open source project website closed in 2010, but versions of the technology are still available under its original Sun Industry Standards Source License (SISSL). Those projects were forked from the original project code and are known as Son of Grid Engine, Open Grid Scheduler and Univa Grid Engine. Grid Engine is typically used on a computer farm or high performance computing (HPC) cluster and is responsible for accepting, scheduling, dispatching, and managing the remote and distributed execution of large numbers of standalone, parallel or interactive user jobs. It also manages and schedules the allocation of distributed resources such as processors, memory, disk space, and software licenses. Grid Engine used to be the foundation of the Sun Grid utility computing system, made available over the Internet in the United States in 2006, later becoming available in many other countries and having been an early version of a public cloud computing facility predating AWS, for instance.
История
В 2000 году Sun приобрела Gridware, частного коммерческого поставщика передового программного обеспечения для управления вычислительными ресурсами с офисами в Сан-Хосе, Калифорния, и Регенсбурге, Германия. Позже в том же году Sun предложила бесплатную версию Gridware для Solaris и Linux и переименовала продукт в Sun Grid Engine. В 2001 году Sun предоставила доступ к исходному коду и перешла на модель разработки с открытым исходным кодом. Порты для Mac OS X и *BSD были разработаны разработчиками открытого кода, не связанными с Sun. В 2010 году, после приобретения Sun компанией Oracle, исходный код обновления 6.2 Grid Engine 6 не был включен в состав бинарных файлов, и изменения не были возвращены в репозиторий исходного кода проекта. В ответ на это сообщество Grid Engine запустило проект Open Grid Scheduler для продолжения разработки и поддержки бесплатной реализации Grid Engine. 18 января 2011 года было объявлено, что Univa привлекла нескольких ведущих инженеров из бывшей команды Sun Grid Engine и будет разрабатывать собственную ответвленную версию Grid Engine. Недавно анонсированный Univa Grid Engine включал коммерческую поддержку и конкурировал с официальной версией Oracle Grid Engine. 22 октября 2013 года Univa объявила о приобретении интеллектуальной собственности и товарных знаков, связанных с технологией Grid Engine, и о том, что возьмет на себя поддержку клиентов Oracle Grid Engine. В сентябре 2020 года Altair Engineering, глобальная технологическая компания, предоставляющая решения в области анализа данных, разработки продуктов и высокопроизводительных вычислений (HPC), приобрела Univa.
Архитектура кластера
Типичный кластер Grid Engine состоит из главного хоста и одного или нескольких рабочих хостов. Также можно настроить несколько резервных главных хостов, которые принимают на себя роль главного хоста в случае сбоя основного.