Сверхкомпьютеры: мощность и применение

Введение

Тип чрезвычайно мощного компьютера

Суперкомпьютер – это тип компьютера с высоким уровнем производительности по сравнению с компьютером общего назначения. Производительность суперкомпьютера обычно измеряется в операциях с плавающей точкой в секунду (FLOPS) вместо миллионов инструкций в секунду (MIPS). С 2017 года существуют суперкомпьютеры, способные выполнять более 10¹⁷ FLOPS (сто квадриллионов FLOPS, 100 петаFLOPS или 100 PFLOPS). Для сравнения, настольный компьютер имеет производительность в диапазоне от сотен гигаФЛОПС (10¹¹) до десятков тераФЛОПС (10¹³). С ноября 2017 года все 500 самых быстрых суперкомпьютеров в мире работают на операционных системах на базе Linux. В США, Европейском союзе, Тайване, Японии и Китае ведутся дополнительные исследования по созданию более быстрых, мощных и технологически передовых суперкомпьютеров экзамасштаба. Суперкомпьютеры играют важную роль в области вычислительной науки и используются для широкого спектра вычислительно-интенсивных задач в различных областях, включая квантовую механику, прогнозирование погоды, исследования климата, разведку нефти и газа, молекулярное моделирование (вычисление структур и свойств химических соединений, биологических макромолекул, полимеров и кристаллов) и физические симуляции (такие как моделирование ранних моментов Вселенной, аэродинамика самолетов и космических аппаратов, детонация ядерного оружия и ядерный синтез). Они были незаменимы в области криптоанализа. Суперкомпьютеры появились в 1960-х годах, и на протяжении нескольких десятилетий самым быстрым из них был компьютер, созданный Сеймуром Крей в Control Data Corporation (CDC), Cray Research и последующих компаниях, носящих его имя или монограмму. Первые такие машины представляли собой высоконастроенные традиционные конструкции, которые работали быстрее, чем их более универсальные аналоги. В течение десятилетия степень параллелизма постоянно увеличивалась, типичным было использование от одного до четырех процессоров. В 1970-х годах доминирующими стали векторные процессоры, работающие с большими массивами данных. Ярким примером является весьма успешный Cray 1 1976 года. Векторные компьютеры оставались доминирующей конструкцией вплоть до 1990-х годов. С тех пор и по сей день нормой стали массово-параллельные суперкомпьютеры с десятками тысяч серийных процессоров. США долгое время являлись лидером в области суперкомпьютеров, сначала благодаря почти непрерывному доминированию Cray в этой области, а затем благодаря различным технологическим компаниям. Япония добилась значительных успехов в этой области в 1980-х и 90-х годах, а Китай становится все более активным участником. По состоянию на май 2022 года самым быстрым суперкомпьютером в списке TOP500 является Frontier в США с контрольным баллом LINPACK 1,102 ExaFlop/s, за которым следует Fugaku. В США находится пять из десяти лучших, в Китае – два, в Японии, Финляндии и Франции – по одному. В июне 2018 года суммарная производительность всех суперкомпьютеров в списке TOP500 превысила отметку в 1 экзаФЛОПС.

A supercomputer is a type of computer with a high level of performance as compared to a general purpose computer. The performance of a supercomputer is commonly measured in floating point operations per second (FLOPS) instead of million instructions per second (MIPS). Since 2017, supercomputers have existed which can perform over 1017 FLOPS (a hundred quadrillion FLOPS, 100 petaFLOPS or 100 PFLOPS). For comparison, a desktop computer has performance in the range of hundreds of gigaFLOPS (1011) to tens of teraFLOPS (1013). Since November 2017, all of the world's fastest 500 supercomputers run on Linux based operating systems. Additional research is being conducted in the United States, the European Union, Taiwan, Japan, and China to build faster, more powerful and technologically superior exascale supercomputers. Supercomputers play an important role in the field of computational science, and are used for a wide range of computationally intensive tasks in various fields, including quantum mechanics, weather forecasting, climate research, oil and gas exploration, molecular modeling (computing the structures and properties of chemical compounds, biological macromolecules, polymers, and crystals), and physical simulations (such as simulations of the early moments of the universe, airplane and spacecraft aerodynamics, the detonation of nuclear weapons, and nuclear fusion). They have been essential in the field of cryptanalysis. Supercomputers were introduced in the 1960s, and for several decades the fastest was made by Seymour Cray at Control Data Corporation (CDC), Cray Research and subsequent companies bearing his name or monogram. The first such machines were highly tuned conventional designs that ran more quickly than their more general purpose contemporaries. Through the decade, increasing amounts of parallelism were added, with one to four processors being typical. In the 1970s, vector processors operating on large arrays of data came to dominate. A notable example is the highly successful Cray 1 of 1976. Vector computers remained the dominant design into the 1990s. From then until today, massively parallel supercomputers with tens of thousands of off the shelf processors became the norm. The US has long been the leader in the supercomputer field, first through Cray's almost uninterrupted dominance of the field, and later through a variety of technology companies. Japan made major strides in the field in the 1980s and 90s, with China becoming increasingly active in the field. As of May 2022, the fastest supercomputer on the TOP500 supercomputer list is Frontier, in the US, with a LINPACK benchmark score of 1.102 ExaFlop/s, followed by Fugaku. The US has five of the top 10; China has two; Japan, Finland, and France have one each. In June 2018, all combined supercomputers on the TOP500 list broke the 1 exaFLOPS mark.

История

В 1960 году UNIVAC построил компьютер для атомных исследований Ливермора (LARC), который сегодня считается одним из первых суперкомпьютеров, для Центра исследований и разработок ВМС США. Он все еще использовал высокоскоростную барабанную память, а не новую технологию дисковых накопителей. Среди первых суперкомпьютеров также был IBM 7030 Stretch. IBM 7030 был создан IBM для Национальной лаборатории Лос-Аламоса, которая в 1955 году запросила компьютер, в 100 раз превосходящий по скорости любой существующий. IBM 7030 использовал транзисторы, магнитную память на сердечниках, конвейерную обработку инструкций, предварительную выборку данных через контроллер памяти и включал в себя первые дисковые накопители с произвольным доступом. IBM 7030 был завершен в 1961 году и, несмотря на то, что не достиг стократного увеличения производительности, был приобретен Национальной лабораторией Лос-Аламоса. Клиенты в Англии и Франции также приобрели этот компьютер, и он стал основой для IBM 7950 Harvest – суперкомпьютера, предназначенного для криптоанализа. Третьим пионерским проектом суперкомпьютера в начале 1960-х годов был Atlas в Университете Манчестера, созданный командой под руководством Тома Килберна. Он спроектировал Atlas с возможностью хранения до миллиона 48-битных слов в памяти, но из-за высокой стоимости магнитного хранения такого объема, фактическая оперативная память Atlas составляла всего 16 000 слов, а барабан обеспечивал хранение еще 96 000 слов. Операционная система Atlas осуществляла обмен данными в виде страниц между магнитной памятью на сердечниках и барабаном. Операционная система Atlas также внедрила многозадачность в суперкомпьютерные вычисления, позволяя одновременно выполнять несколько программ. Atlas был совместным проектом компаний Ferranti и Университета Манчестера и был разработан для работы на скоростях обработки, приближающихся к одной микросекунде на инструкцию, что составляет около одного миллиона инструкций в секунду. CDC 6600, разработанный Сеймуром Крей, был завершен в 1964 году и ознаменовал переход от германиевых к кремниевым транзисторам. Кремниевые транзисторы работали быстрее, а проблема перегрева была решена путем внедрения системы охлаждения в конструкцию суперкомпьютера. Таким образом, CDC6600 стал самым быстрым компьютером в мире. Учитывая, что производительность 6600 примерно в 10 раз превышала производительность всех других современных компьютеров, он получил название «суперкомпьютер» и определил суперкомпьютерный рынок, когда было продано сто машин по 8 миллионов долларов каждая. Крей покинул CDC в 1972 году, чтобы основать свою компанию Cray Research. Через четыре года после ухода из CDC, в 1976 году Крей поставил Cray 1 с тактовой частотой 80 МГц, который стал одним из самых успешных суперкомпьютеров в истории. Cray 2 был выпущен в 1985 году. Он был оснащен восемью центральными процессорами (CPU), системой жидкостного охлаждения, и хладагент Fluorinert циркулировал по архитектуре суперкомпьютера. Он достиг производительности 1,9 гигафлопс, став первым суперкомпьютером, преодолевшим барьер в один гигафлопс.

In 1960, UNIVAC built the Livermore Atomic Research Computer (LARC), today considered among the first supercomputers, for the US Navy Research and Development Center. It still used high speed drum memory, rather than the newly emerging disk drive technology. Also, among the first supercomputers was the IBM 7030 Stretch. The IBM 7030 was built by IBM for the Los Alamos National Laboratory, which then in 1955 had requested a computer 100 times faster than any existing computer. The IBM 7030 used transistors, magnetic core memory, pipelined instructions, prefetched data through a memory controller and included pioneering random access disk drives. The IBM 7030 was completed in 1961 and despite not meeting the challenge of a hundredfold increase in performance, it was purchased by the Los Alamos National Laboratory. Customers in England and France also bought the computer, and it became the basis for the IBM 7950 Harvest, a supercomputer built for cryptanalysis. The third pioneering supercomputer project in the early 1960s was the Atlas at the University of Manchester, built by a team led by Tom Kilburn. He designed the Atlas to have memory space for up to a million words of 48 bits, but because magnetic storage with such a capacity was unaffordable, the actual core memory of the Atlas was only 16,000 words, with a drum providing memory for a further 96,000 words. The Atlas operating system swapped data in the form of pages between the magnetic core and the drum. The Atlas operating system also introduced time sharing to supercomputing, so that more than one program could be executed on the supercomputer at any one time. Atlas was a joint venture between Ferranti and Manchester University and was designed to operate at processing speeds approaching one microsecond per instruction, about one million instructions per second. The CDC 6600, designed by Seymour Cray, was finished in 1964 and marked the transition from germanium to silicon transistors. Silicon transistors could run more quickly and the overheating problem was solved by introducing refrigeration to the supercomputer design. Thus, the CDC6600 became the fastest computer in the world. Given that the 6600 outperformed all the other contemporary computers by about 10 times, it was dubbed a supercomputer and defined the supercomputing market, when one hundred computers were sold at $8 million each. Cray left CDC in 1972 to form his own company, Cray Research. Four years after leaving CDC, Cray delivered the 80 MHz Cray 1 in 1976, which became one of the most successful supercomputers in history. The Cray 2 was released in 1985. It had eight central processing units (CPUs), liquid cooling and the electronics coolant liquid Fluorinert was pumped through the supercomputer architecture. It reached 1.9 gigaFLOPS, making it the first supercomputer to break the gigaflop barrier.

Массивно параллельные конструкции

Единственным компьютером, который всерьез бросил вызов производительности Cray 1 в 1970-х годах, был ILLIAC IV. Эта машина была первым реализованным примером настоящего массово-параллельного компьютера, в котором множество процессоров работали совместно для решения различных частей одной большой задачи. В отличие от векторных систем, разработанных для максимально быстрой обработки одного потока данных, в этой концепции компьютер распределяет отдельные части данных по совершенно разным процессорам, а затем объединяет результаты. Конструкция ILLIAC была завершена в 1966 году с 256 процессорами и обеспечивала скорость до 1 GFLOPS, по сравнению с пиковой производительностью Cray 1 в 1970-х годах – 250 MFLOPS. Однако проблемы с разработкой привели к созданию лишь 64 процессоров, и система никогда не могла работать быстрее, чем около 200 MFLOPS, будучи значительно больше и сложнее Cray. Другой проблемой было то, что написание программного обеспечения для системы было сложным, а достижение максимальной производительности требовало серьезных усилий. Но частичный успех ILLIAC IV широко рассматривался как указание на будущее суперкомпьютеров. Крей возражал против этого, знаменито пошутив: "Если бы вы пахали поле, что бы вы предпочли использовать: двух сильных быков или 1024 цыплят?". Однако к началу 1980-х годов несколько команд работали над параллельными проектами с тысячами процессоров, в частности, над Connection Machine (CM), разработанной в результате исследований в MIT. CM 1 использовал до 65 536 упрощенных специализированных микропроцессоров, соединенных в сеть для обмена данными. Последовали несколько обновленных версий; суперкомпьютер CM 5 – это машина с массово-параллельной обработкой, способная выполнять миллиарды арифметических операций в секунду. В 1982 году компьютерная графическая система LINKS 1 Университета Осаки использовала архитектуру массовой параллельной обработки с 514 микропроцессорами, включая 257 управляющих процессоров Zilog Z8001 и 257 процессоров с плавающей запятой iAPX 86/20. Она в основном использовалась для рендеринга реалистичной трехмерной компьютерной графики. Fujitsu VPP500 1992 года выпуска необычна тем, что для достижения более высокой скорости ее процессоры использовали GaAs, материал, обычно предназначенный для микроволновых приложений из-за его токсичности. Суперкомпьютер Fujitsu Numerical Wind Tunnel использовал 166 векторных процессоров и занял первое место в 1994 году с пиковой скоростью 1,7 GFLOPS на процессор. Hitachi SR2201 достигла пиковой производительности 600 GFLOPS в 1996 году, используя 2048 процессоров, соединенных через быструю трехмерную сеть переключений. Intel Paragon мог содержать от 1000 до 4000 процессоров Intel i860 в различных конфигурациях и в 1993 году был признан самым быстрым в мире. Paragon была машиной MIMD, которая соединяла процессоры через высокоскоростную двумерную сетку, позволяя процессам выполняться на отдельных узлах, общаясь через интерфейс передачи сообщений. Разработка программного обеспечения оставалась проблемой, но серия CM стимулировала значительные исследования в этой области. Подобные конструкции с использованием специализированного оборудования были созданы многими компаниями, включая Evans & Sutherland ES 1, MasPar, nCUBE, Intel iPSC и Goodyear MPP. Но к середине 1990-х годов производительность процессоров общего назначения настолько возросла, что суперкомпьютер можно было построить, используя их в качестве отдельных вычислительных блоков, вместо специализированных чипов. К началу XXI века конструкции с десятками тысяч стандартных процессоров стали нормой, а более поздние машины добавляли графические процессоры. Работая в Университете Нью-Мексико, Бадер стремился построить суперкомпьютер под управлением Linux, используя потребительские компоненты и высокоскоростную сеть соединений с низкой задержкой. Прототип использовал Alta Technologies "AltaCluster" из восьми компьютеров Intel Pentium II с модифицированным ядром Linux. Бадер портировал значительное количество программного обеспечения для обеспечения поддержки Linux для необходимых компонентов, а также код от членов Национального альянса по вычислительной науке (NCSA) для обеспечения совместимости, поскольку ни одно из них ранее не работало на Linux. Используя успешный прототип, он возглавил разработку "RoadRunner" – первого суперкомпьютера Linux для открытого использования национальным научным и инженерным сообществом через Национальную технологическую сеть Национального научного фонда. RoadRunner был введен в эксплуатацию в апреле 1999 года. На момент развертывания он считался одним из 100 самых быстрых суперкомпьютеров в мире. Хотя Linux-кластеры, использующие компоненты потребительского класса, такие как Beowulf, существовали до разработки прототипа Бадера и RoadRunner, им не хватало масштабируемости, пропускной способности и возможностей параллельных вычислений, чтобы считаться "настоящими" суперкомпьютерами. В другом подходе многие процессоры используются в непосредственной близости друг от друга, например, в компьютерном кластере. В такой централизованной массово-параллельной системе скорость и гибкость сети становятся очень важными, и современные суперкомпьютеры используют различные подходы, от усовершенствованных систем Infiniband до трехмерных тороидальных соединений. Использование многоядерных процессоров в сочетании с централизацией является развивающимся направлением, например, в системе Cyclops64. По мере улучшения цены, производительности и энергоэффективности графических процессоров общего назначения (GPGPU) ряд петафлопсных суперкомпьютеров, таких как Tianhe I и Nebulae, начали полагаться на них. Однако другие системы, такие как K computer, продолжают использовать традиционные процессоры, такие как SPARC, и общая применимость GPGPU в приложениях высокопроизводительных вычислений общего назначения остается предметом дискуссий, поскольку, хотя GPGPU может быть настроен для достижения высоких результатов в определенных тестах, его общая применимость к повседневным алгоритмам может быть ограничена, если не будут приложены значительные усилия для оптимизации приложения. Тем не менее, графические процессоры набирают обороты, и в 2012 году суперкомпьютер Jaguar был преобразован в Titan путем оснащения процессоров графическими процессорами. Высокопроизводительные компьютеры имеют ожидаемый жизненный цикл около трех лет перед необходимостью модернизации. Суперкомпьютер Gyoukou уникален тем, что использует как массово-параллельную конструкцию, так и жидкостное погружное охлаждение.

The only computer to seriously challenge the Cray 1's performance in the 1970s was the ILLIAC IV. This machine was the first realized example of a true massively parallel computer, in which many processors worked together to solve different parts of a single larger problem. In contrast with the vector systems, which were designed to run a single stream of data as quickly as possible, in this concept, the computer instead feeds separate parts of the data to entirely different processors and then recombines the results. The ILLIAC's design was finalized in 1966 with 256 processors and offer speed up to 1 GFLOPS, compared to the 1970s Cray 1's peak of 250 MFLOPS. However, development problems led to only 64 processors being built, and the system could never operate more quickly than about 200 MFLOPS while being much larger and more complex than the Cray. Another problem was that writing software for the system was difficult, and getting peak performance from it was a matter of serious effort. But the partial success of the ILLIAC IV was widely seen as pointing the way to the future of supercomputing. Cray argued against this, famously quipping that "If you were plowing a field, which would you rather use? Two strong oxen or 1024 chickens?" But by the early 1980s, several teams were working on parallel designs with thousands of processors, notably the Connection Machine (CM) that developed from research at MIT. The CM 1 used as many as 65,536 simplified custom microprocessors connected together in a network to share data. Several updated versions followed; the CM 5 supercomputer is a massively parallel processing computer capable of many billions of arithmetic operations per second. In 1982, Osaka University's LINKS 1 Computer Graphics System used a massively parallel processing architecture, with 514 microprocessors, including 257 Zilog Z8001 control processors and 257 iAPX 86/20 floating point processors. It was mainly used for rendering realistic 3D computer graphics. Fujitsu's VPP500 from 1992 is unusual since, to achieve higher speeds, its processors used GaAs, a material normally reserved for microwave applications due to its toxicity. Fujitsu's Numerical Wind Tunnel supercomputer used 166 vector processors to gain the top spot in 1994 with a peak speed of 1.7 gigaFLOPS (GFLOPS) per processor. The Hitachi SR2201 obtained a peak performance of 600 GFLOPS in 1996 by using 2048 processors connected via a fast three dimensional crossbar network. The Intel Paragon could have 1000 to 4000 Intel i860 processors in various configurations and was ranked the fastest in the world in 1993. The Paragon was a MIMD machine which connected processors via a high speed two dimensional mesh, allowing processes to execute on separate nodes, communicating via the Message Passing Interface. Software development remained a problem, but the CM series sparked off considerable research into this issue. Similar designs using custom hardware were made by many companies, including the Evans & Sutherland ES 1, MasPar, nCUBE, Intel iPSC and the Goodyear MPP. But by the mid 1990s, general purpose CPU performance had improved so much in that a supercomputer could be built using them as the individual processing units, instead of using custom chips. By the turn of the 21st century, designs featuring tens of thousands of commodity CPUs were the norm, with later machines adding graphic units to the mix. While at the University of New Mexico, Bader sought to build a supercomputer running Linux using consumer off the shelf parts and a high speed low latency interconnection network. The prototype utilized an Alta Technologies "AltaCluster" of eight dual, 333 MHz, Intel Pentium II computers running a modified Linux kernel. Bader ported a significant amount of software to provide Linux support for necessary components as well as code from members of the National Computational Science Alliance (NCSA) to ensure interoperability, as none of it had been run on Linux previously. Using the successful prototype design, he led the development of "RoadRunner," the first Linux supercomputer for open use by the national science and engineering community via the National Science Foundation's National Technology Grid. RoadRunner was put into production use in April 1999. At the time of its deployment, it was considered one of the 100 fastest supercomputers in the world. Though Linux based clusters using consumer grade parts, such as Beowulf, existed prior to the development of Bader's prototype and RoadRunner, they lacked the scalability, bandwidth, and parallel computing capabilities to be considered "true" supercomputers. In another approach, many processors are used in proximity to each other, e. g. in a computer cluster. In such a centralized massively parallel system the speed and flexibility of the becomes very important and modern supercomputers have used various approaches ranging from enhanced Infiniband systems to three dimensional torus interconnects. The use of multi core processors combined with centralization is an emerging direction, e. g. as in the Cyclops64 system. As the price, performance and energy efficiency of general purpose graphics processing units (GPGPUs) have improved, a number of petaFLOPS supercomputers such as Tianhe I and Nebulae have started to rely on them. However, other systems such as the K computer continue to use conventional processors such as SPARC based designs and the overall applicability of GPGPUs in general purpose high performance computing applications has been the subject of debate, in that while a GPGPU may be tuned to score well on specific benchmarks, its overall applicability to everyday algorithms may be limited unless significant effort is spent to tune the application to it. However, GPUs are gaining ground, and in 2012 the Jaguar supercomputer was transformed into Titan by retrofitting CPUs with GPUs. High performance computers have an expected life cycle of about three years before requiring an upgrade. The Gyoukou supercomputer is unique in that it uses both a massively parallel design and liquid immersion cooling.

Специальные суперкомпьютеры

Было разработано несколько специализированных систем, предназначенных для решения конкретной задачи. Это позволяет использовать специально запрограммированные FPGA-чипы или даже заказные ASIC, что обеспечивает лучшее соотношение цены и производительности за счет отказа от универсальности. Примеры специализированных суперкомпьютеров включают Belle, Deep Blue и Hydra для игры в шахматы, Gravity Pipe для астрофизики, MDGRAPE 3 для предсказания структуры белков и моделирования молекулярной динамики, и Deep Crack для взлома шифра DES.

Использование энергии и управление теплом

На протяжении десятилетий управление тепловой плотностью оставалось ключевой проблемой для большинства централизованных суперкомпьютеров. Большое количество тепла, выделяемого системой, может также оказывать и другие эффекты, например, сокращать срок службы других компонентов системы. Существуют различные подходы к управлению теплом, от прокачки Fluorinert через систему до гибридной системы жидкостно-воздушного охлаждения или воздушного охлаждения с использованием обычных температур кондиционирования. Затраты на электропитание и охлаждение системы могут быть значительными, например, 4 МВт по цене 0,10 долл./кВт·ч составляют 400 долл. в час или около 3,5 млн долл. в год. Управление теплом является важной задачей в сложных электронных устройствах и влияет на мощные компьютерные системы различными способами. Проблемы, связанные с тепловыделением и рассеиванием мощности процессоров в суперкомпьютерах, превосходят возможности традиционных технологий охлаждения компьютеров. Награды за "зелёные" вычисления отражают эту проблему. Упаковка тысяч процессоров вместе неизбежно приводит к образованию значительной тепловой плотности, с которой необходимо справляться. Cray 2 охлаждался жидкостью и использовал "охлаждающий водопад" на основе Fluorinert, который под давлением прокачивался через модули. В системе Blue Gene компания IBM намеренно использовала маломощные процессоры для решения проблемы тепловой плотности. IBM Power 775, выпущенный в 2011 году, имеет плотно упакованные элементы, требующие водяного охлаждения. Система IBM Aquasar использует охлаждение горячей водой для повышения энергоэффективности, при этом вода также используется для отопления зданий. Энергоэффективность компьютерных систем обычно измеряется в терминах "FLOPS на ватт". В 2008 году Roadrunner от IBM работал на уровне 376 MFLOPS/W. В ноябре 2010 года Blue Gene/Q достиг 1684 MFLOPS/W, а в июне 2011 года первые два места в списке Green 500 заняли машины Blue Gene в Нью-Йорке (одна из которых достигла 2097 MFLOPS/W), а кластер DEGIMA в Нагасаки занял третье место с результатом 1375 MFLOPS/W. Поскольку медные провода могут передавать энергию в суперкомпьютер с гораздо большей плотностью мощности, чем отработанное тепло может быть удалено при помощи принудительного воздушного охлаждения или циркулирующих хладагентов, способность систем охлаждения отводить отработанное тепло является ограничивающим фактором. По состоянию на 2015 год многие существующие суперкомпьютеры имеют больший запас инфраструктурной мощности, чем фактический пиковый спрос, и разработчики машин, как правило, консервативно проектируют инфраструктуру электропитания и охлаждения, чтобы обеспечить обработку большего объема, чем теоретическая пиковая потребляемая мощность суперкомпьютера. Проекты будущих суперкомпьютеров ограничены по мощности: тепловая мощность суперкомпьютера в целом, объем, который может обрабатывать инфраструктура электропитания и охлаждения, несколько превышает ожидаемое нормальное энергопотребление, но меньше, чем теоретическая пиковая потребляемая мощность электронного оборудования.

Throughout the decades, the management of heat density has remained a key issue for most centralized supercomputers. The large amount of heat generated by a system may also have other effects, e. g. reducing the lifetime of other system components. There have been diverse approaches to heat management, from pumping Fluorinert through the system, to a hybrid liquid air cooling system or air cooling with normal air conditioning temperatures. The cost to power and cool the system can be significant, e. g. 4 MW at $0.10/kWh is $400 an hour or about $3.5 million per year. Heat management is a major issue in complex electronic devices and affects powerful computer systems in various ways. The thermal design power and CPU power dissipation issues in supercomputing surpass those of traditional computer cooling technologies. The supercomputing awards for green computing reflect this issue. The packing of thousands of processors together inevitably generates significant amounts of heat density that need to be dealt with. The Cray 2 was liquid cooled, and used a Fluorinert "cooling waterfall" which was forced through the modules under pressure. In the Blue Gene system, IBM deliberately used low power processors to deal with heat density. The IBM Power 775, released in 2011, has closely packed elements that require water cooling. The IBM Aquasar system uses hot water cooling to achieve energy efficiency, the water being used to heat buildings as well. The energy efficiency of computer systems is generally measured in terms of "FLOPS per watt". In 2008, Roadrunner by IBM operated at 376 MFLOPS/W. In November 2010, the Blue Gene/Q reached 1,684 MFLOPS/W and in June 2011 the top two spots on the Green 500 list were occupied by Blue Gene machines in New York (one achieving 2097 MFLOPS/W) with the DEGIMA cluster in Nagasaki placing third with 1375 MFLOPS/W. Because copper wires can transfer energy into a supercomputer with much higher power densities than forced air or circulating refrigerants can remove waste heat, the ability of the cooling systems to remove waste heat is a limiting factor. as of 2015, many existing supercomputers have more infrastructure capacity than the actual peak demand of the machine designers generally conservatively design the power and cooling infrastructure to handle more than the theoretical peak electrical power consumed by the supercomputer. Designs for future supercomputers are power limited the thermal design power of the supercomputer as a whole, the amount that the power and cooling infrastructure can handle, is somewhat more than the expected normal power consumption, but less than the theoretical peak power consumption of the electronic hardware.

Операционные системы

С конца 20-го века операционные системы суперкомпьютеров претерпели значительные изменения, обусловленные эволюцией архитектуры суперкомпьютеров. Если ранние операционные системы разрабатывались индивидуально для каждого суперкомпьютера с целью повышения производительности, то сейчас наблюдается тенденция к отказу от собственных разработок в пользу адаптации универсального программного обеспечения, такого как Linux. Поскольку современные массивно-параллельные суперкомпьютеры обычно разделяют вычислительные задачи и другие сервисы, используя различные типы узлов, на разных узлах часто запускаются разные операционные системы, например, на вычислительных узлах используется небольшое и эффективное легковесное ядро, такое как CNK или CNL, а на серверных и узлах ввода-вывода – более крупная система, например, производная от Linux. В то время как в традиционной многопользовательской компьютерной системе планирование задач представляет собой, по сути, задачу управления вычислительными и периферийными ресурсами, в массивно-параллельной системе система управления заданиями должна управлять распределением как вычислительных, так и коммуникационных ресурсов, а также корректно обрабатывать неизбежные аппаратные сбои при наличии десятков тысяч процессоров. Несмотря на то, что большинство современных суперкомпьютеров используют операционные системы на базе Linux, каждый производитель имеет свою собственную специфическую производную Linux, и единого отраслевого стандарта не существует, отчасти из-за того, что различия в аппаратных архитектурах требуют внесения изменений для оптимизации операционной системы под конкретную аппаратную конфигурацию.

Программные инструменты и передача сообщений

Параллельная архитектура суперкомпьютеров часто требует применения специальных методов программирования для раскрытия их вычислительной мощности. Программные средства для распределенных вычислений включают стандартные API, такие как MPI и PVM, VTL, а также программное обеспечение с открытым исходным кодом, например Beowulf. В наиболее распространенных случаях используются среды, такие как PVM и MPI для слабосвязанных кластеров и OpenMP для тесно взаимодействующих машин с общей памятью. Для оптимизации алгоритма под особенности межсоединений машины, на которой он будет выполняться, требуются значительные усилия; цель состоит в том, чтобы не допустить простоя процессоров в ожидании данных от других узлов. GPGPU содержат сотни процессорных ядер и программируются с использованием моделей программирования, таких как CUDA или OpenCL. Более того, отладка и тестирование параллельных программ представляет собой сложную задачу. Для тестирования и отладки таких приложений необходимо применять специальные техники.

Оппортунистические подходы

Оппортунистический суперкомпьютинг – это форма сетевых вычислений, в которой "супервиртуальный компьютер", состоящий из множества слабо связанных добровольных вычислительных машин, выполняет масштабные вычислительные задачи. Сетевые вычисления применяются для решения ряда крупномасштабных, легко распараллеливаемых задач, требующих производительности, сопоставимой с суперкомпьютерами. Однако базовые подходы к сетевым и облачным вычислениям, основанные на добровольных вычислениях, не способны решать традиционные задачи суперкомпьютинга, такие как моделирование динамики жидкостей. Самой быстрой системой сетевых вычислений является добровольный вычислительный проект Folding@home (F@h). По состоянию на 2020 год F@h сообщала о 2,5 экзафлопс вычислительной мощности x86. Из них более 100 пфлопс обеспечиваются клиентами, работающими на различных графических процессорах, а остальное – на различных процессорных системах. Платформа Berkeley Open Infrastructure for Network Computing (BOINC) предоставляет ресурсы для ряда добровольных вычислительных проектов. По состоянию на 2017 год BOINC зафиксировала вычислительную мощность более 166 петафлопс, используя более 762 тысяч активных компьютеров (хостов) в сети. По состоянию на 2016 год распределенный поиск простых чисел Мерсенна Great Internet Mersenne Prime Search (GIMPS) достиг примерно 0,313 пфлопс, используя более 1,3 миллиона компьютеров. Сервер PrimeNet поддерживает подход GIMPS к сетевым вычислениям, один из первых проектов добровольных вычислений, с 1997 года.

Квази-оппортунистические подходы

Квази-оппортунистический суперкомпьютинг – это форма распределенных вычислений, при которой "супервиртуальный компьютер", состоящий из множества сетевых географически распределенных компьютеров, выполняет вычислительные задачи, требующие огромной вычислительной мощности. Квази-оппортунистический суперкомпьютинг направлен на обеспечение более высокого качества обслуживания, чем оппортунистические сетевые вычисления, за счет большего контроля над назначением задач распределенным ресурсам и использования информации о доступности и надежности отдельных систем в сети суперкомпьютеров. Однако квази-оппортунистическое распределенное выполнение ресурсоемкого программного обеспечения для параллельных вычислений в сетях должно быть достигнуто посредством реализации сетевых соглашений о выделении ресурсов, подсистем совместного выделения, механизмов выделения, учитывающих топологию связи, отказоустойчивых библиотек обмена сообщениями и предварительной обработки данных. В 2016 году компании Penguin Computing, Parallel Works, R HPC, Amazon Web Services, Univa, Silicon Graphics International, Rescale, Sabalcore и Gomput начали предлагать облачные вычисления для высокопроизводительных вычислений (HPC). Облако Penguin On Demand (POD) представляет собой модель вычислений на "голом железе" для выполнения кода, при этом каждому пользователю предоставляется виртуализированный узел входа. Вычислительные узлы POD соединены не виртуализированными сетями Ethernet 10 Гбит/с или QDR InfiniBand. Скорость подключения пользователя к центру обработки данных POD варьируется от 50 Мбит/с до 1 Гбит/с. Ссылаясь на облако EC2 Elastic Compute Cloud от Amazon, Penguin Computing утверждает, что виртуализация вычислительных узлов не подходит для HPC. Penguin Computing также критикует тот факт, что облака HPC могут выделять вычислительные узлы клиентам, расположенным на значительном расстоянии друг от друга, что приводит к задержкам, снижающим производительность некоторых приложений HPC.

Развитие и тенденции

В 2010-х годах Китай, США, Европейский Союз и другие страны соревновались за первенство в создании суперкомпьютера с производительностью 1 экзаФЛОП (10<sup>18</sup> или один квинтиллион ФЛОП). Эрик П. ДеБендиктис из Национальной лаборатории Сандии предположил, что для полноценного моделирования погоды требуется компьютер с производительностью zettaFLOPS (10<sup>21</sup> или один секстиллион ФЛОП), способный точно прогнозировать состояние погоды на двухнедельный период. Создание таких систем возможно около 2030 года. Многие методы Монте-Карло используют один и тот же алгоритм для обработки случайно сгенерированных наборов данных, в частности, интегрально-дифференциальные уравнения, описывающие физические процессы переноса, случайные траектории, столкновения, а также отложение энергии и импульса нейтронами, фотонами, ионами, электронами и т.д. Следующим шагом в развитии микропроцессоров может стать переход в третье измерение; применительно к методам Монте-Карло, множество слоев могут быть идентичными, что упростит процессы проектирования и производства. Стоимость эксплуатации высокопроизводительных суперкомпьютеров возросла, главным образом из-за увеличения энергопотребления. В середине 1990-х годов для работы топ-10 суперкомпьютеров требовалось около 100 киловатт, а в 2010 году – от 1 до 2 мегаватт. Исследование 2010 года, заказанное DARPA, выявило энергопотребление как наиболее серьезную проблему на пути к вычислениям экзамасштаба. В то время мегаватт-час потребленной энергии стоил около 1 миллиона долларов. Были построены специализированные центры обработки данных для эффективного отвода тепла, выделяемого современными многоядерными центральными процессорами. На основе данных о энергопотреблении суперкомпьютеров из списка Green 500 за период с 2007 по 2011 год, суперкомпьютеру с производительностью 1 экзаФЛОП в 2011 году потребовалось бы почти 500 мегаватт. Операционные системы были разработаны для существующего оборудования с целью экономии энергии, когда это возможно. Неиспользуемые ядра процессоров во время выполнения параллельных приложений переводились в режимы пониженного энергопотребления, что позволило снизить энергозатраты для некоторых суперкомпьютерных приложений. Растущая стоимость эксплуатации суперкомпьютеров стала одним из факторов, стимулирующих тенденцию к объединению ресурсов посредством распределенной суперкомпьютерной инфраструктуры. Первые национальные суперкомпьютерные центры появились в США, за ними последовали Германия и Япония. Европейский Союз запустил Партнерство по передовым вычислениям в Европе (PRACE) с целью создания общеевропейской инфраструктуры суперкомпьютеров, предоставляющей услуги для поддержки ученых из стран Европейского Союза в переносе, масштабировании и оптимизации суперкомпьютерных приложений. Финансирование оборудования для суперкомпьютеров также становилось все более сложной задачей. В середине 1990-х годов топ-10 суперкомпьютеров стоили около 10 миллионов евро, в то время как в 2010 году для приобретения топ-10 суперкомпьютеров требовались инвестиции в размере от 40 до 50 миллионов евро. В 2000-х годах национальные правительства разработали различные стратегии финансирования суперкомпьютеров. В Великобритании национальное правительство полностью финансировало суперкомпьютеры, а управление высокопроизводительными вычислениями было передано национальному финансирующему агентству. Германия разработала смешанную модель финансирования, объединяющую средства региональных и федеральных бюджетов.

In the 2010s, China, the United States, the European Union, and others competed to be the first to create a 1 exaFLOP (1018 or one quintillion FLOPS) supercomputer. Erik P. DeBenedictis of Sandia National Laboratories has theorized that a zettaFLOPS (1021 or one sextillion FLOPS) computer is required to accomplish full weather modeling, which could cover a two week time span accurately. Such systems might be built around 2030. Many Monte Carlo simulations use the same algorithm to process a randomly generated data set; particularly, integro differential equations describing physical transport processes, the random paths, collisions, and energy and momentum depositions of neutrons, photons, ions, electrons, etc. The next step for microprocessors may be into the third dimension; and specializing to Monte Carlo, the many layers could be identical, simplifying the design and manufacture process. The cost of operating high performance supercomputers has risen, mainly due to increasing power consumption. In the mid 1990s a top 10 supercomputer required in the range of 100 kilowatts, in 2010 the top 10 supercomputers required between 1 and 2 megawatts. A 2010 study commissioned by DARPA identified power consumption as the most pervasive challenge in achieving Exascale computing. At the time a megawatt per year in energy consumption cost about 1 million dollars. Supercomputing facilities were constructed to efficiently remove the increasing amount of heat produced by modern multi core central processing units. Based on the energy consumption of the Green 500 list of supercomputers between 2007 and 2011, a supercomputer with 1 exaFLOPS in 2011 would have required nearly 500 megawatts. Operating systems were developed for existing hardware to conserve energy whenever possible. CPU cores not in use during the execution of a parallelized application were put into low power states, producing energy savings for some supercomputing applications. The increasing cost of operating supercomputers has been a driving factor in a trend toward bundling of resources through a distributed supercomputer infrastructure. National supercomputing centers first emerged in the US, followed by Germany and Japan. The European Union launched the Partnership for Advanced Computing in Europe (PRACE) with the aim of creating a persistent pan European supercomputer infrastructure with services to support scientists across the European Union in porting, scaling and optimizing supercomputing applications. Funding supercomputer hardware also became increasingly difficult. In the mid 1990s a top 10 supercomputer cost about 10 million euros, while in 2010 the top 10 supercomputers required an investment of between 40 and 50 million euros. In the 2000s national governments put in place different strategies to fund supercomputers. In the UK the national government funded supercomputers entirely and high performance computing was put under the control of a national funding agency. Germany developed a mixed funding model, pooling local state funding and federal funding.

В художественной литературе

Примеры суперкомпьютеров в художественной литературе включают HAL 9000, Multivac, «Остановка машины», GLaDOS, «Неизбежный конфликт», «Молот Вулкана», Colossus, WOPR, AM и Deep Thought. Cray X MP упоминается как суперкомпьютер, использованный для секвенирования ДНК, извлеченной из сохранившихся паразитов в серии фильмов «Парк Юрского периода».