ILLIAC IV: Первый массово-параллельный компьютер

Введение

Первый массово параллельный компьютер

ILLIAC IV был первым массово параллельным компьютером. Система первоначально проектировалась с 256 64-битными блоками с плавающей запятой (FPU) и четырьмя центральными процессорами (CPU), способными обрабатывать 1 миллиард операций в секунду. Из-за бюджетных ограничений был построен только один "квадрант" с 64 FPU и одним CPU. Поскольку все FPU обрабатывали одну и ту же инструкцию – ADD, SUB и т. д. – в современной терминологии, эта архитектура считается архитектурой с единой инструкцией и множественными данными (SIMD). Идея создания компьютера на основе массива процессоров пришла Дэниелу Слотнику, когда он работал программистом на машине IAS в 1952 году. Формальное проектирование началось в 1960 году, когда Слотник работал в Westinghouse Electric и получил финансирование разработки по контракту с ВВС США. Когда это финансирование закончилось в 1964 году, Слотник перешел в Университет Иллинойса в Урбане-Шампейне и присоединился к команде Illinois Automatic Computer (ILLIAC). При финансировании от Агентства передовых исследовательских проектов (ARPA) они приступили к разработке новой концепции с 256 64-битными процессорами вместо первоначальной концепции с 1024 1-битными процессорами. Пока машина собиралась компанией Burroughs, университет начал строить новое здание для её размещения. Политическая напряженность, связанная с финансированием от Министерства обороны США, привела к тому, что ARPA и университет опасались за сохранность машины. Когда первый 64-процессорный квадрант машины был завершен в 1972 году, он был отправлен в Исследовательский центр NASA Ames в Калифорнии. После трех лет тщательной модификации для устранения различных дефектов ILLIAC IV был подключен к сети ARPANET для распределенного использования в ноябре 1975 года, став первым сетевым суперкомпьютером, опередив Cray 1 почти на 12 месяцев. Работающий на половине своей проектной скорости, единственный квадрант ILLIAC IV обеспечивал пиковую производительность 50 MFLOP, что делало его самым быстрым компьютером в мире в то время. Ему также приписывают использование первой крупной компьютерной системы с твердотельной памятью, а также он был самым сложным компьютером, построенным на тот момент, с более чем 1 миллионом логических элементов. Несмотря на то, что проект в целом считается неудачным из-за значительных превышений бюджета, он сыграл важную роль в разработке новых методов и систем для программирования параллельных систем. В 1980-х годах несколько машин, основанных на концепциях ILLIAC IV, были успешно поставлены.

The ILLIAC IV was the first massively parallel computer. The system was originally designed to have 256 64 bit floating point units (FPUs) and four central processing units (CPUs) able to process 1 billion operations per second. Due to budget constraints, only a single "quadrant" with 64 FPUs and a single CPU was built. Since the FPUs all processed the same instruction – ADD, SUB etc. – in modern terminology, the design would be considered to be single instruction, multiple data, or SIMD. The concept of building a computer using an array of processors came to Daniel Slotnick while working as a programmer on the IAS machine in 1952. A formal design did not start until 1960, when Slotnick was working at Westinghouse Electric and arranged development funding under a US Air Force contract. When that funding ended in 1964, Slotnick moved to the University of Illinois Urbana–Champaign and joined the Illinois Automatic Computer (ILLIAC) team. With funding from Advanced Research Projects Agency (ARPA), they began the design of a newer concept with 256 64 bit processors instead of the original concept with 1,024 1 bit processors. While the machine was being assembled by Burroughs, the university began building a new facility to house it. Political tension over the funding from the US Department of Defense led to the ARPA and the university fearing for the machine's safety. When the first 64 processor quadrant of the machine was completed in 1972, it was sent to the NASA Ames Research Center in California. After three years of thorough modification to fix various flaws, ILLIAC IV was connected to the ARPANET for distributed use in November 1975, becoming the first network available supercomputer, beating the Cray 1 by nearly 12 months. Running at half its design speed, the one quadrant ILLIAC IV delivered 50 MFLOP peak, making it the fastest computer in the world at that time. It is also credited with being the first large computer to use solid state memory, as well as the most complex computer built to that date, with over 1 million gates. Generally considered a failure due to massive budget overruns, the design was instrumental in the development of new techniques and systems for programming parallel systems. In the 1980s, several machines based on ILLIAC IV concepts were successfully delivered.

Происхождение

В июне 1952 года Дэниел Слотник начал работать над машиной IAS в Институте перспективных исследований (IAS) в Принстонском университете. Машина IAS имела битово-параллельный математический блок, работавший с 40-битными словами. Изначально оснащенная памятью на электронно-лучевых трубках Williams, она позже была дополнена магнитным барабаном от Engineering Research Associates. Этот барабан имел 80 дорожек, что позволяло считывать два слова одновременно, и каждая дорожка хранила 1024 бита. Размышляя о механизме барабана, Слотник начал сомневаться, правильно ли устроена архитектура компьютера. Если бы биты слова записывались последовательно на одну дорожку, а не параллельно на 40 дорожек, то данные можно было бы напрямую подавать в битово-последовательный компьютер, бит за битом, прямо с барабана. Барабан по-прежнему имел бы несколько дорожек и головок, но вместо того, чтобы собирать слово и отправлять его в одно арифметико-логическое устройство (АЛУ), в этой концепции данные на каждой дорожке считывались бы по одному биту и отправлялись в параллельные АЛУ. Это был бы компьютер с параллельной организацией слов и последовательной передачей битов. Слотник предложил эту идею в IAS, но Джон фон Нейман отклонил её, посчитав, что для её реализации потребуется "слишком много ламп". Слотник покинул IAS в феврале 1954 года, чтобы вернуться в университет для получения докторской степени, и это предложение было забыто.

Соломон

После завершения докторской диссертации и некоторой постдокторской работы Слотник оказался в IBM. К этому времени, по крайней мере для научных вычислений, электронные лампы и барабанные накопители были заменены транзисторами и магнитной памятью на сердечниках. Идея параллельных процессоров, работающих с разными потоками данных, поступающими с барабана, уже не казалась столь очевидной. Тем не менее, дальнейший анализ показал, что параллельные машины все еще могли обеспечить значительную производительность в некоторых приложениях. В 1958 году Слотник и его коллега, Джон Кокк (более известный как изобретатель RISC), опубликовали статью на эту тему. После непродолжительной работы в IBM и затем в Aeronca Aircraft, Слотник перешел в подразделение Air Arm компании Westinghouse, занимавшееся разработкой радаров и подобных систем. По контракту с RADC ВВС США, Слотник смог собрать команду для разработки системы с 1024-битными последовательными арифметико-логическими устройствами (АЛУ), известными как "элементы обработки" или ПЭ. Этот проект получил название SOLOMON, в честь царя Соломона, известного своей мудростью и тысячей жен. Элементы ПЭ должны были получать инструкции от единого главного центрального процессора (ЦП), "блока управления" или ЦУ. ЦУ SOLOMON считывал инструкции из памяти, декодировал их и передавал на обработку элементам ПЭ. Каждый ПЭ имел собственную память для хранения операндов и результатов – модуль памяти ПЭ, или ПЭМ. ЦУ мог получить доступ ко всей памяти через выделенную шину памяти, в то время как ПЭ могли обращаться только к своей собственной ПЭМ. Для того чтобы результаты одного ПЭ могли использоваться в качестве входных данных для другого, отдельная сеть соединяла каждый ПЭ с восемью ближайшими соседями. Было построено несколько экспериментальных систем, включая систему 3x3 (9 ПЭ) и модель 10x10 с упрощенными ПЭ. В этот период рассматривались более сложные конструкции ПЭ, вплоть до 24-битной параллельной системы, организованной в матрицу 256x32. В 1963 году был создан один ПЭ, построенный по этой схеме. Пока велась проектная работа, основной спонсор в Министерстве обороны США погиб в аварии, и дальнейшее финансирование не последовало. Стремясь продолжить разработку, Слотник обратился в Ливермор, который в то время был лидером в закупках суперкомпьютеров. Они проявили большой интерес к проекту, но убедили его модернизировать фиксированные математические блоки текущей конструкции до блоков с плавающей точкой, что привело к созданию SOLOMON.2. Ливермор не стал финансировать разработку, а предложил контракт на аренду машины после ее завершения. Руководство Westinghouse посчитало это слишком рискованным и распустило команду. Слотник покинул Westinghouse, пытаясь привлечь венчурный капитал для продолжения проекта, но безуспешно. Впоследствии Ливермор выбрал CDC STAR 100 для этой роли, поскольку CDC был готов взять на себя расходы на разработку.

After completing his PhD and some post doc work, Slotnick ended up at IBM. By this time, for scientific computing at least, tubes and drums had been replaced with transistors and magnetic core memory. The idea of parallel processors working on different streams of data from a drum no longer had the same obvious appeal. Nevertheless, further consideration showed that parallel machines could still offer significant performance in some applications; Slotnick and a colleague, John Cocke (better known as the inventor of RISC), wrote a paper on the concept in 1958. After a short time at IBM and then another at Aeronca Aircraft, Slotnick ended up at Westinghouse's Air Arm division, which worked on radar and similar systems. Under a contract from the US Air Force's RADC, Slotnik was able to build a team to design a system with 1,024 bit serial ALUs, known as "processing elements" or PE's. This design was given the name SOLOMON, after King Solomon, who was both very wise and had 1,000 wives. The PE's would be fed instructions from a single master central processing unit (CPU), the "control unit" or CU. SOLOMON's CU would read instructions from memory, decode them, and then hand them off to the PE's for processing. Each PE had its own memory for holding operands and results, the PE Memory module, or PEM. The CU could access the entire memory via a dedicated memory bus, whereas the PE's could only access their own PEM. To allow results from one PE to be used as inputs in another, a separate network connected each PE to its eight closest neighbours. Several testbed systems were constructed, including a 3 by 3 (9 PE) system and a 10 by 10 model with simplified PEs. During this period, some consideration was given to more complex PE designs, becoming a 24 bit parallel system that would be organized in a 256 by 32 arrangement. A single PE using this design was built in 1963. As the design work continued, the primary sponsor within the US Department of Defense was killed in an accident and no further funding was forthcoming. Looking to continue development, Slotnik approached Livermore, who at that time had been at the forefront of supercomputer purchases. They were very interested in the design but convinced him to upgrade the current design's fixed point math units to true floating point, which resulted in the SOLOMON.2 design. Livermore would not fund development, instead, they offered a contract in which they would lease the machine once it was completed. Westinghouse management considered it too risky, and shut down the team. Slotnik left Westinghouse attempting to find venture capital to continue the project, but failed. Livermore would later select the CDC STAR 100 for this role, as CDC was willing to take on the development costs.

ILLIAC IV (всего лишь в США)

Когда SOLOMON был завершен, Slotnick присоединился к команде разработчиков Иллинойсского автоматического компьютера (ILLIAC) в Университете Иллинойса в Урбана-Шампейн. Иллинойс проектировал и строил большие компьютеры для Министерства обороны США и Агентства передовых исследовательских проектов (ARPA) с 1949 года. В 1964 году университет заключил контракт с ARPA на финансирование проекта, который получил название ILLIAC IV, поскольку это был четвертый компьютер, разработанный и созданный в университете. Разработка началась в 1965 году, а первоначальный проект был завершен в 1966 году. В отличие от последовательной (бит-серийной) концепции SOLOMON, в ILLIAC IV вычислительные элементы (PE) были модернизированы до полноценных 64-битных (параллельных) процессоров, использующих 12 000 логических элементов и 2048 слов тонкопленочной памяти. Каждый вычислительный элемент имел пять 64-битных регистров, каждый из которых выполнял определенную функцию. Один из них, RGR, использовался для передачи данных соседним вычислительным элементам, перемещая данные на один "шаг" за каждый тактовый цикл. Другой регистр, RGD, указывал, активен ли данный вычислительный элемент в данный момент. "Неактивные" вычислительные элементы не могли обращаться к памяти, но передавали результаты соседним вычислительным элементам с помощью RGR. Вычислительные элементы были разработаны для работы как один 64-битный блок вычислений с плавающей точкой (FPU), два 32-битных блока вычислений с плавающей точкой половинной точности или восемь 8-битных процессоров с фиксированной точкой. Вместо 1024 вычислительных элементов и одного центра управления (CU), новая конструкция включала в себя в общей сложности 256 вычислительных элементов, организованных в четыре "квадранта" по 64 вычислительных элемента, каждый со своим собственным CU. Центральные управления также были 64-битными, с шестьдесят четырьмя 64-битными регистрами и четырьмя 64-битными аккумуляторами. Система могла работать как четыре отдельных 64-элементных машины, две 128-элементных машины или одна 256-элементная машина. Это позволяло системе решать различные задачи, когда объем данных был недостаточен для использования всего массива из 256 вычислительных элементов. Основываясь на тактовой частоте 25 МГц, при одновременной работе всех 256 вычислительных элементов по одной программе, машина должна была выполнять 1 миллиард операций с плавающей точкой в секунду, или, в современной терминологии, 1 GFLOPS. Это делало ее намного быстрее любой другой машины в мире; современный CDC 7600 имел тактовый цикл 27,5 наносекунд, или 36 MIPS, хотя по ряду причин он обычно обеспечивал производительность около 10 MIPS. Для поддержки машины было построено расширение зданий Лаборатории цифровых компьютеров. Первоначальные работы в университете были в основном направлены на поиск способов эффективной загрузки вычислительных элементов данными, что позволило провести первый "стресс-тест" в разработке компьютеров. Чтобы максимально упростить эту задачу, было создано несколько новых языков программирования: IVTRAN и TRANQUIL были параллельными версиями FORTRAN, а Glypnir – аналогичным преобразованием ALGOL. Как правило, эти языки обеспечивали поддержку загрузки массивов данных "во все" вычислительные элементы для параллельного выполнения, а некоторые даже поддерживали развертывание циклов в операции с массивами.

When SOLOMON ended, Slotnick joined the Illinois Automatic Computer design (ILLIAC) team at the University of Illinois at Urbana Champaign. Illinois had been designing and building large computers for the U. S. Department of Defense and the Advanced Research Projects Agency (ARPA) since 1949. In 1964 the university signed a contract with ARPA to fund the effort, which became known as ILLIAC IV, since it was the fourth computer designed and created at the university. Development started in 1965, and a first pass design was completed in 1966. In contrast to the bit serial concept of SOLOMON, in ILLIAC IV the PE's were upgraded to be full 64 bit (bit parallel) processors, using 12,000 gates and 2048 words of thin film memory. The PEs had five 64 bit registers, each with a special purpose. One of these, RGR, was used for communicating data to neighbouring PEs, moving one "hop" per clock cycle. Another register, RGD, indicated whether or not that PE was currently active. "Inactive" PEs could not access memory, but they would pass results to neighbouring PEs using the RGR. The PEs were designed to work as a single 64 bit FPU, two 32 bit half precision FPUs, or eight 8 bit fixed point processors. Instead of 1,024 PEs and a single CU, the new design had a total of 256 PEs arranged into four 64 PE "quadrants", each with its own CU. The CU's were also 64 bit designs, with sixty four 64 bit registers and another four 64 bit accumulators. The system could run as four separate 64 PE machines, two 128 PE machines, or a single 256 PE machine. This allowed the system to work on different problems when the data was too small to demand the entire 256 PE array. Based on a 25 MHz clock, with all 256 PEs running on a single program, the machine was designed to deliver 1 billion floating point operations per second, or in today's terminology, 1 GFLOPS. This made it much faster than any machine in the world; the contemporary CDC 7600 had a clock cycle of 27.5 nanoseconds, or 36 MIPS, although for a variety of reasons it generally offered performance closer to 10 MIPS. To support the machine, an extension to the Digital Computer Laboratory buildings were constructed. Sample work at the university was primarily aimed at ways to efficiently fill the PEs with data, thus conducting the first "stress test" in computer development. In order to make this as easy as possible, several new computer languages were created; IVTRAN and TRANQUIL were parallelized versions of FORTRAN, and Glypnir was a similar conversion of ALGOL. Generally, these languages provided support for loading arrays of data "across" the PEs to be executed in parallel, and some even supported the unwinding of loops into array operations.

Строительство, проблемы

В начале 1966 года университет направил запрос предложений, в котором искал промышленных партнеров, заинтересованных в создании проекта. В июле было получено 17 ответов, семь из которых откликнулись, и из них были выбраны трое. Некоторые из ответов, включая Control Data, пытались заинтересовать их в разработке векторного процессора, но поскольку работы над такими процессорами уже велись, команда не хотела создавать еще один. В августе 1966 года компаниям RCA, Burroughs и Univac были предложены восьмимесячные контракты на строительство машины. В конечном итоге контракт выиграла Burroughs, объединившись с Texas Instruments (TI). Обе компании предложили новые технические решения, которые сделали их предложение наиболее привлекательным. Burroughs предлагала создать новую и значительно более быструю версию тонкопленочной памяти, что должно было повысить производительность. TI предлагала производить 64-выводные интегральные схемы с эмиттерно-связанной логикой (ECL) с 20 логическими элементами в каждой. В то время большинство ИС использовали 16-выводные корпуса и содержали от 4 до 7 элементов. Использование ИС от TI позволило бы значительно уменьшить размеры системы. Burroughs также должна была поставлять специализированные дисковые накопители, оснащенные отдельной неподвижной головкой для каждой дорожки, обеспечивающие скорость до 500 Мбит/с и хранилище объемом около 80 МБ на 36-дюймовый диск. Они также должны были предоставить мэйнфрейм Burroughs B6500 для использования в качестве контроллера внешней памяти, загружающего данные из вторичного хранилища и выполняющего другие служебные задачи. К B6500 подключалось оптическое записывающее устройство на лазерном луче стороннего производителя – система однократной записи, способная хранить до 1 Тбит на тонкой металлической пленке, нанесенной на полосу полиэстеровой пленки, перемещаемой вращающимся барабаном. Строительство нового проекта началось в лаборатории Great Valley компании Burroughs. В то время предполагалось, что машина будет поставлена в начале 1970 года. После года работы над ИС компания TI объявила о невозможности создания 64-выводных схем. Более сложная внутренняя разводка вызывала перекрестные помехи в схемах, и они запросили еще год на устранение проблем. Вместо этого команда ILLIAC решила перепроектировать машину на основе доступных 16-выводных ИС. Это потребовало снижения тактовой частоты системы до 16 МГц вместо первоначальных 25 МГц. Переход с 64 на 16 выводов обошелся проекту в два года и миллионы долларов. Компания TI смогла запустить 64-выводную схему в работу чуть больше чем через год и начала предлагать ее на рынке до завершения проекта ILLIAC. В результате этого изменения размеры отдельных печатных плат увеличились примерно в квадрат до около. Это поставило крест на попытках Burroughs создать тонкопленочную память для машины, поскольку больше не хватало места для ее размещения в корпусе. Попытки увеличить размеры корпуса для размещения памяти вызвали серьезные проблемы с распространением сигнала. Slotnick изучил потенциальные альтернативы и выбрал полупроводниковую память от Fairchild Semiconductor, решение, вызвавшее столь сильное несогласие со стороны Burroughs, что последовало полное рассмотрение вопроса в ARPA. В 1969 году эти проблемы, в сочетании с возникшим в результате задержек перерасходом средств, привели к решению построить только один квадрант из 64 PE, что ограничило скорость машины примерно до 200 MFLOPS. В совокупности эти изменения обошлись проекту в три года и 6 миллионов долларов. К 1969 году проект тратил 1 миллион долларов в месяц, и его пришлось выделить из первоначальной команды ILLIAC, которая все более активно выражала свое несогласие с проектом.

In early 1966, the university sent out a request for proposals looking for industrial partners interested in building the design. Seventeen responses were received in July, seven responded, and of these three were selected. Several of the responses, including Control Data, attempted to interest them in a vector processor design instead, but as these were already being designed the team was not interested in building another. In August 1966, eight month contracts were offered to RCA, Burroughs, and Univac to bid on the construction of the machine. Burroughs eventually won the contract, having teamed up with Texas Instruments (TI). Both offered new technical advances that made their bid the most interesting. Burroughs was offering to build a new and much faster version of thin film memory which would improve performance. TI was offering to build 64 pin emitter coupled logic (ECL) integrated circuits (ICs) with 20 logic gates each. At the time, most ICs used 16 pin packages and had between 4 and 7 gates. Using TI's ICs would make the system much smaller. Burroughs also supplied the specialized disk drives, which featured a separate stationary head for every track and could offer speeds up to 500 Mbit/s and stored about 80 MB per 36" disk. They would also provide a Burroughs B6500 mainframe to act as a front end controller, loading data from secondary storage and performing other housekeeping tasks. Connected to the B6500 was a 3rd party laser optical recording medium, a write once system that stored up to 1 Tbit on thin metal film coated on a strip of polyester sheet carried by a rotating drum. Construction of the new design began at Burroughs' Great Valley Lab. At the time, it was estimated the machine would be delivered in early 1970. After a year of working on the ICs, TI announced they had failed to be able to build the 64 pin designs. The more complex internal wiring was causing crosstalk in the circuitry, and they asked for another year to fix the problems. Instead, the ILLIAC team chose to redesign the machine based on available 16 pin ICs. This required the system to run slower, using a 16 MHz clock instead of the original 25 MHz. The change from 64 pin to 16 pin cost the project about two years, and millions of dollars. TI was able to get the 64 pin design working after just over another year, and began offering them on the market before ILLIAC was complete. As a result of this change, the individual PC boards grew about square to about This doomed Burroughs' efforts to produce a thin film memory for the machine, because there was now no longer enough space for the memory to fit within the design's cabinets. Attempts to increase the size of the cabinets to make room for the memory caused serious problems with signal propagation. Slotnick surveyed the potential replacements and picked a semiconductor memory from Fairchild Semiconductor, a decision that was so opposed by Burroughs that a full review by ARPA followed. In 1969, these problems, combined with the resulting cost overruns from the delays, led to the decision to build only a single 64 PE quadrant, thereby limiting the machine's speed to about 200 MFLOPS. Together, these changes cost the project three years and $6 million. By 1969, the project was spending $1 million a month, and had to be spun out of the original ILLIAC team who were becoming increasingly vocal in their opposition to the project.

Переезжайте в Эймс .

К 1970 году машина наконец-то строилась приемлемыми темпами и была готова к поставке примерно через год. 6 января 1970 года студенческая газета The Daily Illini сообщила, что компьютер будет использоваться для разработки ядерного оружия. В мае произошла стрельба в Кент-Стейт, и по университетским городкам прокатилась волна антивоенного насилия. Слотник стал выступать против использования машины в засекреченных исследованиях и объявил, что пока она находится на территории университета, все процессы, выполняемые на ней, будут публиковаться. Он также все больше беспокоился о том, что машина может стать объектом нападения со стороны более радикальных студенческих групп, что казалось разумным предостережением после того, как местные студенты присоединились к общенациональной студенческой забастовке 9 мая 1970 года, объявив «день Ильиакции», и особенно после взрыва здания математического факультета в Университете Висконсина–Мэдисон 24 августа. С помощью Ханса Марка, директора Исследовательского центра NASA в Эймсе, который в то время располагался в Силиконовой долине, в январе 1971 года было принято решение о поставке машины в Эймс, а не в университет. Расположенный на действующей военно-морской базе и охраняемый морской пехотой США, он обеспечивал необходимую безопасность. Машина была наконец доставлена в Эймс в апреле 1972 года и установлена в Центральном компьютерном центре в здании N 233. К этому моменту она отставала от графика на несколько лет и значительно превысила бюджет, достигнув общей стоимости в 31 миллион долларов, что почти в четыре раза превышало первоначальную оценку в 8 миллионов долларов за полную 256-процессорную машину. NASA также решило заменить вычислительный комплекс B6500 на PDP 10, которые широко использовались в Эймсе и облегчили бы подключение к сети ARPAnet. Это потребовало разработки нового программного обеспечения, особенно компиляторов, для PDP 10, что привело к дальнейшим задержкам в запуске машины. Управление Illiac IV было передано компании ACTS Computing Corporation, базирующейся в Саутфилде, штат Мичиган, компании, специализирующейся на организации разделения времени и удаленного ввода заданий (RJE), которая недавно была приобретена конгломератом Lear Siegler Corporation. Министерство обороны заключило контракт с ACTS на условиях «себестоимость плюс 10%». Эта необычная схема была обусловлена ограничением, согласно которому зарплата государственного служащего не могла превышать зарплату члена Конгресса, а многие сотрудники Illiac IV зарабатывали больше этой суммы. Доктор Мел Пиртл, имевший опыт работы в Калифорнийском университете в Беркли и Berkeley Computer Corporation (BCC), был назначен директором Illiac IV.

By 1970, the machine was finally being built at a reasonable rate and it was being readied for delivery in about a year. On 6 January 1970, The Daily Illini, the student newspaper, claimed that the computer would be used to design nuclear weapons. In May, the Kent State shootings took place, and anti war violence erupted across university campuses. Slotnick grew to be opposed to the use of the machine on classified research, and announced that as long as it was on the university grounds that all processing that took place on the machine would be publicly released. He also grew increasingly concerned that the machine would be subject to attack by the more radical student groups. a position that seemed wise after the local students joined the 9 May 1970 nationwide student strike by declaring a "day of Illiaction", and especially the 24 August bombing of the mathematics building at the University of Wisconsin–Madison. With the help of Hans Mark, the director of the NASA Ames Research Center in what was becoming Silicon Valley, in January 1971 the decision was made to deliver the machine to Ames rather than the university. Located on an active US Navy base and protected by the U. S. Marines, security would no longer be a concern. The machine was finally delivered to Ames in April 1972, and installed in the Central Computer Facility in building N 233. By this point it was several years late and well over budget at a total price of $31 million, almost four times the original estimate of $8 million for the complete 256 PE machine. NASA also decided to replace the B6500 front end machine with a PDP 10, which were in common use at Ames and would make it much easier to connect to the ARPAnet. This required the development of new software, especially compilers, on the PDP 10. This caused further delays in bringing the machine online. The Illiac IV was contracted to be managed by ACTS Computing Corporation headquartered in Southfield, MI, a Timesharing and Remote Job Entry (RJE) company that had recently been acquired by the conglomerate, Lear Siegler Corporation. The DoD contracted with ACTS under a cost plus 10% contract. This unusual arrangement was due to the constraint that no government employee could be paid more than a Congress person and many Illiac IV personnel made more than that limit. Dr. Mel Pirtle, with a background from the University of California, Berkeley and the Berkeley Computer Corporation (BCC) was engaged as the Illiac IV's director.

Заставляя это работать

Когда машина прибыла, её не удалось запустить. Она страдала от множества проблем – от трещин в печатных платах, некачественных резисторов, до высокой чувствительности к влаге упаковки интегральных схем TI. Эти проблемы решались постепенно, и к лету 1973 года первые программы смогли быть запущены в системе, хотя результаты были весьма сомнительными. Начиная с июня 1975 года, была начата четырехмесячная интенсивная работа, которая, помимо прочего, потребовала замены 110 000 резисторов, перекоммутации некоторых участков для устранения проблем с задержкой распространения сигнала, улучшения фильтрации в блоках питания и дальнейшего снижения тактовой частоты до 13 МГц. В результате этой работы система наконец заработала как положено. С тех пор система работала с понедельника утра до пятницы дня, обеспечивая пользователям 60 часов непрерывной работы, но требуя 44 часов планового простоя. Тем не менее, она все чаще использовалась, поскольку программисты NASA находили способы добиться производительности от этой сложной системы. Поначалу производительность была низкой, большинство программ работали со скоростью около 15 MFLOPS, что примерно в три раза превышало средний показатель для CDC 7600. Со временем производительность улучшилась, особенно после того, как программисты из Эймса разработали собственную версию FORTRAN и CFD, а также научились осуществлять параллельный ввод-вывод данных в ограниченные PEM. Для задач, которые можно было распараллелить, машина оставалась самой быстрой в мире, превосходя CDC 7600 в два-шесть раз, и общепризнанно считалась самой быстрой машиной в мире до 1981 года. 7 сентября 1981 года, после почти 10 лет эксплуатации, ILLIAC IV был выключен. Машина была официально выведена из эксплуатации в 1982 году, и вместе с ней прекратило своё существование передовое вычислительное подразделение NASA. Один блок управления и один шасси процессорного элемента от машины сейчас экспонируются в Музее истории компьютеров в Маунтин-Вью, менее чем в миле от места её эксплуатации.

Последствия

ILLIAC был запущен с большой задержкой, оказался очень дорогим и так и не достиг своей цели – производительности в 1 GFLOP. Он был широко признан неудачей даже теми, кто над ним работал; один из них просто заявил, что «любой непредвзятый наблюдатель должен рассматривать Illiac IV как техническую неудачу». С точки зрения управления проектом, ILLIAC также считается провалом: его стоимость превысила первоначальные оценки в четыре раза и потребовались годы исправительных работ, чтобы заставить его функционировать. Как позже выразился сам Слотник:

Однако последующие анализы отмечают, что проект оказал несколько долгосрочных влияний на компьютерный рынок в целом, как преднамеренных, так и непреднамеренных. Одним из косвенных эффектов стало быстрое развитие полупроводниковой памяти после проекта ILLIAC. Слотник подвергся критике, когда выбрал Fairchild Semiconductor для производства микросхем памяти, поскольку в то время производственная линия представляла собой пустую комнату, а дизайн существовал лишь на бумаге. Однако, после трех месяцев напряженной работы, Fairchild представил рабочий дизайн, который начал производиться массово. Как позже прокомментировал Слотник: «Fairchild великолепно справился с решением нашей проблемы. Память Fairchild была превосходной, и ее надежность до сих пор невероятно высока». Считается, что ILLIAC нанес смертельный удар по памяти на магнитных сердечниках и связанным с ней системам, таким как тонкопленочная память. Другой косвенный эффект был связан со сложностью печатных плат (PCB) или модулей. При первоначальной проектной частоте 25 МГц, импеданс в цепях заземления оказался серьезной проблемой, что требовало максимального уменьшения размеров PCB. По мере роста сложности плат приходилось добавлять все больше слоев, чтобы избежать увеличения их габаритов. В конечном итоге они достигли 15 слоев, что превышало возможности чертежников. Проект был завершен с использованием новых автоматизированных средств проектирования, предоставленных субподрядчиком, а полное проектирование потребовало двух лет вычислительного времени на мэйнфрейме Burroughs. Это был значительный шаг вперед в области автоматизированного проектирования, и к середине 1970-х годов такие инструменты стали обычным явлением. ILLIAC также стимулировал масштабные исследования в области параллельной обработки, которые оказали широкое влияние. В 1980-х годах, с падением цен на микропроцессоры в соответствии с законом Мура, ряд компаний создали системы MIMD (Multiple Instruction, Multiple Data) для построения еще более параллельных машин с компиляторами, способными эффективнее использовать параллелизм. Thinking Machines CM 5 является отличным примером концепции MIMD. Именно лучшее понимание параллелизма, полученное в ILLIAC, привело к улучшению компиляторов и программ, способных использовать эти архитектуры. Как выразился один из программистов ILLIAC: «Если кто-нибудь построит быстрый компьютер из множества микропроцессоров, Illiac IV внесет свой вклад в общее дело». Большинство суперкомпьютеров той эпохи использовали другой подход к повышению производительности, используя один высокоскоростной векторный процессор. Подобно ILLIAC в некоторых аспектах, эти конструкции процессоров загружали множество элементов данных в один специализированный процессор, а не в большое количество узкоспециализированных. Классическим примером такой конструкции является Cray 1, который демонстрировал производительность, сопоставимую с ILLIAC. В результате возникла определенная «обратная реакция» на конструкцию ILLIAC, и в течение некоторого времени рынок суперкомпьютеров с пренебрежением относился к массивно параллельным системам, даже когда они оказывались успешными. Как однажды остроумно заметил Сеймур Крей: «Если бы вы пахали поле, что бы вы предпочли использовать: двух сильных быков или 1024 цыплят?»

However, later analyses note that the project had several long lasting effects on the computer market as a whole, both intentionally and unintentionally. Among the indirect effects was the rapid update of semiconductor memory after the ILLIAC project. Slotnick received a lot of criticism when he chose Fairchild Semiconductor to produce the memory ICs, as at the time the production line was an empty room and the design existed only on paper. However, after three months of intense effort, Fairchild had a working design being produced en masse. As Slotnick would later comment, "Fairchild did a magnificent job of pulling our chestnuts out of the fire. The Fairchild memories were superb and their reliability to this day is just incredibly good." ILLIAC is considered to have dealt a death blow to magnetic core memory and related systems like thin film. Another indirect effect was caused by the complexity of the printed circuit boards (PCBs), or modules. At the original 25 MHz design speed, impedance in the ground wiring proved to be a serious problem, demanding that the PCBs be as small as possible. As their complexity grew, the PCBs had to add more and more layers in order to avoid growing larger. Eventually, they reached 15 layers deep, which proved to be well beyond the capabilities of draftsmen. The design was ultimately completed using new automated design tools provided by a subcontractor, and the complete design required two years of computer time on a Burroughs mainframe. This was a major step forward in computer aided design, and by the mid 1970s such tools were commonplace. ILLIAC also led to major research into the topic of parallel processing that had wide ranging effects. During the 1980s, with the price of microprocessors falling according to Moore's Law, a number of companies created MIMD (Multiple Instruction, Multiple Data) to build even more parallel machines, with compilers that could make better use of the parallelism. The Thinking Machines CM 5 is an excellent example of the MIMD concept. It was the better understanding of parallelism on ILLIAC that led to the improved compilers and programs that could take advantage of these designs. As one ILLIAC programmer put it, "If anybody builds a fast computer out of a lot of microprocessors, Illiac IV will have done its bit in the broad scheme of things." Most supercomputers of the era took another approach to higher performance, using a single very high speed vector processor. Similar to the ILLIAC in some ways, these processor designs loaded up many data elements into a single custom processor instead of a large number of specialized ones. The classic example of this design is the Cray 1, which had performance similar to the ILLIAC. There was more than a little "backlash" against the ILLIAC design as a result, and for some time the supercomputer market looked on massively parallel designs with disdain, even when they were successful. As Seymour Cray famously quipped, "If you were plowing a field, which would you rather use? Two strong oxen or 1024 chickens?"

Физическое расположение

Каждый квадрант машины был высотой 3 метра, глубиной 2 метра и длиной 15 метров. Рядом с квадрантом располагалась система ввода/вывода (I/O), дисковая подсистема которой хранила 2,5 ГиБ и могла читать и записывать данные со скоростью 1 миллиард бит в секунду, а также компьютер B6700, который подключался к машине через тот же 1024-битный интерфейс, что и дисковая подсистема. Машина состояла из серии несущих шасси, содержащих множество небольших модулей. Большинство из них представляли собой процессорные блоки (ПУ), которые включали модули для одного ПЭ, его ПЭМ и блок логики памяти, отвечающий за преобразование адресов и ввод/вывод. ПУ были идентичны, поэтому их можно было заменять или переупорядочивать по мере необходимости.

Данные о процессоре

Каждая КУ содержала от 30 до 40 000 логических элементов. В КУ было шестнадцать 64-битных регистров и отдельный 64-слотовый 64-битный "буфер обмена", LDB. Присутствовали четыре аккумулятора, AC0–AC3, счетчик команд ILR и различные регистры управления. Система имела короткий конвейер команд и поддерживала предварительное чтение команд. У ПЭ было около 12 000 логических элементов. Он включал четыре 64-битных регистра: аккумулятор A, буфер операндов B и вторичный буфер обмена S. Четвертый регистр, R, использовался для широковещательной передачи или приема данных от других ПЭ. В ПЭ использовался сумматор с переносом по разряду, детектор старшего значащего бита для булевых операций и сдвигающий регистр. 64-битные сложения занимали около 200 нс, а умножения – около 400 нс. ПЭ были подключены к собственной банковской памяти, PEM, объемом 2048 64-битных слов. Время доступа составляло около 250 нс. ПЭ использовали архитектуру загрузки/сохранения. Набор команд (ISA) содержал два отдельных набора инструкций: один для КУ (или модуля в ней, ADVAST), а другой – для ПЭ. Инструкции для ПЭ не декодировались, а отправлялись непосредственно в регистр FINST для передачи в ПЭ для обработки. Инструкции ADVAST декодировались и поступали в конвейер обработки КУ.

Логическое расположение

Каждый квадрант содержал 64 ПЭ и один КУ. КУ имел доступ ко всей шине ввода-вывода и мог адресовать всю память машины. ПЭ могли обращаться только к своему локальному хранилищу, PEM, объемом 2048 64-битных слов. И ПЭ, и КУ могли использовать операции загрузки и сохранения для доступа к дисковой системе. Шкафы были настолько большими, что для прохождения сигнала от одного конца к другому требовалось 240 нс. По этой причине КУ не мог использоваться для координации действий, вместо этого вся система была синхронизирована по тактовым импульсам, и все операции в ПЭ гарантированно занимали одинаковое время, независимо от операндов. Таким образом, КУ мог быть уверен в завершении операций без ожидания результатов или кодов состояния. Для повышения производительности операций, требующих использования результатов одного ПЭ в качестве входных данных для другого ПЭ, ПЭ были соединены напрямую со своими соседями, а также с ПЭ, находящимися на расстоянии восьми шагов – например, ПЭ1 был напрямую соединен с ПЭ0 и ПЭ2, а также с ПЭ9 и ПЭ45. Соединения на расстоянии восьми шагов обеспечивали более быструю передачу данных, когда они должны были перемещаться между удаленными ПЭ. Каждый сдвиг данных перемещал 64 слова за один тактовый цикл в 125 нс. Система использовала одноадресный формат, в котором инструкции содержали адрес одного из операндов, а другой операнд находился в аккумуляторе ПЭ (регистр А). Адрес передавался в ПЭ по отдельной "шине широковещания". В зависимости от инструкции, значение на шине могло соответствовать ячейке памяти в PEM ПЭ, значению в одном из регистров ПЭ или числовой константе. Поскольку каждый ПЭ имел свою собственную память, в то время как формат инструкций и КУ видели все адресное пространство, система включала индексный регистр (X) для смещения базового адреса. Это позволяло, например, одному и тому же потоку инструкций работать с данными, расположенными не в одинаковых местах в разных ПЭ. Типичным примером является массив данных, загруженный в разные области PEM, который затем можно было унифицировать, установив индекс в разных ПЭ.

Each quadrant contained 64 PEs and one CU. The CU had access to the entire I/O bus and could address all of the machine's memory. The PEs could only access their own local store, the PEM, of 2,048 64 bit words. Both the PEs and CU could use load and store operations to access the disk system. The cabinets were so large that it required 240 ns for signals to travel from one end to the other. For this reason, the CU could not be used to coordinate actions, instead, the entire system was clock synchronous with all operations in the PEs guaranteed to take the same amount of time no matter what the operands were. That way the CU could be sure that the operations were complete without having to wait for results or status codes. To improve the performance of operations that required the output of one PE's results to be used as the input to another PE, the PEs were connected directly to their neighbours, as well as the ones eight steps away for instance, PE1 was directly connected to PE0 and PE2, as well as PE9 and PE45. The eight away connections allowed faster transport when the data needed to travel between more distant PEs. Each shift of data moved 64 words in a single 125 ns clock cycle. The system used a one address format, in which the instructions included the address of one of the operands and the other operand was in the PE's accumulator (the A register). The address was sent to the PE's over a separate "broadcast" bus. Depending on the instruction, the value on the bus might refer to a memory location in the PE's PEM, a value in one of the PE registers, or a numeric constant. Since each PE had its own memory, while the instruction format and the CUs saw the entire address space, the system included an index register (X) to offset the base address. This allowed, for example, the same instruction stream to work on data that was not aligned in the same locations in different PEs. The common example would be an array of data that was loaded into different locations in the PEMs, which could then be made uniform by setting the index in the different PEs.

Филиалы

В традиционных компьютерных конструкциях инструкции загружаются в процессор по одной, по мере их чтения из памяти. Обычно, когда процессор завершает обработку инструкции, счётчик программы (PC) увеличивается на одно слово, и считывается следующая инструкция. Этот процесс прерывается переходами по условию, из-за которых PC переходит к одному из двух мест в зависимости от результата теста, например, содержит ли данный адрес памяти ненулевое значение. В конструкции ILLIAC каждый ПЭ применял бы этот тест к различным значениям и, следовательно, получал бы разные результаты. Поскольку эти значения были известны только соответствующему ПЭ, следующие инструкции должны были загружаться на основе значения, известного только этому ПЭ. Чтобы избежать задержек, связанных с перезагрузкой инструкций для ПЭ, ILLIAC загружал PEM инструкциями с обеих сторон ветвления. Логические тесты не изменяли PC, а устанавливали "биты режима", которые указывали ПЭ, выполнять или не выполнять следующую арифметическую инструкцию. Для использования этой системы программа писалась таким образом, чтобы за тестом следовал один из двух возможных потоков инструкций, заканчивающийся инструкцией инвертирования битов. Затем следовал код для второй ветви, заканчивающийся инструкцией установки всех битов в 1. Если тест выбирал "первую" ветвь, этот ПЭ продолжал работу как обычно. Достигнув конца этого кода, инструкция оператора режима переворачивала биты режима, и с этого момента ПЭ игнорировал последующие инструкции. Это продолжалось до тех пор, пока он не достигал конца кода для второй ветви, где инструкция сброса режима снова активировала ПЭ. Если в результате теста для конкретного ПЭ выбиралась вторая ветвь, он вместо этого устанавливал биты режима для игнорирования последующих инструкций, пока не достигал конца первой ветви, где оператор режима переворачивал биты и начинал обработку второй ветви, снова активируя их все в конце этой ветви. Поскольку ПЭ могут работать в 64-, 32- и 8-битном режимах, флаги режима содержали несколько битов, чтобы отдельные слова могли быть включены или выключены. Например, если ПЭ работал в 32-битном режиме, то на одной "стороне" ПЭ тест мог дать результат true, а на другой – false.

In traditional computer designs, instructions are loaded into the CPU one at a time as they are read from memory. Normally, when the CPU completes processing an instruction, the program counter (PC) is incremented by one word and the next instruction is read. This process is interrupted by branches, which causes the PC to jump to one of two locations depending on a test, like whether a given memory address holds a non zero value. In the ILLIAC design, each PE would be applying this test to different values, and thus have different outcomes. Since those values are private to the PE, the following instructions would need to be loaded based on a value only the PE knew. To avoid the delays reloading the PE instructions would cause, the ILLIAC loaded the PEMs with the instructions on both sides of the branch. Logical tests did not change the PC, instead, they set "mode bits" that told the PE whether or not to run the next arithmetic instruction. To use this system, the program would be written so that one of the two possible instruction streams followed the test, and ended with an instruction to invert the bits. Code for the second branch would then follow, ending with an instruction to set all the bits to 1. If the test selected the "first" branch, that PE would continue on as normal. When it reached the end of that code, the mode operator instruction would flip the mode bits, and from then on that PE would ignore further instructions. This would continue until it reached the end of the code for the second branch, where the mode reset instruction would turn the PE back on. If a particular PE's test resulted in the second branch being taken, it would instead set the mode bits to ignore further instructions until it reached the end of the first branch, where the mode operator would flip the bits and cause the second branch to begin processing, once again turning them all on at the end of that branch. Since the PEs can operate in 64 , 32 and 8 bit modes, the mode flags had multiple bits so the individual words could be turned on or off. For instance, in the case when the PE was operating in 32 bit mode, one "side" of the PE might have the test come out true while the other side was false.