Бірінші параллельдік компьютер: ILLIAC IV тарихы

Кіріспе

Алғашқы массалық параллельді компьютер

ILLIAC IV – алғашқы массалық параллельді компьютер. Жүйе бастапқыда 256 64 биттік қозғалатын нүктелі процессор (FPU) және секундына 1 миллиард операцияны өңдеуге қабілетті төрт орталық процессордан (CPU) тұруы жоспарланған. Бюджеттік шектеулерге байланысты, тек 64 FPU және бір CPU бар бір «квадрант» ғана салынды. FPU-лардың барлығы бірдей команданы – ADD, SUB сияқты – өңдегендіктен, қазіргі терминологияда бұл жобалау бір команда, көп дерек немесе SIMD болып есептеледі. Процессорлар массивін пайдаланып компьютер құру идеясы Дэниел Слотникке 1952 жылы IAS машинасымен бағдарламашы ретінде жұмыс істеген кезде келді. 1960 жылға дейін ресми жобалау басталмады, ол кезде Слотник Westinghouse Electric компаниясында жұмыс істеп, АҚШ Әуе күштерінің келісімшарты бойынша дамуды қаржыландыруды ұйымдастырды. 1964 жылы қаржыландыру тоқтағаннан кейін Слотник Иллинойс университетіне көшіп, Illinois Automatic Computer (ILLIAC) тобына қосылды. Advanced Research Projects Agency (ARPA) қаржылық қолдауымен олар бастапқы 1024 1 биттік процессорлы тұжырымдаманың орнына 256 64 биттік процессорлы жаңа тұжырымдаманың жобасын бастады. Burroughs машинасы құрастырып жатқанда, университет оны орналастыру үшін жаңа ғимарат салуды бастады. АҚШ Қорғаныс министрлігінен түскен қаржыландыруға байланысты саяси шиеленіс ARPA мен университеттің машинаның қауіпсіздігі үшін алаңдатуына әкелді. 1972 жылы машинаның алғашқы 64 процессорлы квадранты аяқталып, Калифорниядағы NASA Ames Research Center-ге жіберілді. Әр түрлі ақауларды жою үшін үш жыл бойы мұқият түзетулерден кейін, ILLIAC IV 1975 жылдың қарашасында ARPANET желісіне қосылды, бұл Cray 1-ден шамамен 12 айға бұрын желілік суперкомпьютер болып, тарихта алғаш рет осы құрылғыға ие болды. Жобаланған жылдамдығының жартысына жұмыс істей отырып, бір квадрантты ILLIAC IV 50 MFLOP ең жоғары өнімділікті қамтамасыз етті, бұл оны сол кездегі әлемдегі ең жылдам компьютер етті. Ол сондай-ақ қатты күйдегі жадты пайдаланған алғашқы ірі компьютер және 1 миллионнан астам қақпасы бар сол кезге дейін құрылған ең күрделі компьютер деп есептеледі. Бюджеттің үлкен асып кетуіне байланысты жалпы алғанда сәтсіздікке ұшыраған жоба, параллельді жүйелерді бағдарламалаудың жаңа әдістері мен жүйелерін әзірлеуде маңызды рөл атқарды. 1980 жылдары ILLIAC IV тұжырымдамасына негізделген бірнеше машиналар сәтті жеткізілді.

The ILLIAC IV was the first massively parallel computer. The system was originally designed to have 256 64 bit floating point units (FPUs) and four central processing units (CPUs) able to process 1 billion operations per second. Due to budget constraints, only a single "quadrant" with 64 FPUs and a single CPU was built. Since the FPUs all processed the same instruction – ADD, SUB etc. – in modern terminology, the design would be considered to be single instruction, multiple data, or SIMD. The concept of building a computer using an array of processors came to Daniel Slotnick while working as a programmer on the IAS machine in 1952. A formal design did not start until 1960, when Slotnick was working at Westinghouse Electric and arranged development funding under a US Air Force contract. When that funding ended in 1964, Slotnick moved to the University of Illinois Urbana–Champaign and joined the Illinois Automatic Computer (ILLIAC) team. With funding from Advanced Research Projects Agency (ARPA), they began the design of a newer concept with 256 64 bit processors instead of the original concept with 1,024 1 bit processors. While the machine was being assembled by Burroughs, the university began building a new facility to house it. Political tension over the funding from the US Department of Defense led to the ARPA and the university fearing for the machine's safety. When the first 64 processor quadrant of the machine was completed in 1972, it was sent to the NASA Ames Research Center in California. After three years of thorough modification to fix various flaws, ILLIAC IV was connected to the ARPANET for distributed use in November 1975, becoming the first network available supercomputer, beating the Cray 1 by nearly 12 months. Running at half its design speed, the one quadrant ILLIAC IV delivered 50 MFLOP peak, making it the fastest computer in the world at that time. It is also credited with being the first large computer to use solid state memory, as well as the most complex computer built to that date, with over 1 million gates. Generally considered a failure due to massive budget overruns, the design was instrumental in the development of new techniques and systems for programming parallel systems. In the 1980s, several machines based on ILLIAC IV concepts were successfully delivered.

Шығу тегі

1952 жылдың маусым айында Дэниел Слотник Принстон университетінің Жоғары оқу орнында (IAS) ИАС машинасымен жұмыс істей бастады. IAS машинасы 40 биттік сөздермен жұмыс істейтін, биттік-параллельді математикалық бөлімге ие болды. Алғашқыда Уильямс түтігімен жабдықталған, кейіннен Engineering Research Associates компаниясының магниттік барабаны қосылды. Бұл барабанда 80 жол болды, сондықтан бір уақытта екі сөзді оқуға болады, әр жол 1024 бит сақтайтын. Барабанның механизмін ойлап, Слотник компьютерді құрудың дұрыс жолы осы ба екен деп ойлана бастады. Егер сөздің биттері 40 жолға параллель емес, бір жолға тізбектей жазылса, деректерді барабаннан тікелей биттік-тізбекті компьютерге біт-бітімен енгізуге болады. Барабанда әлі де бірнеше жолдар мен оқу бастары болар еді, бірақ сөзді жинап, оны бір ALU-ға жіберудің орнына, осы тұжырымдамада әр жолдағы деректер біртіндеп оқылып, параллель ALU-ларға жіберілер еді. Бұл сөздік-параллельді, биттік-тізбекті компьютер болар еді. Слотник бұл идеяны IAS-та көтерді, бірақ Джон фон Нейман оны "өте көп түтікшелер қажет етеді" деп есептеді. Слотник 1954 жылдың ақпанында IAS-тан кетіп, докторантураға оқуға оралды, және бұл мәселе ұмытылды.

СОЛОМОН

Докторлық диссертациясын қорғағаннан кейін және постдокторантурадан кейін Слотник IBM компаниясына жұмысқа орналасты. Осы кезде, ғылыми есептеулер үшін кемінде, түтікшелер мен барабандар транзисторлармен және магниттік өзек жадымен алмастырылды. Барабаннан әртүрлі дерек ағындарын өңдейтін параллель процессорлар туралы идея енді бұрынғыдай тартымды болмады. Дегенмен, тағы бір зерделеу паралель машиналар кейбір қолдануларда әлі де маңызды өнімділік бере алатынын көрсетті; Слотник пен оның әріптесі Джон Кокк (RISC ойлап тапқандығымен әйгілі) 1958 жылы осы тұжырымдама бойынша мақала жазды. IBM-де қысқа уақыт жұмыс істегеннен кейін, содан кейін Aeronca Aircraft компаниясында жұмыс істегеннен кейін, Слотник Вестингхаус компаниясының Air Arm бөлімшесінде жұмыс істеді, ол радар және осыған ұқсас жүйелермен айналысты. АҚШ Әуе күштерінің RADC келісімшарты бойынша Слотник 1024 биттік тізбекті АЛУ-ы бар, «өңдеу элементтері» немесе PE-лер деп аталатын жүйе құру үшін команда құрастыра алды. Бұл жобаға Сүлеймен ханның аты берілді, өйткені ол өте дана болған және 1000 әйелі болған. PE-лерге бір ғана бас процессор (CPU), «басқару блогы» (CU) арқылы нұсқаулар берілетін болды. SOLOMON-ның CU жадтан нұсқауларды оқып, оларды декодтайды, содан кейін өңдеу үшін PE-лерге жібереді. Әр PE операндар мен нәтижелерді сақтау үшін жеке жадыға ие болды, ол PE жад модулі немесе PEM деп аталды. CU арнайы жад шинасы арқылы бүкіл жадқа қол жеткізе алды, ал PE-лер тек өз PEM-деріне ғана қол жеткізе алды. Бір PE-нің нәтижелерін екінші PE-ге енгізу үшін әр PE жеке желі арқылы ең жақын сегіз көршісімен байланыстырылды. Бірнеше сынақ жүйелері құрастырылды, оның ішінде 3x3 (9 PE) жүйесі және қарапайым PE-лермен 10x10 моделі. Осы кезеңде күрделі PE жобалары қарастырылды, нәтижесінде 24 биттік параллель жүйе пайда болды, ол 256x32 ретпен ұйымдастырылатын болды. Бұл жобаны пайдаланып, 1963 жылы бір ғана PE құрастырылды. Жобалау жұмыстары жалғасқанда, АҚШ Қорғаныс министрлігінің негізгі демеушісі апатта қаза тапты және одан әрі қаржыландыру болмады. Дамуды жалғастыру үшін Слотник Ливерморға жүгінді, ол сол кезде суперкомпьютерлерді сатып алуда көш бастап тұрған. Олар жобаға қызығушылық танытты, бірақ оны қазіргі дизайнның тұрақты нүктелі математикалық блогын нақты қозғалмалы нүктеліге дейін жаңартуға көндірді, нәтижесінде SOLOMON.2 дизайны пайда болды. Ливермор жобаны қаржыландыруға келіспеді, керісінше, машина аяқталғаннан кейін оны жалға алуға келісімшарт ұсынды. Вестингхаус басшылығы бұл тым тәуекелді деп есептеп, команданы таратып жіберді. Слотник Westinghouse компаниясынан кетіп, жобаны жалғастыру үшін венчурлік капитал табуға тырысты, бірақ сәтті болмады. Ливермор кейіннен CDC STAR 100-ді осы рөлге таңдады, өйткені CDC даму шығындарын өз мойнына алуға дайын болды.

After completing his PhD and some post doc work, Slotnick ended up at IBM. By this time, for scientific computing at least, tubes and drums had been replaced with transistors and magnetic core memory. The idea of parallel processors working on different streams of data from a drum no longer had the same obvious appeal. Nevertheless, further consideration showed that parallel machines could still offer significant performance in some applications; Slotnick and a colleague, John Cocke (better known as the inventor of RISC), wrote a paper on the concept in 1958. After a short time at IBM and then another at Aeronca Aircraft, Slotnick ended up at Westinghouse's Air Arm division, which worked on radar and similar systems. Under a contract from the US Air Force's RADC, Slotnik was able to build a team to design a system with 1,024 bit serial ALUs, known as "processing elements" or PE's. This design was given the name SOLOMON, after King Solomon, who was both very wise and had 1,000 wives. The PE's would be fed instructions from a single master central processing unit (CPU), the "control unit" or CU. SOLOMON's CU would read instructions from memory, decode them, and then hand them off to the PE's for processing. Each PE had its own memory for holding operands and results, the PE Memory module, or PEM. The CU could access the entire memory via a dedicated memory bus, whereas the PE's could only access their own PEM. To allow results from one PE to be used as inputs in another, a separate network connected each PE to its eight closest neighbours. Several testbed systems were constructed, including a 3 by 3 (9 PE) system and a 10 by 10 model with simplified PEs. During this period, some consideration was given to more complex PE designs, becoming a 24 bit parallel system that would be organized in a 256 by 32 arrangement. A single PE using this design was built in 1963. As the design work continued, the primary sponsor within the US Department of Defense was killed in an accident and no further funding was forthcoming. Looking to continue development, Slotnik approached Livermore, who at that time had been at the forefront of supercomputer purchases. They were very interested in the design but convinced him to upgrade the current design's fixed point math units to true floating point, which resulted in the SOLOMON.2 design. Livermore would not fund development, instead, they offered a contract in which they would lease the machine once it was completed. Westinghouse management considered it too risky, and shut down the team. Slotnik left Westinghouse attempting to find venture capital to continue the project, but failed. Livermore would later select the CDC STAR 100 for this role, as CDC was willing to take on the development costs.

ILLIAC IV (Қоғамдық қызмет)

SOLOMON аяқталғаннан кейін, Slotnick Иллинойс Университетінің Урбана-Шампейндегі Иллинойс автоматты есептеу машинасы (ILLIAC) командасына қосылды. Иллинойс штаты 1949 жылдан бері АҚШ Қорғаныс министрлігі және Advanced Research Projects Agency (ARPA) үшін үлкен есептеу машиналарын жобалап, құрастырып келді. 1964 жылы университет ARPA-мен келісімшартқа қол қойды, нәтижесінде ILLIAC IV пайда болды, себебі ол университетте жасалған төртінші есептеу машинасы еді. 1965 жылы әзірлеу жұмыстары басталды, ал 1966 жылы алғашқы жоба аяқталды. SOLOMON-ның биттік тізбектелген принципінен өзгеше, ILLIAC IV-те PE-лер толық 64 биттік (биттік параллель) процессорларға жаңартылды, олар 12 000 логикалық элемент пен 2048 сөздік жұқа пленкалық жадты пайдаланды. PE-лердің әрқайсысының арнайы мақсаты бар бес 64 биттік тіркегіші болды. Олардың бірі, RGR, көршілес PE-лерге деректерді бір сағат циклында бір "секіріспен" жіберу үшін қолданылды. Тағы бір тіркегіш, RGD, PE-нің қазіргі уақытта белсенді екенін немесе жоқ екенін көрсетті. "Белсенді емес" PE-лер жадқа кіре алмады, бірақ олар RGR арқылы көршілес PE-лерге нәтижелерді жіберді. PE-лер 64 биттік FPU, екі 32 биттік жартылай дәлдікті FPU немесе сегіз 8 биттік тұрақты нүктелі процессор ретінде жұмыс істеуге арналған. 1,024 PE және бір басқару блогының (CU) орнына, жаңа жобада барлығы 256 PE болды, олар әрқайсысы өз басқару блогымен төрт 64 PE "квадрантқа" орналастырылды. CU-лар да 64 биттік дизайнмен жасалған, алпыс төрт 64 биттік тіркегіш және тағы төрт 64 биттік аккумуляторлары бар. Жүйе төрт жеке 64 PE машинасы, екі 128 PE машинасы немесе бір 256 PE машинасы ретінде жұмыс істей алады. Бұл жүйеге деректердің көлемі 256 PE массивін толық пайдалануды қажет етпеген кезде әртүрлі мәселелерді шешуге мүмкіндік берді. 25 МГц сағаттық жиілікте, барлық 256 PE бір бағдарламаны орындағанда, машина секундына 1 миллиард қалқыма нүктелі операцияны, яғни қазіргі терминологиямен 1 GFLOPS өнімділікті қамтамасыз етуге арналған. Бұл оны әлемдегі кез келген машинадан едәуір жылдам етті; сол кездегі CDC 7600 машинасының сағаттық циклы 27,5 наносекунд немесе 36 MIPS-ке тең болды, бірақ түрлі себептерге байланысты оның өнімділігі көбінесе 10 MIPS-ке жақын болды. Машинаны қолдау үшін Цифрлық есептеу зертханасы ғимаратының кеңейтілуі салынды. Университеттегі сынақ жұмыстары негізінен PE-лерді деректермен тиімді толтыру тәсілдерін зерттеуге бағытталды, осылайша есептеу машиналарын дамытуда алғашқы "стресс-тест" жүргізілді. Бұл процесті мүмкіндігінше жеңілдету үшін бірнеше жаңа есептеу тілдері құрылды: IVTRAN және TRANQUIL – FORTRAN-ның параллельдік нұсқалары, ал Glypnir – ALGOL-дың ұқсас түрлендірілген нұсқасы. Жалпы, бұл тілдер деректердің массивтерін PE-лерге параллель орындау үшін жүктеуді қамтамасыз етті, ал кейбіреулері тіпті циклдарды массивтік операцияларға айналдыруды қолдады.

When SOLOMON ended, Slotnick joined the Illinois Automatic Computer design (ILLIAC) team at the University of Illinois at Urbana Champaign. Illinois had been designing and building large computers for the U. S. Department of Defense and the Advanced Research Projects Agency (ARPA) since 1949. In 1964 the university signed a contract with ARPA to fund the effort, which became known as ILLIAC IV, since it was the fourth computer designed and created at the university. Development started in 1965, and a first pass design was completed in 1966. In contrast to the bit serial concept of SOLOMON, in ILLIAC IV the PE's were upgraded to be full 64 bit (bit parallel) processors, using 12,000 gates and 2048 words of thin film memory. The PEs had five 64 bit registers, each with a special purpose. One of these, RGR, was used for communicating data to neighbouring PEs, moving one "hop" per clock cycle. Another register, RGD, indicated whether or not that PE was currently active. "Inactive" PEs could not access memory, but they would pass results to neighbouring PEs using the RGR. The PEs were designed to work as a single 64 bit FPU, two 32 bit half precision FPUs, or eight 8 bit fixed point processors. Instead of 1,024 PEs and a single CU, the new design had a total of 256 PEs arranged into four 64 PE "quadrants", each with its own CU. The CU's were also 64 bit designs, with sixty four 64 bit registers and another four 64 bit accumulators. The system could run as four separate 64 PE machines, two 128 PE machines, or a single 256 PE machine. This allowed the system to work on different problems when the data was too small to demand the entire 256 PE array. Based on a 25 MHz clock, with all 256 PEs running on a single program, the machine was designed to deliver 1 billion floating point operations per second, or in today's terminology, 1 GFLOPS. This made it much faster than any machine in the world; the contemporary CDC 7600 had a clock cycle of 27.5 nanoseconds, or 36 MIPS, although for a variety of reasons it generally offered performance closer to 10 MIPS. To support the machine, an extension to the Digital Computer Laboratory buildings were constructed. Sample work at the university was primarily aimed at ways to efficiently fill the PEs with data, thus conducting the first "stress test" in computer development. In order to make this as easy as possible, several new computer languages were created; IVTRAN and TRANQUIL were parallelized versions of FORTRAN, and Glypnir was a similar conversion of ALGOL. Generally, these languages provided support for loading arrays of data "across" the PEs to be executed in parallel, and some even supported the unwinding of loops into array operations.

Құрылыс, проблемалар

1966 жылдың басында университет жобаны жасауға қызығушылық танытқан өнеркәсіптік серіктестерді іздеу үшін ұсыныс сұранысын жіберді. Шілде айында 17 жауап келіп түсті, олардың 7-сі жауап берді, ал осылардың үшеуі таңдалды. Бірнеше жауаптардың ішінде Control Data компаниясы оларды векторлық процессор дизайнына қызықтыруға тырысты, бірақ олар қазірдің өзінде жобаланып жатқандықтан, команда басқасын жасауға қызығушылық танытпады. 1966 жылдың тамызында RCA, Burroughs және Univac компанияларына машинаны салуға арналған сегіз айлық келісімшарт ұсынылды. Burroughs ақырында келісімшартты Texas Instruments (TI) компаниясымен бірлесіп жеңіп алды. Екі компания да өздерінің ұсыныстарын ең қызықты ететін жаңа техникалық жетістіктер ұсынды. Burroughs жаңа және әлдеқайда жылдам нұсқадағы жұқа пленкалы жадты жасауды ұсынды, бұл өнімділікті жақсартатын болады. TI 64 шұңқырлы, эмитерге қосылған логикалық (ECL) интегралды схемаларды (IC) әрқайсысы 20 логикалық қақпалармен жасауды ұсынды. Ол кезде көптеген IC-терде 16 шұңқырлы пакеттер қолданылып, 4 және 7 қақпасы болды. TI-дің интегралдық схемаларын пайдалану жүйелерді әлдеқайда кішірейтеді. Burroughs сонымен қатар арнайы дискілік жетектерді ұсынды, олар әр жол үшін жеке стационарлық басымен жабдықталған және 500 Мбит/с жылдамдықты ұсына алатын, ал 36 дюймдік дискіге шамамен 80 МБ сақталатын. Олар сондай-ақ Burroughs B6500 орталық компьютерін алдын-ала басқарушы ретінде, екінші жақтағы сақтаудан деректерді жүктеу және басқа үй шаруаларын орындау үшін ұсынды. B6500-ге үшінші тараптың лазерлік оптикалық жазу құралы қосылды, бұл бір рет жазу жүйесі, ол айналатын барабанмен тасымалданатын полиэстер табақшасының жолағына қапталған жұқа металл пленкасында 1 Тбит-қа дейін сақталған. Жаңа жобаны жасау жұмыстары Burroughs-тың "Ұлы аңғар" зертханасында басталды. Ол кезде машина 1970 жылдың басында жеткізілетін болады деп есептелген. IC-де бір жыл жұмыс істегеннен кейін TI 64 шұңқырлы дизайнды құрастыра алмағанын мәлімдеді. Ішкі сымдардың күрделілігі тізбекте қиылысуға себеп болды, сондықтан олар проблеманы шешу үшін тағы бір жыл сұрады. Оның орнына ILLIAC командасы 16 шұңқырлы IC-ге негізделген машинаны қайта құруды таңдады. Бұл жүйені бастапқы 25 МГц орнына 16 МГц сағатымен жұмыс істеуге мәжбүр етті. 64 шұңқырдан 16 шұңқырға ауысу жобаға екі жылдай уақыт пен миллиондаған доллар жұмсады. TI 64 шұңқырлы дизайнды бір жылдан кейін ғана іске қосып, ILLIAC аяқталмас бұрын оларды нарыққа ұсына бастады. Бұл машина үшін жұқа пленкалы жад жасауға Burroughs-тың күш-жігерін тоқтатты, өйткені енді дизайн шкафтарына жадты орналастыруға жеткілікті орын болмады. Жадқа орын беру үшін шкафтардың көлемін ұлғайту әрекеті сигналдың таралуымен байланысты үлкен қиындықтар туғызды. Slotnick әлеуетті алмастыруларды зерттеп, Fairchild Semiconductor компаниясынан жартылай өткізгіш жадыны таңдады, бұл шешімге Burroughs қарсы болды, содан кейін ARPA толық тексеру жүргізді. 1969 жылы бұл проблемалар, кідіртулерден туындаған шығындармен бірігіп, 64 PE квадрантын ғана жасау туралы шешім қабылдады, осылайша машинаның жылдамдығы шамамен 200 MFLOPS-қа дейін шектелді. Бұл өзгерістердің барлығы жобаға үш жыл және 6 миллион доллар жұмсалды. 1969 жылы жобаға айына 1 миллион доллар жұмсалды және жобаға қарсылық білдіруде айтарлықтай дауыспен айтылып келе жатқан ILLIAC командасынан бөлініп шығуға тура келді.

In early 1966, the university sent out a request for proposals looking for industrial partners interested in building the design. Seventeen responses were received in July, seven responded, and of these three were selected. Several of the responses, including Control Data, attempted to interest them in a vector processor design instead, but as these were already being designed the team was not interested in building another. In August 1966, eight month contracts were offered to RCA, Burroughs, and Univac to bid on the construction of the machine. Burroughs eventually won the contract, having teamed up with Texas Instruments (TI). Both offered new technical advances that made their bid the most interesting. Burroughs was offering to build a new and much faster version of thin film memory which would improve performance. TI was offering to build 64 pin emitter coupled logic (ECL) integrated circuits (ICs) with 20 logic gates each. At the time, most ICs used 16 pin packages and had between 4 and 7 gates. Using TI's ICs would make the system much smaller. Burroughs also supplied the specialized disk drives, which featured a separate stationary head for every track and could offer speeds up to 500 Mbit/s and stored about 80 MB per 36" disk. They would also provide a Burroughs B6500 mainframe to act as a front end controller, loading data from secondary storage and performing other housekeeping tasks. Connected to the B6500 was a 3rd party laser optical recording medium, a write once system that stored up to 1 Tbit on thin metal film coated on a strip of polyester sheet carried by a rotating drum. Construction of the new design began at Burroughs' Great Valley Lab. At the time, it was estimated the machine would be delivered in early 1970. After a year of working on the ICs, TI announced they had failed to be able to build the 64 pin designs. The more complex internal wiring was causing crosstalk in the circuitry, and they asked for another year to fix the problems. Instead, the ILLIAC team chose to redesign the machine based on available 16 pin ICs. This required the system to run slower, using a 16 MHz clock instead of the original 25 MHz. The change from 64 pin to 16 pin cost the project about two years, and millions of dollars. TI was able to get the 64 pin design working after just over another year, and began offering them on the market before ILLIAC was complete. As a result of this change, the individual PC boards grew about square to about This doomed Burroughs' efforts to produce a thin film memory for the machine, because there was now no longer enough space for the memory to fit within the design's cabinets. Attempts to increase the size of the cabinets to make room for the memory caused serious problems with signal propagation. Slotnick surveyed the potential replacements and picked a semiconductor memory from Fairchild Semiconductor, a decision that was so opposed by Burroughs that a full review by ARPA followed. In 1969, these problems, combined with the resulting cost overruns from the delays, led to the decision to build only a single 64 PE quadrant, thereby limiting the machine's speed to about 200 MFLOPS. Together, these changes cost the project three years and $6 million. By 1969, the project was spending $1 million a month, and had to be spun out of the original ILLIAC team who were becoming increasingly vocal in their opposition to the project.

Эймске ауысу

1970 жылға қарай машина, ақыры, лайықты қарқынмен құрастырылып, шамамен бір жылдан кейін жеткізілуге дайын болды. 1970 жылдың 6 қаңтарында студенттік газет «The Daily Illini» компьютердің ядролық қару жасауға пайдаланылатынын мәлімдеді. Мамыр айында Кент штатында оқ жарылысы болды, университеттерде соғысқа қарсы зорлық-зомбылық күшейді. Слотник машинаны құпия зерттеулерге қолдануға қарсы болды және машинада жүргізілген барлық өңдеулер университет аумағында болғанша, жария етілетінін хабарлады. Ол сондай-ақ машинаның радикалды студенттік топтардың шабуылына ұшырауы мүмкін деген алаңдаушылықты күшейтті. Бұл позиция, жергілікті студенттер 1970 жылдың 9 мамырында «Иллиакция күні» деп жариялап, жалпыұлттық студенттік ереуілге қосылғаннан кейін, және әсіресе 24 тамызда Висконсин университетіндегі (Мэдисон) математика ғимаратының бомбаға ұшырауынан кейін, дұрыс болып көрінді. 1971 жылдың қаңтарында Силикон алқабындағы NASA Ames Research Center-дің директоры Ханс Марктың көмегімен машинаны университетке емес, Ames-ке жеткізу туралы шешім қабылданды. Белсенді АҚШ Әскери-теңіз базасында орналасқан және АҚШ Теңіз жаяу әскерлерімен қорғалғандықтан, қауіпсіздік енді алаңдау тудырмады. Машина, ақыры 1972 жылдың сәуірінде Ames-ке жеткізіліп, N 233 ғимаратындағы Орталық компьютерлік кешенге орнатылды. Осы кезде ол бірнеше жылға кешіктіріліп, бюджеттен әлдеқайда асып, жалпы құны 31 миллион долларды құрады, бұл толық 256 PE машинасының бастапқы 8 миллион долларлық бағасынан шамамен төрт есе жоғары болды. NASA сонымен қатар B6500 алдыңғы машинасын PDP 10-мен ауыстыруды шешті, олар Ames-те кеңінен қолданылып, ARPAnet-ке қосылуды жеңілдетер еді. Бұл үшін PDP 10-да жаңа бағдарламалық жасақтама, әсіресе компиляторларды жасау қажет болды. Бұл машинаны іске қосуды одан әрі кешіктірді. Illiac IV басқару құқығы ACTS Computing Corporation компаниясына берілді, бас кеңсесі Southfield, MI қаласында орналасқан, жақында Lear Siegler Corporation конгломераты сатып алған Timesharing және Remote Job Entry (RJE) компаниясы. Қорғаныс министрлігі ACTS компаниясымен 10% үстемемен келісімшарт жасасты. Бұл ерекше жағдайдың себебі, ешбір мемлекеттік қызметкердің еңбек ақысы Конгресс мүшесінен жоғары болмауы керек еді, ал Illiac IV қызметкерлерінің көптегені осы шектен асып түсті. Калифорния университетіндегі (Беркли) және Беркли компьютер корпорациясының (BCC) тәжірибесі бар доктор Мел Пиртл Illiac IV директоры болып тағайындалды.

By 1970, the machine was finally being built at a reasonable rate and it was being readied for delivery in about a year. On 6 January 1970, The Daily Illini, the student newspaper, claimed that the computer would be used to design nuclear weapons. In May, the Kent State shootings took place, and anti war violence erupted across university campuses. Slotnick grew to be opposed to the use of the machine on classified research, and announced that as long as it was on the university grounds that all processing that took place on the machine would be publicly released. He also grew increasingly concerned that the machine would be subject to attack by the more radical student groups. a position that seemed wise after the local students joined the 9 May 1970 nationwide student strike by declaring a "day of Illiaction", and especially the 24 August bombing of the mathematics building at the University of Wisconsin–Madison. With the help of Hans Mark, the director of the NASA Ames Research Center in what was becoming Silicon Valley, in January 1971 the decision was made to deliver the machine to Ames rather than the university. Located on an active US Navy base and protected by the U. S. Marines, security would no longer be a concern. The machine was finally delivered to Ames in April 1972, and installed in the Central Computer Facility in building N 233. By this point it was several years late and well over budget at a total price of $31 million, almost four times the original estimate of $8 million for the complete 256 PE machine. NASA also decided to replace the B6500 front end machine with a PDP 10, which were in common use at Ames and would make it much easier to connect to the ARPAnet. This required the development of new software, especially compilers, on the PDP 10. This caused further delays in bringing the machine online. The Illiac IV was contracted to be managed by ACTS Computing Corporation headquartered in Southfield, MI, a Timesharing and Remote Job Entry (RJE) company that had recently been acquired by the conglomerate, Lear Siegler Corporation. The DoD contracted with ACTS under a cost plus 10% contract. This unusual arrangement was due to the constraint that no government employee could be paid more than a Congress person and many Illiac IV personnel made more than that limit. Dr. Mel Pirtle, with a background from the University of California, Berkeley and the Berkeley Computer Corporation (BCC) was engaged as the Illiac IV's director.

Оны іске асыру

Машина алғаш келген кезде оны іске қосу мүмкін болмады. Ол басылған платалардың (ПХБ) жарылуынан бастап, нашар резисторларға дейін, TI интегралды схемаларының ылғалға өте сезімтал болуына дейін түрлі проблемалардан зардап шекті. Бұл мәселелер біртіндеп шешілді, ал 1973 жылдың жазында жүйеде алғашқы бағдарламалар іске қосылды, бірақ нәтижелер өте күмәнді болды. 1975 жылдың маусымынан бастап төрт айлық қарқынды жұмыс жүргізілді, оның аясында 110 000 резистор ауыстырылды, таралу уақытының кешігуін жою үшін бөліктер қайта сымдалды, қуат көздеріндегі сүзгілер жақсартылды және сағат жылдамдығы 13 МГц-қа дейін төмендетілді. Осы процестің соңында жүйе толыққанды жұмыс істеді. Содан бері жүйе дүйсенбі күні таңертеңнен жұма күні түске дейін жұмыс істеді, пайдаланушыларға 60 сағаттық жұмыс уақытын қамтамасыз етті, бірақ 44 сағаттық жоспарланған үзіліс уақытын қажет етті. Дегенмен, ол NASA бағдарламашылары күрделі жүйеден тиімділік алудың жолдарын үйренген сайын жиі қолданыла бастады. Алғашқыда тиімділік өте төмен болды, көптеген бағдарламалар шамамен 15 MFLOPS жылдамдықпен жұмыс істеді, бұл CDC 7600 үшін орташа көрсеткіштен үш есеге жуық. Уақыт өте келе бұл көрсеткіш жақсарды, әсіресе Эймс бағдарламашылары FORTRAN және CFD-нің өз нұсқаларын жазғаннан кейін, сондай-ақ шектеулі PEM-ге параллель I/O қалай жүзеге асыруды үйренгеннен кейін. Параллель өңдеуге болатын мәселелерде машина әлемдегі ең жылдам машина болып саналды, CDC 7600-ден екі-алты есе артық өнімділік көрсетті және ол 1981 жылға дейін әлемдегі ең жылдам машина деп мойындалды. 1981 жылдың 7 қыркүйегінде, шамамен 10 жыл бойы жұмыс істегеннен кейін ILLIAC IV өшірілді. 1982 жылы машина ресми түрде қолданудан шығарылды, сонымен қатар NASA-ның озық есептеу бөлімінің де қызметі тоқтатылды. Машинадан бір басқару блогы мен бір өңдеу элементінің корпусы қазір Маунтин-Вьюдегі Компьютер тарихы мұражайында, оның жұмыс істеген орнынан бір шақырымдай қашықтықта орналасқан.

Салдары

ILLIAC өте кешті, өте қымбатқа түсті және 1 GFLOP өнімділікке жетпеді. Онымен жұмыс істегендердің өзі сәтсіздік деп есептеді; біреуі қарапайым түрде: «Кез келген бейтарап бақылаушы Illiac IV-ті техникалық жағынан сәтсіздік деп қарауы керек» деді. Жобаны басқару тұрғысынан қарағанда, бұл жоба сәтсіздікке ұшырады, шығындары бастапқы есептеулерден төрт есе артығып, оны жұмыс істеуге келтіру үшін жылдар бойы жөндеу жұмыстарын жүргізу қажет болды. Дегенмен, кейінгі талдаулар жобаның компьютерлік нарыққа әртүрлі, тікелей де, тікелей емес де, ұзақ мерзімді әсер еткенін көрсетті. Тікелей емес әсерлердің бірі – ILLIAC жобасынан кейін жартылай өткізгіш жадтың жылдам жаңаруы. Slotnick жад микросхемаларын өндіру үшін Fairchild Semiconductor компаниясын таңдағанда көп сынға ұшырады, себебі сол кезде өндіріс желісі бос бөлме болған және жоба тек қағаз бетінде ғана болған. Бірақ үш ай тынымсыз еңбектен кейін Fairchild жұмыс істейтін жобаны жаппай өндіруге қол жеткізді. Слотник кейінірек: «Fairchild біздің қиын жағдайдан шығуға керемет көмектесті. Fairchild жадтары өте жақсы болды және олардың сенімділігі бүгінгі күнге дейін жоғары» деді. ILLIAC магниттік ядролық жад және жіңішке пленка сияқты оған байланысты жүйелерге соққы берді деп есептеледі. Баспалы схема тақталарының (PCB) немесе модульдердің күрделілігі де тікелей емес әсер болды. Бастапқы 25 МГц жобалық жылдамдықта жер сызықтарындағы кедергі үлкен мәселе тудырып, PCB-нің мүмкіндігінше кіші болуын талап етті. Олардың күрделілігі артқан сайын, PCB-нің көлемі үлкеймеуі үшін оларға көбірек қабаттар қосуға тура келді. Ақырында, олар 15 қабатқа дейін жетті, бұл суретшілердің қабілетінен асып түсті. Жобаны аяқтау үшін субподрядшы ұсынған жаңа автоматтандырылған жобалау құралдары қолданылды, ал толық жобалауға екі жыл компьютер уақыты кетті. Бұл компьютерлік жобалаудағы маңызды қадам болды және 1970 жылдардың ортасына қарай мұндай құралдар кеңінен қолданыла бастады. ILLIAC сонымен қатар параллель өңдеу мәселесіне қатысты кең ауқымды зерттеулерге жол ашты. 1980 жылдары Мур заңына сәйкес микропроцессорлардың бағасы төмендегенде, бірнеше компаниялар MIMD (Көп нұсқау, Көп дерек) құрылғыларын жасады, олар параллелизмді жақсырақ пайдалана алатын компиляторлармен бірге, тіпті көбірек параллельді машиналар құрды. Thinking Machines CM 5 – MIMD тұжырымдамасының жарқын мысалы. ILLIAC-та параллелизмді жақсы түсіну осы жобаның артықшылықтарын пайдалана алатын жақсартылған компиляторлар мен бағдарламаларға әкелді. ILLIAC бағдарламашысының айтуынша, «егер біреу көптеген микропроцессорлардан жылдам компьютер жасаса, Illiac IV осы істе үлкен үлес қосады». Сол дәуірдегі көптеген суперкомпьютерлер жоғары өнімділікке басқа тәсіл қолданды, бір ғана өте жылдам векторлық процессорды пайдаланды. ILLIAC-ке ұқсас, бұл процессорлар көптеген дерек элементтерін көптеген арнайы процессорлардың орнына бір ғана бейімделген процессорға жүктеді. Бұл жобаның классикалық мысалы – ILLIAC-ке ұқсас өнімділігі бар Cray 1. Соның салдарынан ILLIAC жобасына қарсы белгілі бір «қарсылық» туды, және біраз уақыт бойы суперкомпьютер нарығы жаппай параллельді жобаларға күдікпен қарады, тіпті олар сәтті болған жағдайда да. Сеймур Крей әйгілі түрде: «Егер сіз егістікті жыртып жатсаңыз, қайсысын таңдайсыз? Екі күшті өгізді ме, әлде 1024 тауықты ма?» деді.

ILLIAC was very late, very expensive, and never met its goal of producing 1 GFLOP. It was widely considered a failure even by those who worked on it; one stated simply that "any impartial observer has to regard Illiac IV as a failure in a technical sense." In terms of project management it is widely regarded as a failure, running over its cost estimates by four times and requiring years of remedial efforts to make it work. As Slotnik himself later put it:

However, later analyses note that the project had several long lasting effects on the computer market as a whole, both intentionally and unintentionally. Among the indirect effects was the rapid update of semiconductor memory after the ILLIAC project. Slotnick received a lot of criticism when he chose Fairchild Semiconductor to produce the memory ICs, as at the time the production line was an empty room and the design existed only on paper. However, after three months of intense effort, Fairchild had a working design being produced en masse. As Slotnick would later comment, "Fairchild did a magnificent job of pulling our chestnuts out of the fire. The Fairchild memories were superb and their reliability to this day is just incredibly good." ILLIAC is considered to have dealt a death blow to magnetic core memory and related systems like thin film. Another indirect effect was caused by the complexity of the printed circuit boards (PCBs), or modules. At the original 25 MHz design speed, impedance in the ground wiring proved to be a serious problem, demanding that the PCBs be as small as possible. As their complexity grew, the PCBs had to add more and more layers in order to avoid growing larger. Eventually, they reached 15 layers deep, which proved to be well beyond the capabilities of draftsmen. The design was ultimately completed using new automated design tools provided by a subcontractor, and the complete design required two years of computer time on a Burroughs mainframe. This was a major step forward in computer aided design, and by the mid 1970s such tools were commonplace. ILLIAC also led to major research into the topic of parallel processing that had wide ranging effects. During the 1980s, with the price of microprocessors falling according to Moore's Law, a number of companies created MIMD (Multiple Instruction, Multiple Data) to build even more parallel machines, with compilers that could make better use of the parallelism. The Thinking Machines CM 5 is an excellent example of the MIMD concept. It was the better understanding of parallelism on ILLIAC that led to the improved compilers and programs that could take advantage of these designs. As one ILLIAC programmer put it, "If anybody builds a fast computer out of a lot of microprocessors, Illiac IV will have done its bit in the broad scheme of things." Most supercomputers of the era took another approach to higher performance, using a single very high speed vector processor. Similar to the ILLIAC in some ways, these processor designs loaded up many data elements into a single custom processor instead of a large number of specialized ones. The classic example of this design is the Cray 1, which had performance similar to the ILLIAC. There was more than a little "backlash" against the ILLIAC design as a result, and for some time the supercomputer market looked on massively parallel designs with disdain, even when they were successful. As Seymour Cray famously quipped, "If you were plowing a field, which would you rather use? Two strong oxen or 1024 chickens?"

Физикалық орналасуы

Машинаның әрбір квадранты 3 метр биіктікте, 2 метр тереңдікте және 15 метр ұзындықта болды. Квадранттың қасында оның кіріс/шығыс (I/O) жүйесі орналасқан, оның дискілік жүйесі 2,5 ГиБ сақтайтын және секундына 1 миллиард бит жылдамдықпен деректерді оқи және жаза алатын, сондай-ақ дискілік жүйе сияқты машинаға 1024 биттік кең интерфейс арқылы қосылған B6700 компьютері болды. Машина бірнеше шағын модульді ұстайтын тасымалдаушы шассилер сериясынан тұрды. Олардың көп бөлігі – бір ПЭ, оның ПЭМ және адресті аудару мен кіріс-шығаруды басқаратын жад логикалық блогының модульдерін қамтитын өңдеу блоқтары (ПУ) болды. ПУ-лар бірдей болғандықтан, оларды қажет болған жағдайда ауыстыруға немесе қайта орналастыруға болады.

Процессордың мәліметтері

Әр КУ-да 30 мыңнан 40 мыңға дейін қақпалар болды. КУ-да он алты 64 биттік регистр және жеке 64 ұялы 64 биттік "жұмыс жадысы" LDB болды. Төрт аккумулятор (AC0-ден AC3-ге дейін), бағдарлама санауыш ILR және түрлі басқару регистрлері болды. Жүйеде қысқа нұсқау құбыры және нұсқауларды алдын ала қарау мүмкіндігі болды. ПЭ-де 12 мыңға жуық қақпа болды. Ол төрт 64 биттік регистрден тұрды: аккумулятор А, операнд буфері В және қосымша жұмыс жады S. Төртіншісі, R, басқа ПЭ-лерден дерек тарату немесе қабылдау үшін қолданылды. ПЭ-лер көтеру-көзді қосымшаны, логикалық операциялар үшін жетекші бірді анықтағышты және цилиндрлік ауыстырғышты пайдаланды. 64 биттік қосу шамамен 200 нс, ал көбейту шамамен 400 нс уақыт алды. ПЭ-лер жеке жад банкіне, PEM-ге қосылды, онда 2048 64 биттік сөз сақталды. Дерекке қол жеткізу уақыты шамамен 250 нс-қа тең болды. ПЭ-лер жүктеу/сақтау архитектурасын қолданды. Нұсқаулар жиынтығы (ISA) екі бөлек нұсқаулар жиынтығын қамтыды: біреуі КУ (немесе оның ішіндегі бірлік, ADVAST) үшін, екіншісі ПЭ үшін. ПЭ-ге арналған нұсқаулар декодталмады, керісінше тікелей FINST тіркелгісіне жіберілді, ол оларды өңдеу үшін ПЭ-ге жіберетін болды. ADVAST нұсқаулары декодталып, КУ-дың өңдеу құбырына енгізілді.

Логикалық орналасуы

Әр квадрантта 64 ПЭ және бір КУ болды. КУ барлық I/O шинасына қол жеткізе алды және машинаның барлық жадына сілтеме жасай алды. ПЭ тек өзінің жергілікті жадысына, PEM-ге, 2048 64 биттік сөзбен ғана қатынаса алады. ПЭ және КУ дискілік жүйеге қол жеткізу үшін жүктеу және сақтау операцияларын пайдалана алады. Шкафтар соншалықты үлкен болды, сигналдар бір шетінен екінші шетіне дейін 240 нс уақыт қажет етті. Осы себепті КУ әрекеттерді үйлестіру үшін қолданыла алмады, керісінше, бүкіл жүйе синхронды сағатпен жұмыс істеді, ПЭ-дегі барлық операциялар операндыларына қарамастан бірдей уақыт алатыны кепілденді. Осылайша КУ операциялардың аяқталғанына нәтижелер мен статус кодтарын күтіп отырмай-ақ сенімді бола алды. Бір ПЭ-нің нәтижелерін екінші ПЭ-ге кіріс ретінде пайдалануды қажет ететін операциялардың өнімділігін арттыру үшін ПЭ-лер тікелей көршілеріне, сондай-ақ сегіз қадам қашықтықтағыларға қосылды. Мысалы, ПЭ1 тікелей ПЭ0 және ПЭ2-ге, сондай-ақ ПЭ9 және ПЭ45-ке қосылды. Сегіз қадамдағы байланыс деректерді алыс ПЭ арасында жылдам тасымалдауға мүмкіндік берді. Әрбір деректерді жылжыту 125 нс сағат циклында 64 сөзді жылжытты. Жүйе бір мекенжай форматын қолданды, онда нұсқаулар операндтардың біреуінің мекенжайын қамтыды, ал екінші операнд ПЭ аккумуляторында (A тіркегішінде) болды. Мекеңжай ПЭ-ге жеке «хабарлама тарату» шинасы арқылы жіберілді. Нұсқауларға байланысты шинадағы мән ПЭ-нің PEM-індегі жад орнына, ПЭ тіркегіштерінің біреуіндегі мәнге немесе сандық тұрақтыға сілтеме жасай алады. Әрбір ПЭ-нің өз жады болғандықтан, ал нұсқаулар форматы мен КУ бүкіл мекенжай кеңістігін көретін болғандықтан, жүйе негізгі мекенжайды өзгерту үшін индекс тіркегішін (X) қамтыды. Бұл, мысалы, әртүрлі ПЭ-дегі бірдей орындарында сәйкес келмейтін деректермен жұмыс істеуге мүмкіндік берді. Көрінетін мысал – ПЭМ-дегі әртүрлі орындарға жүктелген, содан кейін әртүрлі ПЭ-дегі индексті орнату арқылы біркелкілендірілген деректер массиві.

Each quadrant contained 64 PEs and one CU. The CU had access to the entire I/O bus and could address all of the machine's memory. The PEs could only access their own local store, the PEM, of 2,048 64 bit words. Both the PEs and CU could use load and store operations to access the disk system. The cabinets were so large that it required 240 ns for signals to travel from one end to the other. For this reason, the CU could not be used to coordinate actions, instead, the entire system was clock synchronous with all operations in the PEs guaranteed to take the same amount of time no matter what the operands were. That way the CU could be sure that the operations were complete without having to wait for results or status codes. To improve the performance of operations that required the output of one PE's results to be used as the input to another PE, the PEs were connected directly to their neighbours, as well as the ones eight steps away for instance, PE1 was directly connected to PE0 and PE2, as well as PE9 and PE45. The eight away connections allowed faster transport when the data needed to travel between more distant PEs. Each shift of data moved 64 words in a single 125 ns clock cycle. The system used a one address format, in which the instructions included the address of one of the operands and the other operand was in the PE's accumulator (the A register). The address was sent to the PE's over a separate "broadcast" bus. Depending on the instruction, the value on the bus might refer to a memory location in the PE's PEM, a value in one of the PE registers, or a numeric constant. Since each PE had its own memory, while the instruction format and the CUs saw the entire address space, the system included an index register (X) to offset the base address. This allowed, for example, the same instruction stream to work on data that was not aligned in the same locations in different PEs. The common example would be an array of data that was loaded into different locations in the PEMs, which could then be made uniform by setting the index in the different PEs.

Филиалдар

Дәстүрлі компьютерлік құрылымдарда нұсқаулар жадтан оқылғанда CPU-ға бірінен соң бірі жүктеледі. Әдетте, CPU нұсқауды өңдеуді аяқтаған кезде, бағдарлама санағышы (PC) бір сөзбен арттырылады және келесі нұсқау оқылады. Бұл процесс тармақталулармен тоқтатылады, бұл PC-нің белгілі бір сынақ нәтижесіне байланысты екі орның біріне секіруіне себеп болады, мысалы, берілген жад адресі нөлдік емес мәнді сақтайды ма, жоқ па. ILLIAC жобасында әрбір PE осы сынақты әртүрлі мәндерге қолданады, демек, әртүрлі нәтижелерге ие болады. Бұл мәндер PE-ге жеке болғандықтан, келесі нұсқауларды тек PE-нің білетін мәніне сүйеніп жүктеу қажет. PE нұсқауларын қайта жүктеуден туындайтын кешігулерді болдырмау үшін ILLIAC PE-лерді тармақтың екі жағындағы нұсқаулармен жүктеді. Логикалық сынақтар PC-ні өзгертеді, оның орнына PE-ге келесі арифметикалық нұсқауды орындау керек пе, жоқ па, дегенді көрсететін "режим биттерін" орнатады. Бұл жүйені пайдалану үшін бағдарлама осылай жазылуы керек: екі мүмкін нұсқау ағынының бірі сынақтан кейін келеді және биттерді инверсиялау нұсқаулығымен аяқталады. Содан кейін екінші тармақтың коды келеді, ол барлық биттерді 1-ге орнату нұсқаулығымен аяқталады. Егер сынақ "бірінші" тармақты таңдаса, онда PE әдеттегідей жұмысын жалғастырады. Бұл кодтың соңына жеткенде режим операторының нұсқаулығы режим биттерін аударып тастайды, содан кейін PE одан әрі нұсқауларды елемеуі керек. Бұл екінші тармақтың кодының соңына жеткенше жалғасады, онда режимді қалпына келтіру нұсқаулығы PE-ні қайта қосады. Егер белгілі бір PE-нің сынағы екінші тармақты таңдаумен аяқталса, ол бірінші тармақтың соңына жеткенге дейін режим биттерін аударып, екінші тармақты өңдеуді бастайды, содан кейін оларды сол тармақтың соңында қайтадан қосады. PE 64, 32 және 8 биттік режимдерде жұмыс істей алатындықтан, режим флагтарында бірнеше бит болды, сондықтан жеке сөздерді қосуға немесе өшіруге болады. Мысалы, PE 32 биттік режимде жұмыс істеген кезде, PE-нің бір "жағында" сынақ дұрыс, ал екінші жағында жалған болуы мүмкін.

In traditional computer designs, instructions are loaded into the CPU one at a time as they are read from memory. Normally, when the CPU completes processing an instruction, the program counter (PC) is incremented by one word and the next instruction is read. This process is interrupted by branches, which causes the PC to jump to one of two locations depending on a test, like whether a given memory address holds a non zero value. In the ILLIAC design, each PE would be applying this test to different values, and thus have different outcomes. Since those values are private to the PE, the following instructions would need to be loaded based on a value only the PE knew. To avoid the delays reloading the PE instructions would cause, the ILLIAC loaded the PEMs with the instructions on both sides of the branch. Logical tests did not change the PC, instead, they set "mode bits" that told the PE whether or not to run the next arithmetic instruction. To use this system, the program would be written so that one of the two possible instruction streams followed the test, and ended with an instruction to invert the bits. Code for the second branch would then follow, ending with an instruction to set all the bits to 1. If the test selected the "first" branch, that PE would continue on as normal. When it reached the end of that code, the mode operator instruction would flip the mode bits, and from then on that PE would ignore further instructions. This would continue until it reached the end of the code for the second branch, where the mode reset instruction would turn the PE back on. If a particular PE's test resulted in the second branch being taken, it would instead set the mode bits to ignore further instructions until it reached the end of the first branch, where the mode operator would flip the bits and cause the second branch to begin processing, once again turning them all on at the end of that branch. Since the PEs can operate in 64 , 32 and 8 bit modes, the mode flags had multiple bits so the individual words could be turned on or off. For instance, in the case when the PE was operating in 32 bit mode, one "side" of the PE might have the test come out true while the other side was false.