Компьютерлердің өнімділігін салыстыру бен тестілеу

Кіріспе

Компьютерлердің салыстырмалы өнімділігін олардың барлығында бірдей бағдарламаны іске қосу арқылы салыстыру. Компьютерлік жүйеде, бенчмарк – объектінің салыстырмалы өнімділігін бағалау мақсатымен компьютерлік бағдарламаны, бағдарламалар жиынтығын немесе басқа операцияларды орындау амалы, әдетте оған бірнеше стандартты тесттер мен тәжірибелер жүргізу арқылы. "Бенчмарк" термині сондай-ақ, мұқият жоспарланған бенчмаркинг бағдарламаларының өзіне де қолданылады. Бенчмаркинг көбінесе компьютерлік аппараттық құралдардың өнімділік сипаттамаларын бағалаумен байланысты, мысалы, процессордың (CPU) қозғалатын нүктелік операциялардың өнімділігі, бірақ бұл техника бағдарламалық жасақтамаға да қолданылуы мүмкін. Бағдарламалық құралдардың бенчмарктары, мысалы, компиляторлар немесе деректер базасын басқару жүйелерімен (ДББЖ) салыстырылады. Бенчмарктер түрлі чиптер мен жүйелер архитектураларындағы әртүрлі жүйелердің өнімділігін салыстыруға мүмкіндік береді. Ұдайы интеграцияның бөлігі ретіндегі үздіксіз бенчмаркинг – Ұдайы бенчмаркинг деп аталады.

Мақсаты

Компьютерлік архитектура дамыған сайын, әртүрлі компьютерлік жүйелердің өнімділігін олардың сипаттамаларына қарап салыстыру қиынға соқты. Сондықтан, әртүрлі архитектураларды салыстыруға мүмкіндік беретін тесттер жасалды. Мысалы, Pentium 4 процессорлары әдетте Athlon XP немесе PowerPC процессорларына қарағанда жоғары тактық жиілікпен жұмыс істеді, бірақ бұл міндетті түрде есептеу қуатын арттырмады; тактық жиілігі төмен процессор жоғары жиілікте жұмыс істейтін процессордан жақсы, тіпті одан да жақсы жұмыс істей алады. BogoMips және мегагерц мифі туралы қараңыз. Бенчмарктар компонент немесе жүйедегі жұмыс жүктемесінің белгілі бір түрін имитациялауға арналған. Синтетикалық бенчмарктар мұны компонентке жүктемені салатын арнайы жасалған бағдарламалар арқылы жасайды. Қолданбалық бенчмарктар жүйеде нақты бағдарламаларды іске қосады. Қолданбалық бенчмарктар әдетте нақты жүйедегі нақты өнімділікті жақсырақ өлшейді, ал синтетикалық бенчмарктар жеке компоненттерді, мысалы, қатты дискіні немесе желілік құрылғыны сынау үшін пайдалы. Бенчмарктар CPU дизайнында ерекше маңызды, процессор архитекторларына микроархитектуралық шешімдерді өлшеу және компромисс жасау мүмкіндігін береді. Мысалы, егер бенчмарк бір қолданбаның негізгі алгоритмдерін қамтыса, онда ол осы қолданбаның өнімділікке байланысты маңызды аспектілерін қамтиды. Осы кішкентай фрагментті циклдік дәлдікті симуляторда іске қосу өнімділікті қалай жақсартуға болатынын көрсетеді. 2000 жылға дейін компьютерлер мен микропроцессорлар архитекторлары осы мақсатта SPEC-ті пайдаланды, бірақ SPEC-тің Unix-ке негізделген бенчмарктары өте ұзақ болғандықтан, оларды толыққанды пайдалану қиын болды. Компьютер өндірушілері өздерінің жүйелерін нақты қолданыста көрінбейтін бенчмарк тесттерінде шынайы жоғары өнімділік көрсету үшін конфигурациялайтыны белгілі. Мысалы, 1980 жылдары кейбір компиляторлар белгілі бір жылжымалы нүктелік бенчмаркте қолданылатын белгілі бір математикалық операцияны анықтап, осы операцияны математикалық түрде эквивалентті, бірақ жылдамырақ операциямен алмастыра алды. Алайда, мұндай трансформация 1990 жылдардың ортасына дейін, RISC және VLIW архитектуралары компилятор технологиясының өнімділікке қатысты маңыздылығын көрсеткенге дейін, эталоннан тыс жерде сирек пайдалы болды. Қазіргі кезде компилятор компаниялары өздерінің бенчмарк көрсеткіштерін және нақты қолданбалардың өнімділігін жақсарту үшін бенчмарктарды тұрақты түрде пайдаланады. Көптеген орындау бірліктері бар CPU — мысалы, суперскалярлық CPU, VLIW CPU немесе қайта конфигурацияланатын есептеу CPU — транзисторлардан жасалған кезде, бір немесе екі орындау бірлігі бар ретті CPU-ға қарағанда әдетте төмен тактық жиілікке ие болады. Дегенмен, көптеген орындау бірліктері бар CPU-лар нақты және бенчмарк тапсырмаларын, көбінесе жоғары тактық жиілікті CPU-дан жылдамырақ аяқтайды. Қолда бар көптеген бенчмарктарды ескере отырып, өндіруші әдетте кем дегенде бір бенчмаркты таба алады, оның жүйесі басқа жүйеден оқсып өтетінін көрсетеді; ал басқа жүйелер басқа бенчмаркпен жақсырақ екенін көрсетуге болады. Өндірушілер әдетте тек өз өнімдерін ең жақсы жағдайда көрсететін бенчмарктарды (немесе бенчмарктардың аспектілерін) ғана жариялайды. Олар өз өнімдерін мүмкіндігінше жақсы көрсету үшін бенчмарктардың маңыздылығын бұрмалап көрсетуге де бейім. Мұндай практикалардың барлығы бірге «бенчмаркетинг» деп аталады. Идеалды жағдайда, бенчмарктар нақты қолданбаларды тек егер қолданба қол жетімді болмаса немесе белгілі бір процессорға немесе компьютерлік жүйеге көшіру өте қиын немесе қымбат болса ғана алмастыруы керек. Егер өнімділік маңызды болса, мақсатты ортаның қолданбалар жиынтығы ғана маңызды бенчмарк болып табылады.

As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications. Therefore, tests were developed that allowed comparison of different architectures. For example, Pentium 4 processors generally operated at a higher clock frequency than Athlon XP or PowerPC processors, which did not necessarily translate to more computational power; a processor with a slower clock frequency might perform as well as or even better than a processor operating at a higher frequency. See BogoMips and the megahertz myth. Benchmarks are designed to mimic a particular type of workload on a component or system. Synthetic benchmarks do this by specially created programs that impose the workload on the component. Application benchmarks run real world programs on the system. While application benchmarks usually give a much better measure of real world performance on a given system, synthetic benchmarks are useful for testing individual components, like a hard disk or networking device. Benchmarks are particularly important in CPU design, giving processor architects the ability to measure and make tradeoffs in microarchitectural decisions. For example, if a benchmark extracts the key algorithms of an application, it will contain the performance sensitive aspects of that application. Running this much smaller snippet on a cycle accurate simulator can give clues on how to improve performance. Prior to 2000, computer and microprocessor architects used SPEC to do this, although SPEC's Unix based benchmarks were quite lengthy and thus unwieldy to use intact. Computer manufacturers are known to configure their systems to give unrealistically high performance on benchmark tests that are not replicated in real usage. For instance, during the 1980s some compilers could detect a specific mathematical operation used in a well known floating point benchmark and replace the operation with a faster mathematically equivalent operation. However, such a transformation was rarely useful outside the benchmark until the mid 1990s, when RISC and VLIW architectures emphasized the importance of compiler technology as it related to performance. Benchmarks are now regularly used by compiler companies to improve not only their own benchmark scores, but real application performance. CPUs that have many execution units — such as a superscalar CPU, a VLIW CPU, or a reconfigurable computing CPU — typically have slower clock rates than a sequential CPU with one or two execution units when built from transistors that are just as fast. Nevertheless, CPUs with many execution units often complete real world and benchmark tasks in less time than the supposedly faster high clock rate CPU. Given the large number of benchmarks available, a manufacturer can usually find at least one benchmark that shows its system will outperform another system; the other systems can be shown to excel with a different benchmark. Manufacturers commonly report only those benchmarks (or aspects of benchmarks) that show their products in the best light. They also have been known to mis represent the significance of benchmarks, again to show their products in the best possible light. Taken together, these practices are called bench marketing. Ideally benchmarks should only substitute for real applications if the application is unavailable, or too difficult or costly to port to a specific processor or computer system. If performance is critical, the only benchmark that matters is the target environment's application suite.

Функционалдылығы

Бенчмаркинг бағдарламалық жасақтамасының мүмкіндіктеріне өнімділіктің барысын кесте файлына жазу/экспорттау, сызықтық графиктер немесе түсті кодталған тіктөртбұрыштар салу сияқты көріністендіру, сондай-ақ процесті тоқтатып, қайтадан бастамай жалғастыру мүмкіндігі кіруі мүмкін. Бағдарламалық жасақтама мақсатына қарай қосымша мүмкіндіктерге ие болуы мүмкін, мысалы, дискіні тестілеу бағдарламалық жасақтамасы дискінің толық көлемі емес, белгілі бір бөлігінде дискінің жылдамдығын өлшеуге, кездейсоқ оқу жылдамдығы мен жауабын өлшеуге, белгілі интервалдар мен көлемдердегі үлгілер арқылы жылдамдықты тексеруге арналған "жылдам тексеру" функциясына және әрбір оқу сұранысына қажет байттар санын анықтауға мүмкіндік беруі мүмкін.

Салыстырмалы бағалау қағидалары

Бағалау көрсеткіштері үшін жеті маңызды қасиет бар. Бұл негізгі сипаттамалар:
Маңыздылығы: Бағалау көрсеткіштері маңызды ерекшеліктерді өлшеуі керек. Өкілдік: Бағалау көрсеткіштерінің нәтижелері индустрия және академиялық ортада кеңінен қабылдануы тиіс. Әділдік: Барлық жүйелерді әділ түрде салыстыру керек. Қайталанатындық: Бағалау нәтижелерін растауға болады. Қосымша тиімділік: Бағалау сынақтары экономикалық тұрғыдан тиімді болуы керек. Өлшемділік: Бағалау сынақтары әртүрлі ресурстарға ие жүйелерде – төменнен жоғарыға дейін жұмыс істеуі керек. Түсініктілік: Бағалау көрсеткіштерін түсіну оңай болуы керек.