Кіріспе
Файл пішімдерінің жиынтығы. Иерархиялық деректер форматы (HDF) – үлкен көлемдегі деректерді сақтау және ұйымдастыру үшін жасалған файл пішімдерінің жиынтығы (HDF4, HDF5). Бастапқыда АҚШ Ұлттық суперкомпьютерлік қолданбалар орталығында әзірленген, қазір HDF Group қолдауында – HDF5 технологиясын одан әрі дамыту және HDF форматында сақталған деректерге тұрақты қолжетімділікті қамтамасыз ету миссиясын атқаратын коммерциялық емес корпорация. Осы мақсатта HDF кітапханалары мен оған қосымша құралдар жалпы қолдану үшін BSD сияқты босаңс лицензия бойынша ұсынылады. HDF көптеген коммерциялық және коммерциялық емес бағдарламалық платформалар мен бағдарламалау тілдерімен үйлесімді. HDF дистрибуциясы кітапхананы, командалық қатар құралдарын, тесттік жиынтықтарды, Java интерфейсін және Java негізіндегі HDF Viewer (HDFView) бағдарламасын қамтиды. Қазіргі нұсқасы – HDF5, дизайн және API тұрғысынан HDF4 ескі нұсқасынан едәуір өзгеше.
Hierarchical Data Format (HDF) is a set of file formats (HDF4, HDF5) designed to store and organize large amounts of data. Originally developed at the U. S. National Center for Supercomputing Applications, it is supported by The HDF Group, a non profit corporation whose mission is to ensure continued development of HDF5 technologies and the continued accessibility of data stored in HDF. In keeping with this goal, the HDF libraries and associated tools are available under a liberal, BSD like license for general use. HDF is supported by many commercial and non commercial software platforms and programming languages. The freely available HDF distribution consists of the library, command line utilities, test suite source, Java interface, and the Java based HDF Viewer (HDFView). The current version, HDF5, differs significantly in design and API from the major legacy version HDF4.
Ерте тарих
Әдетте AEHOO (All Encompassing Hierarchical Object Oriented format) деп аталатын портативті ғылыми деректер форматын табуға жасалған іздеу 1987 жылы Ұлттық суперкомпьютерлік қосымшалар орталығында (NCSA) Graphics Foundations Task Force (GFTF) тобы бастады. 1990 және 1992 жылдары алынған NSF гранттары жоба үшін маңызды рөл атқарды. Осы шамада NASA Жерді бақылау жүйесі (EOS) жобасында қолдану үшін 15 түрлі файл форматтарын қарастырды. Екі жылдық зерделеуден кейін HDF стандартты дерек және ақпарат жүйесі ретінде таңдалды.
HDF4
HDF4 – форматтың ескі нұсқасы, бірақ HDF тобы оны әлі де белсенді түрде қолдайды. Ол көптеген әртүрлі дерек модельдерін, соның ішінде көп өлшемді массивтерді, растрлық кескіндерді және кестелерді қолдайды. Әрқайсысы нақты бір жиынтық дерек типін анықтайды және деректерді және метадеректерді оқу, жазу және ұйымдастыру үшін API ұсынады. HDF әзірлеушілері немесе пайдаланушылар жаңа дерек модельдерін қоса алады. HDF өзін-өзі сипаттайды, бұл қосымшаға файлдың құрылымын және мазмұнын сыртқы ақпаратсыз түсінуге мүмкіндік береді. Бір HDF файлында байланысты объектілердің жиынтығы болуы мүмкін, оларға топ ретінде немесе жеке нысандар ретінде қол жеткізуге болады. Пайдаланушылар "vgroups" деп аталатын өздерінің топтастыру құрылымдарын құра алады. HDF4 форматының көптеген шектеулері бар. Онда нақты объект моделі жоқ, бұл оны қолдауды және жақсартуды қиындатады. Көптеген әртүрлі интерфейс стильдерін (кескіндер, кестелер, массивтер) қолдау күрделі API-ге әкеледі. Метадеректерді қолдау қолданылып жатқан интерфейске байланысты; SD (Ғылыми деректер жиынтығы) нысандары кез келген аталатын атрибуттарды қолдайды, ал басқа түрлері тек алдын ала анықталған метадеректерді ғана қолдайды. Ең маңыздысы, адрестеу үшін 32 биттік бүтін сандарды пайдалану HDF4 файлдарын 2 ГБ-қа дейін шектейді, бұл көптеген қазіргі ғылыми қолданбалар үшін қабылдауға болмайтын жағдай.
Қайталама
HDF5-ті сынау оның біртұтас құрылымы мен ұзақ сипаттамасынан туындайды. HDF5 UTF-8 қолдануды міндеттемейді, сондықтан клиенттік бағдарламалар көп жағдайда ASCII күтуі мүмкін. Деректер жинағының деректерін сыртқы құралды (h5repack) пайдаланып файлдың көшірмесін жасамайынша файлда босатуға болмайды.