Деректерді сақтау жүйесі: HSM (Hierarchical Storage Management) – IBM жасаған, дерек сақтау құнын төмендету және жылдам қол жеткізуді қамтамасыз ететін технология.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Деректерді сақтау техникасы
Data storage technique
Иерархиялық сақтауды басқару (HSM), сондай-ақ деңгейлік сақтау деп те аталады,
Hierarchical storage management (HSM), also known as Tiered storage,
Тарих
Иерархиялық сақтау менеджері (HSM, кейін DFHSM және соңында DFSMShsm) алғаш рет IBM компаниясы MVS үшін 1978 жылдың 31 наурызында деректерді сақтау құнын төмендету және деректерді баяу құрылғылардан алуды жеңілдету мақсатымен іске қосылды. Пайдаланушы деректердің қайда сақталғанын және оларды қалай қайтару керектігін білуі қажет болмады; компьютер деректерді автоматты түрде қайтарып беретін болды. Пайдаланушы үшін жалғыз айырмашылық – деректерді қайтару жылдамдығы болатын. HSM бастапқыда деректер жиынтығын IBM 3850 Mass Storage Facility-дегі дискілік және виртуалды томдарға көшіре алатын, бірақ кейінгі нұсқасы көшіру деңгейі 2 (ML2) үшін магниттік таспалық томдарды қолдады. Кейін IBM HSM-ді AIX операциялық жүйесіне, содан кейін Solaris, HP UX және Linux сияқты басқа Unix жүйелеріне порттады. CSIRO Австралияның Есептеу зерттеу бөлімі 1960 жылдары DAD (Барабандар мен дисплей) операциялық жүйесінде құжаттық аймақпен HSM-ді енгізді, құжаттардың көшірмелері 7 тректік таспаға жазылып, құжаттарға қол жеткізген кезде автоматты түрде алынды. HSM сонымен қатар DEC VAX/VMS жүйелерінде және Alpha/VMS жүйелерінде де іске асырылды. Бірінші іске асыру күні VMS жүйесін іске асыру нұсқаулықтарынан немесе VMS өнімдерінің сипаттамалық буклеттерінен анықталуы керек. Соңғы кезде Serial ATA (SATA) дискілерінің дамуы үш деңгейлі HSM үшін маңызды нарық құрды: файлдар жоғары өнімділіктегі Fibre Channel сақтау аймақтық желісі құрылғыларынан сәл баяу, бірақ әлдеқайда арзан SATA дискілік массивтеріне, көлемі бірнеше терабайттан асатын, содан кейін SATA дискілерінен таспаға көшіріледі.
Hierarchical Storage Manager (HSM, then DFHSM and finally DFSMShsm) was first implemented by IBM on March 31, 1978 for MVS to reduce the cost of data storage, and to simplify the retrieval of data from slower media. The user would not need to know where the data was stored and how to get it back; the computer would retrieve the data automatically. The only difference to the user was the speed at which data was returned. HSM could originally migrate datasets only to disk volumes and virtual volumes on a IBM 3850 Mass Storage Facility, but a latter release supported magnetic tape volumes for migration level 2 (ML2). Later, IBM ported HSM to its AIX operating system, and then to other Unix like operating systems such as Solaris, HP UX and Linux. CSIRO Australia's Division of Computing Research implemented an HSM in its DAD (Drums and Display) operating system with its Document Region in the 1960s, with copies of documents being written to 7 track tape and automatic retrieval upon access to the documents. HSM was also implemented on the DEC VAX/VMS systems and the Alpha/VMS systems. The first implementation date should be readily determined from the VMS System Implementation Manuals or the VMS Product Description Brochures. More recently, the development of Serial ATA (SATA) disks has created a significant market for three stage HSM: files are migrated from high performance Fibre Channel storage area network devices to somewhat slower but much cheaper SATA disk arrays totaling several terabytes or more, and then eventually from the SATA disks to tape.
Пайдалану жағдайлары
HSM көбінесе деректерді ұзақ мерзімге арзан бағамен сақтау үшін терең мұрағаттау үшін қолданылады. Автоматтандырылған магниттік лента роботтары аз қуатты тұтынып, үлкен көлемдегі деректерді тиімді түрде сақтай алады. Кейбір HSM бағдарламалық өнімдері пайдаланушыға дерек файлдарының бір бөлігін жоғары жылдамдықты дискілік кэште, ал қалғанын магниттік лентада орналастыруға мүмкіндік береді. Бұл интернет арқылы бейнелерді таратуда қолданылады – бейненің бастапқы бөлігі дереу дискіден жеткізіледі, ал робот файлдың қалған бөлігін іздеп, орнатып, соңғы пайдаланушыға жібереді. Мұндай жүйе үлкен мазмұнды ұсыну жүйелері үшін дискілік шығындарды едәуір төмендетеді. Қазіргі уақытта HSM бағдарламалық жасақтамасы қатты дискілер мен флэш-жад арасында деңгейлеу үшін де қолданылады, флэш-жад магниттік дискілерге қарағанда 30 еседей жылдам, бірақ дискілер әлдеқайда арзан.
HSM is often used for deep archival storage of data to be held long term at low cost. Automated tape robots can silo large quantities of data efficiently with low power consumption. Some HSM software products allow the user to place portions of data files on high speed disk cache and the rest on tape. This is used in applications that stream video over the internet—the initial portion of a video is delivered immediately from disk while a robot finds, mounts and streams the rest of the file to the end user. Such a system greatly reduces disk cost for large content provision systems. HSM software is today used also for tiering between hard disk drives and flash memory, with flash memory being over 30 times faster than magnetic disks, but disks being considerably cheaper.
Алгоритмдер
HSM-нің негізгі факторы – жүйедегі файлдарды тасымалдауды басқаратын деректер көшіру саясаты. Нақтырақ айтқанда, саясат файлдың қай деңгейде сақталуын анықтайды, осылайша сақтау жүйесінің барлығы тиімді ұйымдастырылып, сұрауларға ең жылдам жауап беруге мүмкіндік туады. Бұл процесті жүзеге асыратын бірнеше алгоритмдер бар, мысалы, Ең соңғы пайдаланылғанды алмастыру (LRU), Мөлшер-температуралық алмастыру (STP), Эвристикалық шешім (STEP) және т.б. Соңғы жылдарғы зерттеулерде машиналық оқыту технологияларын пайдалану арқылы жаңа, интеллектуалды саясаттар да қолданысқа түсуде.
The key factor behind HSM is a Data migration policy that controls the file transfers in the system. More precisely, the policy decides which tier a file should be stored in, so that the entire storage system can be well organized and have a shortest response time to requests. There are several algorithms realizing this process, such as Least Recently Used replacement(LRU), Size Temperature Replacement(STP), Heuristic Threshold(STEP) etc. In research of recent years, there are also some intelligent policies coming up by using machine learning technologies.