Structure mining

Кіріспе

Құрылымдық қазба немесе құрылымды деректерді қазба - жартылай құрылымды дерек жиынтығынан пайдалы ақпаратты табу және алу процесі. Графиктік, ретті модельдік және молекулалық тау-кен өндіру - құрылымдалған деректер тау-кенінің ерекше жағдайлары.

Сипаттама

Жартылай құрылымдалған деректерді қолданудың өсуі дәстүрлі түрде кестелік деректер жиынтығына қатысты деректерді өндірудің жаңа мүмкіндіктерін жасады, бұл деректерді өндіру мен реляциялық деректер қорлары арасындағы тығыз байланысты көрсетеді. Әлемдегі қызықты және пайдалы деректердің көп бөлігі реляциялық деректер қорына оңай бүктелмейді, дегенмен бағдарламалық жасақтама инженерлерінің ұрпағы деректерді өңдеудің жалғыз жолы екеніне сену үшін оқытылған, ал деректерді өндіру алгоритмдері әдетте кестелік деректерді өңдеу үшін ғана әзірленген. XML жартылай құрылымдалған деректерді бейнелеудің ең жиі қолданылатын тәсілі болып табылады, ол кестелік деректерді де, кездейсоқ ағаштарды да бейнелей алады. XML-де екі қолданба арасында алмасатын деректердің кез келген белгілі бір бейнелеуі әдетте XSD-де жазылған схемамен сипатталады. Мұндай схемалардың практикалық мысалдары, мысалы NewsML, әдетте өте күрделі, онда арнайы жағдай деректерін көрсетуге арналған бірнеше ерікті кіші ағаштар бар. Жиі схеманың шамамен 90%-ы осы ерікті деректер элементтері мен кіші ағаштардың анықталуына қатысты. Сондықтан, XML-ті қолдана отырып жіберілетін немесе кодталатын және бірдей схемаға сәйкес келетін хабарламалар мен деректер, жіберілетін нәрсеге байланысты, әртүрлі деректерді қамтуы мүмкін. Мұндай деректер дәстүрлі деректер өндіруде үлкен проблемалар тудырады. Бір схемаға сәйкес келетін екі хабарламада ортақ деректер аз болуы мүмкін. Мұндай деректерден оқу жиынтығын құру дегеніміз, егер оны әдеттегі деректер қазу үшін кестелік деректер ретінде пішімдеуге тырысса, кестелердің үлкен бөліктері бос болады немесе бос болуы мүмкін. Деректер қазбасының көпшілігінде ұсынылған деректер толық болады деген тұжырым жасалады. Басқа қажеттілік - бақылаумен немесе бақылаусыз пайдаланылатын нақты тау-кен алгоритмдері аз деректерді өңдеуге қабілетті болуы керек. Яғни, машиналық оқыту алгоритмдері ақпараттың тек бір бөлігі ғана берілген толық емес деректер жиынтығымен нашар жұмыс істейді. Мысалы, нейрондық желілерге негізделген әдістер. немесе Росс Квинланның ID3 алгоритмі. проблеманың жақсы және өкілді үлгілерімен өте дәл, бірақ жағымсыз деректермен нашар орындалады. Көбінесе кіріс пен шығыстың мұқият және бейтарап бейнеленуімен бірге модельдің жақсы ұсынылуы жеткілікті. Тиісті құрылым мен модельді табудың басты мәселесі болып табылатын ерекше маңызды сала - мәтін өндіру. XPath - XML-дегі түйіндер мен деректер элементтеріне сілтеме жасау үшін қолданылатын стандартты механизм. Ол операциялық жүйелердің пайдаланушы интерфейстерінде қолданылатын каталог иерархиясын басқарудың стандартты әдістеріне ұқсас. Кез келген нысандағы XML деректерін өндіру және құрылымдау үшін әдеттегі деректерді өндіру үшін кем дегенде екі кеңейту қажет. Бұл XPath нұсқаулығын кез келген деректер үлгісімен және әрбір деректер түйінімен әрбір деректер түйінімен байланыстыратын мүмкіндік және құжат ішіндегі кез келген түйіннің немесе түйіндер жиынтығының болуы мен санын табу мүмкіндігі. Мысалы, егер XML-де туыстық ағашты бейнелеу керек болса, осы кеңейтулерді пайдаланып, ағаштағы барлық жеке түйіндер, атау және қайтыс болған кездегі жас сияқты деректер элементтері және балалардың саны сияқты байланысты түйіндердің саны бар деректер жиынтығын құруға болады. Алдымен, ата-аналар мен ата-аналар арасындағы байланыс туралы мәліметтерді іздестіру керек. Құжат немесе хабарламаның құрылымына байланысты осы дерек түрлерін қосу құрылымды қазуды жеңілдетеді.

The growth of the use of semi structured data has created new opportunities for data mining, which has traditionally been concerned with tabular data sets, reflecting the strong association between data mining and relational databases. Much of the world's interesting and mineable data does not easily fold into relational databases, though a generation of software engineers have been trained to believe this was the only way to handle data, and data mining algorithms have generally been developed only to cope with tabular data. XML, being the most frequent way of representing semi structured data, is able to represent both tabular data and arbitrary trees. Any particular representation of data to be exchanged between two applications in XML is normally described by a schema often written in XSD. Practical examples of such schemata, for instance NewsML, are normally very sophisticated, containing multiple optional subtrees, used for representing special case data. Frequently around 90% of a schema is concerned with the definition of these optional data items and sub trees. Messages and data, therefore, that are transmitted or encoded using XML and that conform to the same schema are liable to contain very different data depending on what is being transmitted. Such data presents large problems for conventional data mining. Two messages that conform to the same schema may have little data in common. Building a training set from such data means that if one were to try to format it as tabular data for conventional data mining, large sections of the tables would or could be empty. There is a tacit assumption made in the design of most data mining algorithms that the data presented will be complete. The other necessity is that the actual mining algorithms employed, whether supervised or unsupervised, must be able to handle sparse data. Namely, machine learning algorithms perform badly with incomplete data sets where only part of the information is supplied. For instance methods based on neural networks. or Ross Quinlan's ID3 algorithm. are highly accurate with good and representative samples of the problem, but perform badly with biased data. Most of times better model presentation with more careful and unbiased representation of input and output is enough. A particularly relevant area where finding the appropriate structure and model is the key issue is text mining. XPath is the standard mechanism used to refer to nodes and data items within XML. It has similarities to standard techniques for navigating directory hierarchies used in operating systems user interfaces. To data and structure mine XML data of any form, at least two extensions are required to conventional data mining. These are the ability to associate an XPath statement with any data pattern and sub statements with each data node in the data pattern, and the ability to mine the presence and count of any node or set of nodes within the document. As an example, if one were to represent a family tree in XML, using these extensions one could create a data set containing all the individuals node in the tree, data items such as name and age at death, and counts of related nodes, such as number of children. More sophisticated searches could extract data such as grandparents' lifespans etc. The addition of these data types related to the structure of a document or message facilitates structure mining.