Деректерді талдау моделі: CRISP-DM және оның дамуы
Cross-industry standard process for data mining
Деректерді талдау моделі: CRISP DM – сарапшылар арасында кең таралған ашық стандарт. IBM ASUM DM әдістемесімен жетілдірді. Тарихы, дамуы туралы ақпарат.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Ашық стандартты процесс моделі
Open standard process model
Деректерді өндіру салалары арасындағы стандартты процесс, яғни CRISP-DM, деректерді өндіру сарапшылары қолданатын әдеттегі тәсілдерді сипаттайтын ашық стандартты процесс моделі болып табылады. Бұл ең көп қолданылатын аналитикалық модель. 2015 жылы IBM деректерді өндіру/болжамды аналитика үшін Analytics Solutions Unified Method (ASUM DM деп те аталады) деп аталатын, CRISP-DM-ді жетілдіріп, кеңейтетін жаңа әдістемені жариялады.
The Cross industry standard process for data mining, known as CRISP DM, is an open standard process model that describes common approaches used by data mining experts. It is the most widely used analytics model. In 2015, IBM released a new methodology called Analytics Solutions Unified Method for Data Mining/Predictive Analytics (also known as ASUM DM), which refines and extends CRISP DM.
Тарих
CRISP DM 1996 жылы жасалды және 1997 жылы ESPRIT қаржыландыру бағдарламасы аясында Еуропалық Одақтың жобасы болды. Жобаны бес компания басқарды: Integral Solutions Ltd (ISL), Teradata, Daimler AG, NCR Corporation және OHRA сақтандыру компаниясы. Бұл негізгі консорциум жобаға әртүрлі тәжірибелер әкелді. Кейіннен ISL компаниясы сатып алынып, SPSS-ке қосылды. Компьютерлік алып NCR Corporation Teradata дерек қоймасын және өзінің деректерді талдау бағдарламалық жасақтамасын өндірді. Daimler Benz компаниясында маңызды деректерді талдау тобы болды. OHRA деректерді талдаудың мүмкіндіктерін зерттей бастады. Әдістеменің бірінші нұсқасы 1999 жылдың наурыз айында Брюссельде өткен 4-ші CRISP DM SIG семинарында ұсынылды және сол жылдың соңында деректерді талдау бойынша қадамдық нұсқаулық ретінде жарияланды. 2006-2008 жылдар аралығында CRISP DM 2.0 SIG құрылып, CRISP DM процесінің моделін жаңарту мәселелері талқыланды. Бұл жұмыстардың қазіргі күйі белгісіз. Дегенмен, шолуларда сілтеме берілген түпнұсқа crisp-dm.org сайты,
CRISP DM was conceived in 1996 and became a European Union project under the ESPRIT funding initiative in 1997. The project was led by five companies: Integral Solutions Ltd (ISL), Teradata, Daimler AG, NCR Corporation, and OHRA, an insurance company. This core consortium brought different experiences to the project. ISL, was later acquired and merged into SPSS. The computer giant NCR Corporation produced the Teradata data warehouse and its own data mining software. Daimler Benz had a significant data mining team. OHRA was starting to explore the potential use of data mining. The first version of the methodology was presented at the 4th CRISP DM SIG Workshop in Brussels in March 1999, and published as a step by step data mining guide later that year. Between 2006 and 2008, a CRISP DM 2.0 SIG was formed, and there were discussions about updating the CRISP DM process model. The current status of these efforts is not known. However, the original crisp dm. org website cited in the reviews,
Сауалнамалар мен баламалы процесс жүйелері
2002, 2004, 2007 және 2014 жылдары KDNuggets сайтында жүргізілген сауалнамалар көрсеткендей, бұл сауалнамаға жауап беруге келіскен салалық деректерді талдаушылардың арасында ең көп қолданылған әдістеме болды. Осы сауалнамаларда SEMMA басқа деректерді талдау тәсілі ретінде ғана аталды. Дегенмен, SAS Институты SEMMA-ның деректерді талдау әдістемесі емес, "SAS Enterprise Miner-дің функционалдық құралдарының логикалық құрылымы" екенін нақты айтады. 2009 жылы деректерді талдау процесінің модельдерін қарастырып, сынға салған зерттеу CRISP DM-ді "деректерді талдау және білімді ашу жобаларын дамытудың де-факто стандарты" деп атады. CRISP DM және деректерді талдау процесінің модельдері туралы басқа да зерттеулерге Курган мен Мусилектің 2006 жылғы шолуы, сондай-ақ Азеведо мен Сантостың 2008 жылғы CRISP DM мен SEMMA-ны салыстыруы жатады. Әдістемені жаңарту жұмыстары 2006 жылы басталды, бірақ 2015 жылдың маусым айына дейін жаңа нұсқасы шығарылмады, ал бұл жұмыстарға жауапты болған "Арнайы қызығушылық тобы" (SIG) және веб-сайт көп бұрын жойылды (ҚРИСП ДМ тарихына қараңыз). 2024 жылы Гарвард Бизнес Шығаруы bizML деп аталатын жаңартылған құрылымды жариялады, ол бизнес мамандарына көбірек тиімді болу үшін және жалпы талдау, деректер ғылымы немесе деректерді талдау жобаларына емес, ерекше машиналық оқыту жобаларына арналған.
Polls conducted at the same website (KDNuggets) in 2002, 2004, 2007, and 2014 show that it was the leading methodology used by industry data miners who decided to respond to the survey. The only other data mining approach named in these polls was SEMMA. However, SAS Institute clearly states that SEMMA is not a data mining methodology, but rather a "logical organization of the functional toolset of SAS Enterprise Miner." A review and critique of data mining process models in 2009 called the CRISP DM the "de facto standard for developing data mining and knowledge discovery projects." Other reviews of CRISP DM and data mining process models include Kurgan and Musilek's 2006 review, and Azevedo and Santos' 2008 comparison of CRISP DM and SEMMA. Efforts to update the methodology started in 2006, but have, as of June 2015, not led to a new version, and the "Special Interest Group" (SIG) responsible along with the website has long disappeared (see History of CRISP DM). In 2024, Harvard Business Review published an updated framework, bizML, that is designed for greater relevance to business personnel and to be specific for machine learning projects in particular, rather than for analytics, data science, or data mining projects in general.