Генератор бессмысленных научных статей SCIgen и научный обман.

Введение

Программное обеспечение для генерации случайного текста

SCIgen – это генератор научных статей, использующий контекстно-свободную грамматику для случайной генерации бессмыслицы в форме исследовательских работ по информатике. Первоначальным источником данных для него была коллекция научных статей по компьютерным наукам, скачанных с CiteSeer. Формируются все элементы статей, включая графики, диаграммы и ссылки. Созданный учеными из Массачусетского технологического института, он преследует заявленную цель – "максимизировать развлечение, а не связность". Изначально созданный в 2005 году для выявления недостаточной проверки представляемых на конференции материалов, генератор впоследствии стал использоваться, в основном китайскими учеными, для создания большого количества поддельных конференционных статей, что привело к отзыву 122 статей, сгенерированных SCIgen, и разработке программного обеспечения для их обнаружения и противодействия его использованию.

Выдающиеся результаты

В 2005 году статья, сгенерированная SCIgen под названием Rooter: Методология типичного объединения точек доступа и обеспечения избыточности, была принята в качестве неопубликованной работы на Всемирную многоконференцию по систематике, кибернетике и информатике (WMSCI) в 2005 году, и авторов пригласили выступить. Авторы SCIgen описали свой розыгрыш на своем веб-сайте, и вскоре он получил широкую известность, когда о нем написали на Slashdot. WMSCI отозвала приглашение, но команда SCIgen все равно поехала, арендовав помещение в отеле отдельно от конференции и проведя серию случайно сгенерированных докладов на своей собственной "секции". Организатором этих конференций WMSCI является профессор Нагиб Каллаос. С 2000 по 2005 год WMSCI также спонсировался Институтом инженеров электротехники и электроники (IEEE). IEEE прекратил предоставлять спонсорскую поддержку Каллаосу с 2006 по 2008 год. Отправка статьи была преднамеренной попыткой дискредитировать WMSCI, которая, по мнению авторов, принимает некачественные работы и рассылает массовые, нежелательные запросы о предоставлении статей ученым. Как указано на веб-сайте SCIgen:

Писатель по компьютерным технологиям Стэн Келли Бутл отметил в ACM Queue, что многие предложения в статье "Rooter" по отдельности звучали правдоподобно, что, по его мнению, представляет проблему для автоматического обнаружения поддельных статей. Он предположил, что даже читатели могут быть введены в заблуждение эффективным использованием профессионального жаргона ("Игра слов на root/router соответствует юмору выпускников MIT, и наличие хотя бы одного упоминания методологии обязательно") и приписать кажущуюся бессвязность статьи своим собственным недостаточным знаниям. Его вывод заключался в том, что "для надежного фильтра бессмыслицы требуется тщательный комплексный анализ несколькими экспертами в данной области".

Шлангеман

Псевдоним "Герберт Шлангеманн" использовался для публикации фальшивых научных статей на международных конференциях, заявлявших о практике рецензирования. Имя взято из шведского короткометражного фильма Der Schlangemann. В 2008 году, в ответ на серию писем с запросом статей (Call for Paper), SCIgen был использован для создания ложной научной статьи под названием "К моделированию электронной коммерции", автором которой был указан "Герберт Шлангеманн". Статья была принята к публикации на Международной конференции по компьютерным наукам и инженерии программного обеспечения 2008 года (CSSE 2008), совместно спонсируемой IEEE, проходившей в Ухане, Китай, и автор был приглашен в качестве председателя сессии на основании вымышленного резюме (Curriculum Vitae). Официальный комментарий к рецензии: "В данной статье представлены кооперативные технологии и классическая связь. В заключение, результаты показывают, что хотя широко разрекламированный амфибийный алгоритм для улучшения рандомизированных алгоритмов невозможен, хорошо известный клиент-серверный алгоритм для анализа голоса по IP, разработанный Кумаром и Раманом, работает за время (n). Авторы четко выявляют важные особенности визуализации DHT и глубоко их анализируют. Рекомендуется, чтобы авторы более последовательно развивали свои идеи, логичнее их структурировали и связывали их четкими переходами". Статья была доступна в базе данных IEEE Xplore в течение короткого времени, после чего была удалена. Вся история описана в официальном блоге "Herbert Schlangemann", а также получила освещение на Slashdot и немецком технологическом новостном сайте Heise Online. В 2009 году произошел аналогичный инцидент, и последняя фальшивая статья Герберта Шлангеманна "PlusPug: Методология улучшения локальных сетей" была принята для устного доклада на Международной конференции по электронному бизнесу и безопасности информационных систем 2009 года (EBISS 2009), также спонсируемой IEEE, которая вновь проходила в Ухане, Китай. Профессор Генко Гулан опубликовал статью на 3-м Международном симпозиуме по интерактивному медиа-дизайну. Научная работа 2013 года показала, что как минимум 85 статей, сгенерированных SCIgen, были опубликованы IEEE и Springer. Согласно этому исследованию, было удалено более 120 статей SCIgen.

The pseudonym "Herbert Schlangemann" was used to publish fake scientific articles in international conferences that claimed to practice peer review. The name is taken from the Swedish short film Der Schlangemann. In 2008, in response to a series of Call for Paper e mails, SCIgen was used to generate a false scientific paper titled Towards the Simulation of E Commerce, using "Herbert Schlangemann" as the author. The article was accepted at the 2008 International Conference on Computer Science and Software Engineering (CSSE 2008), co sponsored by the IEEE, to be held in Wuhan, China, and the author was invited to be a session chair on grounds of his fictional Curriculum Vitae. The official review comment: "This paper presents cooperative technology and classical Communication. In conclusion, the result shows that though the much touted amphibious algorithm for the refinement of randomized algorithms is impossible, the well known client server algorithm for the analysis of voice over IP by Kumar and Raman runs in (n) time. The authors can clearly identify important features of visualization of DHTs and analyze them insightfully. It is recommended that the authors should develop ideas more cogently, organizes them more logically, and connects them with clear transitions." The paper was available for a short time in the IEEE Xplore Database, but was then removed. The entire story is described in the official "Herbert Schlangemann" blog, and it also received attention in Slashdot and the German language technology news site Heise Online. In 2009, the same incident happened and Herbert Schlangemann's latest fake paper PlusPug: A Methodology for the Improvement of Local Area Networks was accepted for oral presentation at the 2009 International Conference on e Business and Information System Security (EBISS 2009), also co sponsored by IEEE, to be held again in Wuhan, China. Professor Genco Gulan published a paper in the 3rd International Symposium of Interactive Media Design. A 2013 scientometrics paper demonstrated that at least 85 SCIgen papers have been published by IEEE and Springer. Over 120 SCIgen papers were removed according to this research.

В журналах

Студенты Иранского технологического университета Шариф опубликовали статью в журнале Elsevier's Journal of Applied Mathematics and Computation. Студенты публиковались под фамилией "MosallahNejad", что в буквальном переводе с персидского языка (хотя это и не традиционное персидское имя) означает "из воинственного рода". Статья была впоследствии удалена, когда издатели узнали, что это была шуточная публикация. Михаил Гельфанд опубликовал перевод статьи "Rooter" в русскоязычном журнале "Научные публикации аспирантов и докторантов" в августе 2008 года. Гельфанд протестовал против этого журнала, который, очевидно, не проходил рецензирование и использовался российскими аспирантами для публикации в "аккредитованном" научном журнале, за что с них взималось 4000 рублей. Аккредитация была отозвана через две недели. (Подробную информацию можно найти на сайте Dissernet.) Springer Science+Business Media и IEEE также стали объектами подобных розыгрышей.

Подделка Google Scholar и калькуляторов h-индекса

Рецензирование, проводимое от имени Института инженеров электротехники и электроники, также подверглось критике после обнаружения фальшивых статей в материалах конференций, в частности, благодаря работам Лаббе и исследователя, использующего псевдоним Шлангеманн. Сирил Лаббе из Университета Гренобля в статье 2010 года продемонстрировал уязвимость расчетов индекса Хирша на основе данных Google Scholar, "скормив" ему большой набор документов, сгенерированных SCIgen, которые цитировали друг друга, по сути, создав академическую схему накрутки ссылок. С помощью этого метода автору удалось поместить "Ике Анткаре" выше Альберта Эйнштейна, например.

2013 отзывы

В 2013 году Springer и IEEE отозвали более 122 опубликованных докладов конференций, сгенерированных SCIgen. В отличие от предыдущих публикаций, которые были намеренными розыгрышами, эти работы в основном создавались китайскими учеными, использовавшими статьи SCIgen для улучшения своего послужного списка публикаций.

SciDetect

В 2015 году SciDetect был выпущен издательством Springer. Это программное обеспечение, разработанное Сирилом Лаббе, предназначено для автоматического выявления статей, сгенерированных SCIgen.