Введение

Оценка работы одним или несколькими людьми, обладающими сопоставимой квалификацией с авторами работы.

Экспертная оценка (рецензирование) – это оценка работы одним или несколькими людьми, обладающими сопоставимой квалификацией с авторами работы (коллегами). Она служит формой саморегулирования квалифицированных специалистов в соответствующей области. Методы экспертной оценки используются для поддержания стандартов качества, повышения эффективности и обеспечения достоверности. В академической среде научное рецензирование часто применяется для определения соответствия научной статьи требованиям к публикации. Экспертная оценка может классифицироваться по типу деятельности и по области или профессии, в которой она проводится, например, медицинское рецензирование. Она также может использоваться в качестве образовательного инструмента для помощи студентам в улучшении письменных работ. Генри Олденбург (1619–1677) – британский философ немецкого происхождения, которого считают «отцом» современной научной экспертной оценки.

Профессиональный

Профессиональная экспертная оценка фокусируется на деятельности специалистов с целью повышения качества, поддержания стандартов или предоставления сертификации. В академической среде рецензирование используется для принятия решений, касающихся продвижения по службе и получения бессрочного назначения. Прототип профессионального процесса экспертной оценки был рекомендован в трактате «Этика врача», написанном Ишаком ибн Али ар-Рухави (854–931). Он утверждал, что посещающий врач должен был делать дубликаты записей о состоянии пациента при каждом визите. После выздоровления пациента или его смерти записи врача рассматривались местным медицинским советом из других врачей, которые определяли, соответствовало ли лечение необходимым стандартам оказания медицинской помощи. Профессиональная экспертная оценка широко распространена в сфере здравоохранения, где она обычно называется клиническим аудитом. Более того, поскольку деятельность по экспертной оценке часто разделяется по клиническим дисциплинам, существуют также экспертная оценка врачей, медсестер, стоматологов и т. д. Многие другие профессиональные области также имеют определенный уровень процесса экспертной оценки: бухгалтерский учет, юриспруденция, инженерия (например, проверка программного обеспечения, технический аудит), авиация и даже управление лесными пожарами. Рецензирование используется в образовании для достижения определенных целей обучения, особенно как инструмент для развития процессов высшего порядка в аффективной и когнитивной областях, определенных таксономией Блума. Это может принимать различные формы, включая те, которые тесно имитируют научные процессы рецензирования, используемые в науке и медицине.

Технические

В инженерии технический просмотр (или рецензирование) является одним из видов инженерного обзора. Технические просмотры – это четко определенный процесс выявления и исправления дефектов, проводимый группой специалистов с распределенными ролями. Технические просмотры выполняются специалистами, представляющими области жизненного цикла, на которые влияет рассматриваемый материал (обычно группой не более 6 человек). Технические просмотры проводятся в ходе этапов разработки, между контрольными точками, а также по завершении продуктов или их частей.

Государственная политика

Европейский Союз использует взаимную оценку (peer review) в рамках "Открытого метода координации" политики в области активной политики на рынке труда с 1999 года. В 2004 году в сфере социальной интеграции была запущена программа взаимных оценок. Каждая программа финансирует около восьми встреч взаимной оценки в год, в ходе которых "принимающая страна" представляет определенную политику или инициативу для изучения полудюжиной других стран и соответствующими неправительственными организациями на европейском уровне. Эти встречи обычно длятся два дня и включают посещение местных площадок, где можно увидеть применение данной политики на практике. Встрече предшествует подготовка экспертного отчета, по которому участвующие "страны-партнеры" (peer countries) представляют свои комментарии. Результаты публикуются в сети Интернет. Европейская экономическая комиссия Организации Объединенных Наций, посредством обзоров экологической эффективности ЕЭК ООН, использует взаимную оценку, именуемую "взаимным обучением" (peer learning), для оценки прогресса, достигнутого ее странами-членами в совершенствовании их экологической политики. Штат Калифорния – единственный штат США, где научное рецензирование является обязательным. В 1997 году губернатор Калифорнии подписал закон Сенатский законопроект № 1320 (Sher), Глава 295, законы 1997 года, который предписывает, что прежде чем Совет, Департамент или Управление CalEPA примут окончательную редакцию нормативного акта, научные данные, выводы и предположения, лежащие в основе предлагаемого правила, должны быть представлены для независимой внешней научной экспертизы. Это требование закреплено в Разделе 57004 Калифорнийского кодекса по охране здоровья и безопасности.

Педагогическая

Взаимное рецензирование, или оценка работ сверстниками, – это метод, при котором редакторы и авторы работают вместе, чтобы помочь автору сформулировать, развить и углубить свои идеи в письменной форме. Взаимное рецензирование широко используется в среднем и высшем образовании как часть процесса написания. Этот инструмент совместного обучения предполагает, что группы студентов анализируют работы друг друга, предоставляя отзывы и предложения по доработке. В отличие от простой критики, взаимное рецензирование часто рассматривается как способ установления связей между студентами и развития писательского самосознания. Хотя взаимное рецензирование широко распространено на уроках английского языка и композиции, оно набирает популярность и в других дисциплинах, где письмо является частью учебной программы, включая социальные и естественные науки. Взаимное рецензирование в классе помогает студентам более осознанно относиться к своей работе и к учебной обстановке в целом. Понимание того, как их работы воспринимаются разнообразной аудиторией до выставления оценки учителем, может помочь студентам уточнить свои мысли и понять, как убедительно донести их до различных читателей. Кроме того, это дает студентам профессиональный опыт, который может пригодиться им в будущем при рецензировании работ коллег перед публикацией. Этот процесс также может повысить уверенность студентов с обеих сторон. Исследования показывают, что студенты чаще выражают положительные, чем отрицательные отзывы при оценке работ одноклассников. Взаимное рецензирование может помочь студентам не терять мотивацию, а наоборот, стремиться к улучшению своих навыков письма. Однако взаимное рецензирование может быть проблематичным для начинающих писателей, особенно если они считают свои работы хуже, чем у других, поскольку они могут не решаться предлагать советы или просить о помощи. Взаимное рецензирование может повлиять на самооценку студентов, а также на их отношение к другим, поскольку они часто испытывают личную привязанность к своим работам, что может затруднить восприятие или выражение критики. Преподаватели могут экспериментировать с проведением взаимного рецензирования на занятиях или в качестве домашнего задания, а также использовать технологии, предоставляемые системами управления обучением. Студенты старших курсов, как правило, дают более качественные отзывы своим сверстникам и извлекают больше пользы из взаимного рецензирования, но этот метод по-прежнему используется для обучения пересмотру письменных работ студентов всех возрастов.

Семинар для коллег

Пир-семинар – это метод, в котором докладчик представляет свои идеи аудитории, которая одновременно выступает в роли своеобразного "проверки". Такой подход позволяет докладчикам выступать в более неформальном ключе, стремясь заинтересовать аудиторию и раскрыть тему. Пир-семинары в некоторой степени напоминают выступления на конференциях, однако докладчикам отводится больше времени для изложения своих мыслей, и аудитория может прерывать их с вопросами и комментариями, касающимися как самой темы, так и качества презентации. Многие исследователи ставят под сомнение эффективность этого метода и конкретные методики его проведения. Критики использования пир-ревью в учебном процессе выражают опасения относительно его неэффективности, обусловленной недостаточной практикой студентов в предоставлении конструктивной критики или их ограниченным опытом в области писательского мастерства в целом.

Критика экспертной оценки

Академический рецензирование столкнулось с серьезной критикой, и многие исследования выявляют присущие процессу рецензирования недостатки. Это особенно заметно в университетских аудиториях, где наиболее распространенным источником обратной связи по письменным работам в студенческие годы часто являются преподаватели, чьи комментарии обычно высоко ценятся. Студенты могут исправлять различные ошибки в письменной работе, опираясь на отзывы преподавателей, например, касающиеся грамматики и структуры. Эффективность обратной связи во многом обусловлена авторитетом ее источника. Бенджамин Китинг в своей статье «Хорошее дело для развития: лонгитюдный анализ рецензирования и авторитета в студенческих письменных работах» провел лонгитюдное исследование, сравнив две группы студентов (одна, специализирующаяся на письме, и другая – нет), чтобы изучить восприятие студентами авторитета. Это исследование, включающее обширный анализ студенческих текстов, приходит к выводу, что студенты, не изучающие письмо как специальность, склонны недооценивать обязательное рецензирование в классе, в то время как студенты-филологи больше ценят комментарии однокурсников. Это указывает на то, что обратная связь от рецензентов имеет определенный порог эффективности, и для качественного рецензирования требуется определенный уровень компетентности. Для непрофессиональных писателей обратная связь может оставаться незамеченной, что снижает ее эффективность. Элизабет Эллис Миллер, Камерон Мозафари, Джастин Лор и Джессика Энох отмечают: «Хотя рецензирование является неотъемлемой частью занятий по письму, студентам часто трудно эффективно в нем участвовать». Авторы иллюстрируют причины неэффективности рецензирования, основываясь на исследованиях, проведенных во время сессий рецензирования в университетских аудиториях:

Недостаток подготовки: студенты и даже некоторые преподаватели могли не получить достаточной подготовки для предоставления конструктивной обратной связи. Без четких указаний относительно того, на что обращать внимание и как давать полезные комментарии, рецензентам может быть сложно предлагать содержательные идеи. Низкая вовлеченность: студенты могут участвовать в сессиях рецензирования с минимальным энтузиазмом или интересом, воспринимая их как обязательные задания, а не как ценные возможности для обучения. Такое отсутствие заинтересованности может привести к поверхностной обратной связи, которая не решает глубинных проблем в тексте. Ограниченность времени: преподаватели часто выделяют ограниченное время на рецензирование во время занятий, чего может быть недостаточно для тщательного анализа работ однокурсников. В результате обратная связь может быть поспешной или поверхностной, лишенной необходимой глубины для существенного улучшения. Это исследование показывает, что помимо проблем, связанных с компетентностью, на низкую эффективность студентов в сессиях рецензирования влияют многочисленные объективные факторы, что приводит к обратной связи от рецензентов, которая может не оказать существенной помощи авторам. Кроме того, это исследование подчеркивает влияние эмоций на сессии рецензирования, предполагая, что рецензенты и авторы не могут полностью исключить эмоции при предоставлении и получении обратной связи. Это может привести к тому, что рецензенты и авторы будут относиться к обратной связи с позитивным или негативным настроем по отношению к тексту, что приведет к выборочному или предвзятому рецензированию и оценке, что еще больше повлияет на их способность объективно оценивать работу. Это подразумевает, что субъективные эмоции также могут влиять на эффективность обратной связи от рецензентов. Памела Бедор и Брайан О’Салливан также придерживаются скептического взгляда на рецензирование в большинстве контекстов письма. Авторы заключают, основываясь на сравнении различных форм рецензирования после систематического обучения в двух университетах, что «суть в том, что рецензирование направлено не только на улучшение письма, но и на помощь авторам в реализации их писательского замысла». Обратная связь от большинства непрофессиональных писателей во время сессий рецензирования часто носит поверхностный характер, например, простые исправления грамматических ошибок и вопросы. Это точно отражает суть заключения о том, что основное внимание уделяется лишь улучшению навыков письма. Значимое рецензирование предполагает понимание авторского замысла, постановку ценных вопросов и перспектив, а также помощь автору в достижении его целей.

Сравнение и улучшение

Магда Тигчелаар сравнивает рецензирование и самооценку в ходе эксперимента, разделившего студентов на три группы: самооценка, рецензирование и отсутствие рецензирования. На протяжении четырех письменных работ она наблюдала изменения в каждой группе, и, к удивлению, значительное улучшение показала только группа, практиковавшая самооценку. Анализ автора предполагает, что самооценка позволяет авторам четко понимать цели пересмотра на каждом этапе, поскольку они лучше всего знакомы со своим текстом. Таким образом, самопроверка естественным образом предполагает систематический и спланированный подход к пересмотру. В отличие от этого, эффективность рецензирования часто ограничена из-за отсутствия структурированной обратной связи, которая характеризуется разрозненными, бессодержательными резюме и оценками, не отвечающими ожиданиям автора относительно доработки его работы. Стефани Коннер и Дженнифер Грей подчеркивают ценность обратной связи, которую большинство студентов предоставляют в процессе рецензирования. Они утверждают, что многие сессии рецензирования не оправдывают ожиданий студентов, поскольку даже сами рецензенты чувствуют неуверенность в предоставлении конструктивной критики из-за недостаточной уверенности в собственных навыках письма. Авторы также предлагают множество стратегий улучшения в различных аспектах, таких как содержание курса и конкретные шаги реализации. Например, процесс рецензирования можно организовать в группы, где студенты представляют свои работы, а остальные участники делают заметки и анализируют их. Затем область рецензирования можно расширить, включив в нее весь класс, что расширит источники обратной связи и повысит уровень профессионализма. С развитием технологий ожидается и эволюция рецензирования. Новые инструменты обладают потенциалом для трансформации процесса рецензирования. Мими Ли обсуждает эффективность и обратную связь от использования онлайн-программы для рецензирования, применявшейся в ее группе первокурсников. В отличие от традиционных методов рецензирования, обычно используемых в аудиториях, онлайн-программа предлагает широкий спектр инструментов для редактирования текстов и подробные инструкции. Например, она содержит список вопросов, которые могут задавать рецензенты, и позволяет добавлять различные комментарии к выделенному тексту. Наблюдения в течение семестра показали, что после использования онлайн-программы студенты продемонстрировали различную степень улучшения навыков письма и оценок. Кроме того, они высоко оценили технологию онлайн-рецензирования.