Критический обзор: Студенческие оценки курсов Браунского университета.

Введение

Критический обзор – студенческое издание, публикующее рецензии на курсы в Университете Брауна. Студенческая группа, выпускающая его, также называется «Критический обзор». Рецензии составляются студентами Брауна на основе анкет оценки курсов, распространяемых среди студентов в последние дни учебного семестра. Цель издания – помочь студентам сделать осознанный выбор курсов и предоставить преподавателям возможность улучшить методики преподавания, дополняя информацию из каталога курсов Университета Брауна реальными отзывами студентов.

Первое десятилетие: формат и процесс

В 1976 году, всего через семь лет после объявления «Новой учебной программы» Брауна, группой студентов Брауна было начато издание «Другой взгляд: руководство для потребителей по курсам в Брауне» как публикация Совета студентов. В этом ежегодном журнале студенты писали обзоры курсов, основываясь на ответах на собственные анкеты организации, а также на анкетах, предоставленных рядом факультетов. Письменные оценки были краткими, а разделы с числовыми оценками, когда они присутствовали, состояли лишь из средних значений. Группы студентов факультетов играли важную роль в этом процессе, поскольку они распространяли и собирали анкеты в учебных группах и помогали разрабатывать индивидуальные анкеты для своих соответствующих факультетов. Четкого процесса составления журнала не существовало, и поскольку анкеты для разных курсов были разными, обзоры курсов значительно различались по объему и акцентам представленной информации. «Должен быть лучший способ, чем заставлять трех человек корпеть над анкетами в офисе UCS в течение двух летних месяцев, – написали редакторы на обложке одного из первых выпусков. – Необходимо разработать более рациональный и единообразный процесс». Где-то между 1978 и 1981 годами название было изменено на «Критический обзор: руководство для потребителей по курсам в Брауне», а через несколько лет – просто на «Критический обзор». Количество рассмотренных в каждом выпуске курсов значительно варьировалось от года к году. Редакторы ежегодно меняли процедуру составления журнала. Соредакторы Том Машберг ’82 и Иан Макстоун Грэм ’82.5 возглавили одну из таких реорганизаций. В 1984 году недавно назначенный главный редактор Роб Марки запросил отзывы у студентов и преподавателей, а затем успел переработать систему к моменту создания выпуска за I семестр 1985–1986 учебного года – первого выпуска «Критического обзора», охватывающего только один семестр. Редакторы представили теперь стандартный формат – два обзора на странице с гистограммами, предназначенными для отображения общего распределения ответов студентов. Гистограммы были внедрены для повышения прозрачности «Критического обзора» путем балансировки письменных обзоров с объективными данными студенческих опросов и указания размера выборки, чтобы профессора знали, что обзоры основаны не только на комментариях одного-двух студентов. Редакторы также создали специальное программное обеспечение для упрощения создания гистограмм и разработали соответствующую анкету для получения количественных данных об оценках курсов. Однако «Критический обзор» по-прежнему зависел от профессоров в распространении анкет, что некоторые отказывались делать или делали нерегулярно. Издание также принимало оценочные формы факультетов в качестве альтернативы собственной анкете. В результате гистограммы были недоступны для многих курсов. Тем не менее, найдя удовлетворительную и управляемую систему, на которую студенты и преподаватели Брауна отреагировали положительно, последующие редакторы в течение следующих нескольких лет относительно мало меняли формат, процесс и политику «Критического обзора».

In 1976, just seven years after Brown's "New Curriculum" had been announced, The Other View: A Consumer's Guide to Courses at Brown was started by a group of Brown undergraduates as a publication of the Undergraduate Council of Students. In this annual magazine, students wrote reviews of courses based on responses to both the organization's own questionnaires and also based on departmental questionnaires which were made available by several departments. The written evaluations were short, and the numerical ratings sections, when presented, consisted of only averages. Department Undergraduate Groups were essential to the process because they distributed and collected questionnaires from classes and helped to develop customized questionnaires for their respective departments. There was no set process for putting the magazine together, and since the questionnaires were different for different classes, the course summaries varied significantly in terms of what information they presented and emphasized. "There must be a better way than having three people slave over questionnaires in the UCS office for two summer months," wrote the editors on the cover page of one of the first editions, "A more rational, uniform process must be developed." Sometime between 1978 and 1981, the name was changed to The Critical Review: A Consumer's Guide to Courses at Brown, and then to simply The Critical Review a few years later. The number of courses reviewed in each edition varied considerably from year to year. The editors changed the procedure for compiling the magazine annually. Co Editors in Chief Tom Mashberg '82 and Ian Maxtone Graham '82.5 led one such overhaul. In 1984, recently appointed Editor in Chief Rob Markey sought feedback from students and faculty and then overhauled the system in time to create a 1985–1986 Semester I edition, the first issue of the Critical Review to cover a single semester. The editors introduced the now standard two reviews per page format, with bar graphs, which were meant to depict the general distribution of student responses. The bar graphs were implemented in order to improve the accountability of the Critical Review by balancing the written summaries with objective data from the student surveys and by presenting sample sizes, so that professors would know the reviews were not based on the comments of just one or two students. The editors also created customized software to make it easy to produce the bar graphs. They developed a matching questionnaire to generate the student input on the courses in quantitative form. However, at this point the Critical Review still relied on professors to distribute its questionnaires, which some refused to do or did haphazardly. The publication also accepted departmental evaluation forms as an alternative to its own questionnaire. As a result, bar graphs were not available for many classes. Nevertheless, having found a satisfactory and manageable system to which Brown students and faculty responded favorably, subsequent editors changed relatively little about the format, process, and policy of the Critical Review over the next few years.

Начало 1990-х годов: уточнения

Марк Попофски стал главным редактором в 1989 году и разработал систему столбчатых диаграмм, которую «Критический обзор» использует до сих пор. Он установил новую политику для организации, создавшую устойчивый прецедент: «Поскольку мы представляем исключительно мнение студентов, «Критический обзор» больше не публикует статьи, спонсируемые кафедрами, и не может использовать оценки преподавателей». Редакторы переработали анкету и разработали новую процедуру, сократившую время, необходимое для производственного цикла. Как писал Попофски, «этот выпуск знаменует собой кульминацию моей личной кампании за последний год: опубликовать «Критический обзор» к началу предварительной регистрации». Позднее редакторы говорили, что он вдохновил их приложить все усилия, чтобы сделать «Критический обзор» более профессиональным изданием. В 1991 году «Критический обзор» начал публиковать «Взгляд на основе студенческих опросов», который быстро превратился в постоянную рубрику под названием «Забавные цитаты». Уровень участия преподавателей постепенно рос с 1980-х до начала 1990-х годов. В 1992 году «Критический обзор» также начал использовать анкету для преподавателей, «чтобы получить их точку зрения». Через несколько семестров после перехода к издательству TCI Press для печати журналов более высокого качества количество рассмотренных курсов достигло пика в 425 в первом выпуске 1993–1994 учебного года. В это время «Критический обзор» начал использовать программу Adobe PageMaker для создания макетов страниц, что еще больше улучшило внешний вид издания. Несмотря на усилия и усердную работу редакторов, выпуски «Критического обзора», опубликованные в то время, не были безупречными. Ускоренный производственный цикл в сочетании с ограниченными вычислительными ресурсами, доступными редакторам, привел к тому, что в нескольких выпусках журнала содержались значительные ошибки. Некоторые преподаватели перестали участвовать в «Критическом обзоре», считая его непрофессиональным или небрежным. Постепенный рост числа рассматриваемых курсов за семестр прекратился, и количество рецензий за семестр постепенно уменьшалось до 1998 года, после чего стабилизировалось примерно на уровне 280 рецензий в выпуске.

Mark Popofsky became Editor in Chief in 1989 and developed the bar graph system that the Critical Review still uses today. He established new policy for the organization which created lasting precedent: "Because we solely represent student opinion, the Critical Review no longer prints any department sponsored articles and cannot use departmental evaluations." The editors rewrote the questionnaire and developed new procedure that reduced the time required for the production cycle. As Popofsky wrote, "This issue marks the culmination of what has been a personal crusade of mine for the past year: to publish the Critical Review in time for preregistration." Later editors said that he inspired them to make every effort to turn the Critical Review into a more professional looking book. In 1991 the Critical Review began to publish "Insights from Student Surveys," which quickly evolved into a regular feature called "Funny Quotes." The level of faculty participation gradually rose from the 1980s to the early 1990s. The Critical Review began using an instructor questionnaire as well in 1992, "in order to gain the perspective of the faculty." A few semesters after switching publishers to the company TCI Press in order to print higher quality magazines, the number of courses reviewed reached a peak of 425 in the 1993–1994 Semester I edition. The Critical Review began using the program Adobe PageMaker to compose its page layouts at this time, which further improved upon the look of the book. Despite the efforts and hard work of the editors, the editions of the Critical Review that were published at this time were not flawless. The accelerated production cycle, combined with limited computing resources available to editors, resulted in a few editions of the magazine that contained significant errors. Some instructors stopped participating in the Critical Review because they saw it as unprofessional or sloppy. The gradual upward trend in the number of courses reviewed per semester came to a halt, and the number of reviews per semester gradually decreased until 1998, at which point it flat lined at about 280 reviews per edition.

Новая анкета, новая цель

Кристофер Андерсон присоединился к "Critical Review" около 1993 года и быстро продвинулся по службе, став консультантом по компьютерным вопросам. Он систематизировал многие аспекты производственного процесса в период острой необходимости в компьютерной поддержке, и редакторы как до него, так и после него отмечали его огромную помощь. В 1995 году, будучи главным редактором, он работал с преподавателями и сотрудниками "Critical Review" над проведением всестороннего анализа и пересмотра анкет организации. Несмотря на всю компьютерную помощь, которую он оказывал на протяжении многих лет, он считал свою новую анкету своим самым значительным вкладом в "Critical Review". Ребекка Мор, профессор истории в Университете Брауна и директор Центра обучения и преподавания имени Гарриет Шерридан, была одним из преподавателей, работавших с Андерсоном над этим проектом. "Многие вопросы, которые до сих пор используются в анкете, были разработаны в результате этой работы", – говорит она. "Наша общая цель в то время заключалась в создании конструктивных вопросов, которые помогли бы преподавателям улучшить преподавание и обучение студентов". Крис Андерсон видел "Critical Review" не просто как ресурс для студентов, но и как инструмент конструктивной обратной связи для преподавателей, и работал в этом направлении, организовав весной 1995 года "учебный форум" для преподавателей. К сожалению, из-за нехватки персонала "Critical Review" в то время часто публиковал ошибки, что оттолкнуло многих преподавателей от возобновления интереса к проекту. Тем не менее, новая анкета Андерсона использовалась с 1996 по 2001 год, после чего она была дополнительно модифицирована при участии преподавателей.

Сайт и сокращение бюджета

Еще в 1993 году редакторы Critical Review осознали, что организации необходимо в конечном итоге создать веб-ресурс. Как они писали, "целесообразно обсудить создание онлайн-версии CR, связанной с системой объявлений о курсах Brown Online Course Announcement (BOCA)". В 1997 году организация, благодаря своему первому веб-архитектору Дэвиду Тому '98, наконец достигла этой цели. Однако в течение первого года существования веб-сайта интерес к Critical Review был незначительным, поскольку печатные экземпляры оставались доступными для всех студентов. Практически одновременно с созданием сайта, Финансовый совет студентов решил сократить годовой бюджет Critical Review с 25 890 до 11 490 долларов – самое значительное сокращение бюджета среди всех студенческих организаций в том году. Столкнувшись с собственным сокращением финансирования более чем на 100 000 долларов из-за истощения резервных фондов, UFB намеренно выбрал Critical Review в качестве объекта для сокращения, чтобы упразднить его печатную версию. Редакция Critical Review была потрясена этим решением. Эван Снайдер '00 стал главным редактором следующего выпуска и в нем изложил свою аргументацию в пользу сохранения печатной версии Critical Review. Он утверждал, что в онлайн-формате Critical Review будет сложнее привлекать авторов, доступ к журналу для студентов и преподавателей будет ограничен, читатели лишатся возможности неспешно знакомиться с материалами, и, следовательно, будет "практически невозможно" случайно обнаружить интересные курсы. Он добавил: "В нашей лихорадочной спешке подготовить этот выпуск с нуля за три недели, последнее, чем нам хотелось заниматься, – это борьба за выживание. Но именно этого требуют обстоятельства". Редакторы предположили, что преподавателям, вероятно, придется самостоятельно оплачивать свои экземпляры, и что им больше не удастся печатать достаточно копий для всех студентов. В конечном итоге Финансовый совет студентов вернул большую часть ранее изъятых средств. Однако после окончания Эвана Снайдера в 2000 году UFB вновь сократил бюджет на печать Critical Review, и это сокращение вступило в силу немедленно. В результате уменьшения бюджета тираж следующего выпуска составил 2500 экземпляров, по сравнению с 5500 тремя годами ранее. В этом выпуске редакторы вновь представили свои аргументы в пользу важности печатных копий. "Мы попросили каждого студента, заполнившего [анкету], высказать свое мнение о необходимости сохранения печатной версии Critical Review, и подавляющее большинство ответов было положительным [ ]. К сожалению, эта точка зрения не разделяется теми, кто обладает наибольшим финансовым влиянием на издание".

Even as early as 1993, the editors of the Critical Review recognized that the organization should eventually establish a web based resource. As they wrote, "The goal of putting together an on line CR connected to the Brown On line Course Announcement (BOCA) should be discussed." In 1997, the organization finally achieved that goal, thanks to its first website architect, David Tom '98. There was only marginal interest in the Critical Review's website during its first year of existence, however, as printed copies were still available for all undergraduates. Just as the website was constructed, the Undergraduate Finance Board decided to slice the Critical Review's annual budget from $25,890 to $11,490, the largest budget cut for any single student group that year. Facing a funding decrease themselves of more than $100,000 because of their reliance on diminishing holding funds, UFB deliberately targeted the Critical Review in order to eliminate its printed form. The Critical Review editors were devastated by this decision. Evan Snyder '00 served as editor in chief for the next edition, and he outlined his case for the importance of a printed form of the Critical Review in it. He argued that with just an online format, the Critical Review would not be able to attract as many writers, students and faculty would have more limited access to it, readers would no longer be able to browse it leisurely, and thus it would be "virtually impossible" for readers to discover great courses inadvertently. He added, "In our hyper frantic rush to produce this book from scratch in a three week period, the last thing we wanted to be doing was fighting for our existence. And yet this is precisely what circumstances dictate we do." The editors said that faculty would probably have to pay for their own copies from then on, and that they would no longer be able to produce enough copies for every undergraduate. The Undergraduate Finance Board eventually returned most of the funding that it had taken away. After Evan Snyder graduated in 2000, however, UFB cut the Critical Review's printing budget again, and made the cut effective immediately. With the reduced budget, the circulation of the next edition was 2500 copies, down from 5500 copies three years earlier. In this edition, the editors again presented their argument for the importance of printed copies. "We asked each student who filled out a [questionnaire] to tell us whether she believed that the hard copy of The Critical Review should continue to exist, and the reply was 'yes' in overwhelming numbers [ ]. But sadly, this view has not been that of those with the most financial control over the publication."

Повышение стандартов

После 2001 года интерес к организации возрос, поскольку количество рецензируемых курсов за семестр постепенно увеличивалось. Число сотрудников, работающих над обзорами, почти утроилось с 2001 по 2004 год, что позволило организации впервые в своей истории ввести процедуру подачи заявок для желающих стать авторами. Веб-сайт организации также претерпел значительные изменения в период с 2002 по 2004 год, и в начале весеннего семестра 2005 года его ежедневно посещали тысячи студентов. Студенты и преподаватели из других университетов, включая Калифорнийский университет в Беркли, Бостонский университет, Университет Кларка и Университет Род-Айленда, начали обращаться в Critical Review за советом о том, как создать аналогичные сервисы в своих учебных заведениях. В 2004 году в рамках независимого исследования, посвященного поиску путей улучшения организации и предоставляемых услуг, главный редактор Николас Шейд изучал доступные исследования по оценке студентами качества преподавания и обращался за консультациями к экспертам в области методологии опросов. Он также связался с выпускниками Critical Review, взял интервью у нескольких профессоров Браунского университета и опросил сотни студентов, чтобы составить «Отчет о Critical Review». Среди прочего, в этом отчете были выявлены опасения относительно общих целей организации, сохранения институциональной памяти, восприятия организации преподавателями и студентами, а также постоянных внутренних трудностей. Частично в ответ на эти проблемы редакторы организовали «Форум преподавателей» в декабре 2004 года, чтобы получить предложения и отзывы от преподавателей относительно политики Critical Review и самих анкет. Некоторые профессора, которые не участвовали в работе Critical Review в течение многих лет, возобновили свое участие. Редакторы официально отвергли представление о том, что публикация предназначена исключительно для студентов, утвердив в феврале 2005 года устав организации, в котором были определены цели организации в отношении обслуживания как студентов, так и преподавателей Браунского университета на профессиональном уровне. Шейд дополнил свой отчет другими документами и в апреле 2005 года выпустил «Ресурс главного редактора» Critical Review, чтобы эти материалы могли быть дополнены, отредактированы и переданы будущим редакционным командам. Тем временем финансирование оставалось серьезной проблемой, поскольку редакторы неоднократно пытались убедить Финансовый совет студентов в том, что Critical Review должен продолжать выходить в печатном виде. Некоторые успехи были достигнуты, но после 2002 года бюджет Critical Review увеличился лишь незначительно. В 2007 году, несмотря на усилия главных редакторов Арианы Каннаво и Дары Штайнберг, Финансовый совет студентов полностью исключил финансирование печатной версии, предписав Critical Review перейти к публикации только в интернете. С 2007 года организация публикует оценки курсов исключительно на своем веб-сайте.

Interest in the organization rose after 2001, as the number of courses reviewed per semester gradually increased. The number of Critical Review staff members nearly tripled from 2001 to 2004, to the point that for the first time in its history, the Critical Review was able to introduce an application process to become a writer. The organization's website also underwent major revisions from 2002 to 2004, and at the beginning of the spring 2005 semester, thousands of students visited it each day. Students and instructors from other universities, including UC Berkeley, Boston University, Clark University, and the University of Rhode Island, began to contact the Critical Review for advice about how to set up equivalent services at their respective schools. In a 2004 independent study to examine ways that the organization and service could be improved, co Editor in Chief Nicholas Schade '05 studied available research on student ratings of instruction and sought suggestions from survey methodology experts. He also contacted Critical Review alumni, interviewed several Brown professors, and surveyed hundreds of students to compile a "Report on the Critical Review." Among other things, this document brought to light concerns about the overall goals of the organization, institutional memory, faculty and student perceptions, and persistent internal difficulties. Partly in response to these issues, the editors hosted a "Faculty Forum" in December 2004 to seek suggestions and feedback from instructors about Critical Review policy and the questionnaires themselves. Some professors who had not participated in the Critical Review for years began to participate again. The editors formally rejected the perception that the publication is a service to only the student body by ratifying a group constitution in February 2005, outlining the objectives of the organization with regard to serving both students and faculty of Brown in a professional manner. Schade supplemented his report with other documents to produce a Critical Review "Chief Editor's Resource" in April 2005 so that these records could be further augmented, edited, and passed on to future editorial teams. Meanwhile, funding remained a major concern as the editors tried repeatedly to convince the Undergraduate Finance Board that the Critical Review must remain in print form. There were some gains, but after 2002, the Critical Review's budget increased only marginally. In 2007, despite the efforts of Editors in Chief Ariana Cannavo '08 and Dara Steinberg '09, UFB eliminated the entire printing budget, instructing the Critical Review to be a web only publication. Since 2007, the organization has published course evaluations on its web page only.

Перевод оценок курсов в онлайн-режим

В связи с пандемией коронавируса, из-за которой весной 2020 года занятия были переведены в онлайн-формат, редакции Critical Review пришлось оперативно адаптироваться к полностью онлайн-формату. Ранее оценки курсов CR раздавались профессорами на бумаге, непосредственно в аудитории и лично. Главный редактор Николас Ромиг сотрудничал с IT-отделом университета Браун для создания системы, в которой профессора могли бы дать согласие на оценку их курса редакцией Critical Review. Затем все студенты этих курсов получали индивидуальные ссылки для предоставления обратной связи о курсе через анонимный опрос Qualtrics. После четырех семестров использования этой системы – с весны 2020 года по осень 2021 года – было предложено редакции CR разработать и внедрить более независимую систему, не зависящую от IT-отдела. В новой системе опросов, возглавляемой со-главными редакторами Ингрид Рен и Мадху Субраманяном, начиная с весны 2022 года, профессора будут получать общую ссылку на опрос оценки курса Qualtrics и смогут самостоятельно решить, делиться ею со своими студентами или нет.

Персонал

Названия должностей в рамках критического обзора менялись с годами, но, по крайней мере, с 1994 года, общая структура штата и иерархия в группе существенно не изменились. Все этапы производства осуществляются студентами-волонтерами. Сбор и написание кратких рецензий выполняются командой авторов. Те, кто проявляет высокую вовлеченность в работу группы и демонстрирует высокое качество работы, могут быть повышены до должности редактора. Помимо помощи авторам, редакторы также занимаются окончательной редакцией рецензий и создают макеты страниц, которые объединяются и отправляются издателю для выпуска журнала. Общий процесс написания и публикации контролируется одним или несколькими главными редакторами.