Систематическая оценка: принципы, виды и применение.

Введение

Систематическое определение достоинства, ценности и значимости объекта, его характеристика и оценка. В широком смысле, оценка – это систематическое определение и анализ достоинств, ценности и значимости объекта на основе критериев, соответствующих определенным стандартам. Она позволяет организации, программе, проекту или любой другой инициативе оценить цели, реализуемые концепции/предложения или альтернативные варианты для принятия решений, а также определить степень достижения целей и ценность результатов реализованных действий. Основная цель оценки, помимо анализа прошлых или текущих инициатив, – способствовать осмыслению опыта и определению направлений для будущих изменений. Оценка широко используется для характеристики и анализа интересующих объектов в различных сферах человеческой деятельности, в том числе при планировании на период в несколько месяцев.

Определение

Оценка – это структурированная интерпретация и придание смысла прогнозируемому или фактическому воздействию предложений или результатов. Она рассматривает первоначальные цели, а также то, что было предсказано или достигнуто, и каким образом это было достигнуто. Таким образом, оценка может быть формирующей, то есть проводиться в процессе разработки концепции или предложения, проекта или организации с целью повышения ценности или эффективности предложения, проекта или организации. Она также может быть итоговой, извлекая уроки из завершенного действия, проекта или деятельности организации в более поздний момент времени или при изменившихся обстоятельствах. Оценка по своей сути является теоретически обоснованным подходом (явно или неявно), и, следовательно, любое конкретное определение оценки должно быть адаптировано к ее контексту – теории, потребностям, цели и методологии самого процесса оценки. При этом оценка определяется как: систематическое, строгое и скрупулезное применение научных методов для оценки проектирования, реализации, улучшения или результатов программы. Это ресурсоемкий процесс, часто требующий ресурсов, таких как экспертные знания в области оценки, трудозатраты, время и значительный бюджет. «Критическая оценка, насколько это возможно объективная, степени соответствия услуги или ее компонентов заявленным целям» (St Leger и Wordsworth Bell). В центре внимания этого определения – получение объективных знаний и научное или количественное измерение заранее определенных и внешних понятий. «Исследование, разработанное для того, чтобы помочь определенной аудитории оценить достоинства и ценность объекта» (Stufflebeam). Альтернативная точка зрения заключается в том, что «проекты, оценщики и другие заинтересованные стороны (включая финансирующих лиц) могут иметь различные представления о наилучшем способе оценки проекта, поскольку у каждого может быть собственное определение «достоинства». Таким образом, суть проблемы заключается в определении того, что представляет ценность». Не все оценки преследуют одну и ту же цель: некоторые оценки выполняют функцию мониторинга, а не сосредотачиваются исключительно на измеримых результатах программы или выводах оценки. Составить полный перечень типов оценок затруднительно, поскольку они опираются на ряд дисциплин, включая теорию управления и организаций, анализ политики, педагогику, социологию, социальную антропологию и исследования социальных изменений.

Evaluation is the structured interpretation and giving of meaning to predicted or actual impacts of proposals or results. It looks at original objectives, and at what is either predicted or what was accomplished and how it was accomplished. So evaluation can be formative, that is taking place during the development of a concept or proposal, project or organization, with the intention of improving the value or effectiveness of the proposal, project, or organization. It can also be summative, drawing lessons from a completed action or project or an organization at a later point in time or circumstance. Evaluation is inherently a theoretically informed approach (whether explicitly or not), and consequently any particular definition of evaluation would have been tailored to its contextthe theory, needs, purpose, and methodology of the evaluation process itself. Having said this, evaluation has been defined as:
A systematic, rigorous, and meticulous application of scientific methods to assess the design, implementation, improvement, or outcomes of a program. It is a resource intensive process, frequently requiring resources, such as, evaluate expertise, labor, time, and a sizable budget
"The critical assessment, in as objective a manner as possible, of the degree to which a service or its component parts fulfills stated goals" (St Leger and Wordsworth Bell). The focus of this definition is on attaining objective knowledge, and scientifically or quantitatively measuring predetermined and external concepts. "A study designed to assist some audience to assess an object's merit and worth" (Stufflebeam). An alternative view is that "projects, evaluators, and other stakeholders (including funders) will all have potentially different ideas about how best to evaluate a project since each may have a different definition of 'merit'. The core of the problem is thus about defining what is of value." Not all evaluations serve the same purpose some evaluations serve a monitoring function rather than focusing solely on measurable program outcomes or evaluation findings and a full list of types of evaluations would be difficult to compile. drawing on a number of disciplines, which include management and organizational theory, policy analysis, education, sociology, social anthropology, and social change.

Обсуждение

Однако строгое следование набору методологических предпосылок может сделать область оценки более приемлемой для широкой аудитории, но такое следование помешает оценщикам разрабатывать новые стратегии для решения множества проблем, с которыми сталкиваются программы. Тем не менее, необходимы конкретные рекомендации, касающиеся роли оценщика, которые можно было бы использовать для управления уникальными этическими проблемами. Совместный комитет по стандартам образовательной оценки разработал стандарты для оценки программ, персонала и учащихся. Стандарты Совместного комитета разделены на четыре раздела: полезность, осуществимость, справедливость и точность. Различные европейские институты также подготовили собственные стандарты, в большей или меньшей степени связанные с теми, которые разработаны Совместным комитетом. Они содержат рекомендации относительно обоснования ценностных суждений на основе систематического исследования, компетентности и добросовестности оценщика, уважения к людям и заботы об общем и общественном благосостоянии. Американская ассоциация оценщиков разработала ряд руководящих принципов для оценщиков. Порядок этих принципов не подразумевает приоритетности между ними; приоритетность будет определяться ситуацией и ролью оценщика. Принципы следующие:

Систематическое исследование: оценщики проводят систематические исследования, основанные на данных, в отношении объекта оценки. Это требует качественного сбора данных, включая обоснованный выбор индикаторов, что повышает достоверность результатов. Результаты считаются достоверными, когда они подтверждены доказательствами, надежны и валидны. Это также относится к выбору используемой методологии, которая должна соответствовать целям оценки и обеспечивать надежные данные. Кроме того, критически важна полезность результатов, чтобы информация, полученная в ходе оценки, была всесторонней и своевременной, и, следовательно, приносила максимальную пользу и была востребована заинтересованными сторонами. Оценщики этически обязаны уважать обычаи и убеждения тех, на кого оказывает влияние оценка или деятельность программы. Примеры проявления такого уважения включают соблюдение местных обычаев, например, дресс-кода, уважение частной жизни людей и минимизацию требований ко времени других. Независимые оценочные подразделения крупных многонациональных банков развития (МБР) также создали Группу по сотрудничеству в области оценки для укрепления использования оценки с целью повышения эффективности и подотчетности МБР, обмена опытом, полученным в ходе оценок МБР, и содействия гармонизации и сотрудничеству в области оценки.

Подходы

Существует несколько концептуально различных подходов к осмыслению, разработке и проведению оценочных мероприятий. Многие из используемых сегодня методов оценки вносят действительно уникальный вклад в решение важных задач, а другие так или иначе усовершенствуют существующие методы.

Классификация подходов

Две классификации подходов к оценке, разработанные Хаусом, Стуффлебемом и Вебстером, могут быть объединены в управляемое число подходов, исходя из их уникальных и важных основополагающих принципов. Хаус считает, что все основные подходы к оценке базируются на общей идеологии, именуемой либеральной демократией. Важнейшими принципами этой идеологии являются свобода выбора, уникальность личности и эмпирические исследования, основанные на объективности. Он также утверждает, что все они основаны на субъективистской этике, в которой этичное поведение определяется субъективным или интуитивным опытом индивида или группы. Одной из форм субъективистской этики является утилитаризм, в котором "благо" определяется тем, что максимизирует единую, явную интерпретацию счастья для всего общества. Другая форма субъективистской этики – интуиционистская/плюралистическая, в которой не предполагается единая интерпретация "блага", и такие интерпретации не обязательно должны быть явно сформулированы или обоснованы. Эти этические позиции соответствуют определенным эпистемологиям – философиям получения знаний. Объективистская эпистемология связана с утилитарной этикой; как правило, она используется для получения знаний, которые могут быть внешне подтверждены (достижение межсубъективного согласия) посредством публично доступных методов и данных. Субъективистская эпистемология связана с интуиционистской/плюралистической этикой и используется для приобретения новых знаний на основе уже имеющихся личных знаний, а также опыта, который является (явным) или не является (скрытым) доступным для публичного обозрения. Затем Хаус разделяет каждый эпистемологический подход на две основные политические перспективы. Во-первых, подходы могут быть ориентированы на элиту, сосредотачиваясь на интересах управленцев и профессионалов; либо они могут быть ориентированы на массы, сосредотачиваясь на потребителях и подходах, основанных на участии. Стуффлебам и Вебстер классифицируют подходы в одну из трех групп, в зависимости от их ориентации на роль ценностей и этических соображений. Политическая ориентация продвигает позитивное или негативное отношение к объекту, независимо от его фактической ценности – они называют это псевдооценкой. Ориентация на вопросы включает подходы, которые могут или не могут предоставлять ответы, непосредственно связанные с ценностью объекта – они называют это квази-оценкой. Ценностная ориентация включает подходы, предназначенные главным образом для определения ценности объекта – они называют это истинной оценкой. При одновременном рассмотрении вышеуказанных концепций можно выделить пятнадцать подходов к оценке с точки зрения эпистемологии, основной перспективы (согласно Хаусу) и ориентации. Представлены два подхода к псевдооценке: политически контролируемые исследования и исследования связей с общественностью. Они основаны на объективистской эпистемологии с позиции элиты. Шесть подходов к квази-оценке используют объективистскую эпистемологию. Пять из них – экспериментальные исследования, информационные системы управления, программы тестирования, исследования, основанные на целях, и контент-анализ – используют перспективу элиты. Подход, ориентированный на подотчетность, использует перспективу масс. Включены семь подходов к истинной оценке. Два подхода, ориентированные на принятие решений и исследования политики, основаны на объективистской эпистемологии с позиции элиты. Исследования, ориентированные на потребителя, основаны на объективистской эпистемологии с позиции масс. Два подхода – аккредитация/сертификация и исследования экспертов – основаны на субъективистской эпистемологии с позиции элиты. Наконец, исследования, основанные на принципах конфронтации и ориентированные на клиента, основаны на субъективистской эпистемологии с позиции масс.

Two classifications of evaluation approaches by House and Stufflebeam and Webster can be combined into a manageable number of approaches in terms of their unique and important underlying principles. House considers all major evaluation approaches to be based on a common ideology entitled liberal democracy. Important principles of this ideology include freedom of choice, the uniqueness of the individual and empirical inquiry grounded in objectivity. He also contends that they are all based on subjectivist ethics, in which ethical conduct is based on the subjective or intuitive experience of an individual or group. One form of subjectivist ethics is utilitarian, in which "the good" is determined by what maximizes a single, explicit interpretation of happiness for society as a whole. Another form of subjectivist ethics is intuitionist/pluralist, in which no single interpretation of "the good" is assumed and such interpretations need not be explicitly stated nor justified. These ethical positions have corresponding epistemologies—philosophies for obtaining knowledge. The objectivist epistemology is associated with the utilitarian ethic; in general, it is used to acquire knowledge that can be externally verified (intersubjective agreement) through publicly exposed methods and data. The subjectivist epistemology is associated with the intuitionist/pluralist ethic and is used to acquire new knowledge based on existing personal knowledge, as well as experiences that are (explicit) or are not (tacit) available for public inspection. House then divides each epistemological approach into two main political perspectives. Firstly, approaches can take an elite perspective, focusing on the interests of managers and professionals; or they also can take a mass perspective, focusing on consumers and participatory approaches. Stufflebeam and Webster place approaches into one of three groups, according to their orientation toward the role of values and ethical consideration. The political orientation promotes a positive or negative view of an object regardless of what its value actually is and might be—they call this pseudo evaluation. The questions orientation includes approaches that might or might not provide answers specifically related to the value of an object—they call this quasi evaluation. The values orientation includes approaches primarily intended to determine the value of an object—they call this true evaluation. When the above concepts are considered simultaneously, fifteen evaluation approaches can be identified in terms of epistemology, major perspective (from House), and orientation. Two pseudo evaluation approaches, politically controlled and public relations studies, are represented. They are based on an objectivist epistemology from an elite perspective. Six quasi evaluation approaches use an objectivist epistemology. Five of them—experimental research, management information systems, testing programs, objectives based studies, and content analysis—take an elite perspective. Accountability takes a mass perspective. Seven true evaluation approaches are included. Two approaches, decision oriented and policy studies, are based on an objectivist epistemology from an elite perspective. Consumer oriented studies are based on an objectivist epistemology from a mass perspective. Two approaches—accreditation/certification and connoisseur studies—are based on a subjectivist epistemology from an elite perspective. Finally, adversary and client centered studies are based on a subjectivist epistemology from a mass perspective.

Резюме подходов

В следующей таблице представлено обобщение каждого подхода по четырем атрибутам: организатор, цель, сильные стороны и слабые стороны. Организатор отражает основные соображения или ориентиры, которые специалисты используют для организации исследования. Цель представляет собой желаемый результат исследования на самом общем уровне. Сильные и слабые стороны – это другие атрибуты, которые следует учитывать при решении о целесообразности использования подхода для конкретного исследования. Далее представлен обзор, выделяющий различия между подходами, объединенными в группы. Обзор подходов к проведению оценок Подход Атрибут Организатор Цель Ключевые сильные стороны Ключевые слабые стороны Политически обусловленный Угрозы Получение, удержание или увеличение влияния, власти или денежных средств. Обеспечение доказательств, выгодных клиенту в конфликте. Нарушает принцип полной и откровенной информации. Связи с общественностью Пропаганда Необходимость создания положительного общественного имиджа. Обеспечение доказательств, наиболее вероятно поддерживающих общественное мнение. Нарушает принципы сбалансированной отчетности, обоснованных выводов и объективности. Экспериментальные исследования Причинно-следственные связи Определение причинно-следственных связей между переменными. Наиболее надежная парадигма для установления причинно-следственных связей. Требует контролируемых условий, ограничивает объем доказательств, фокусируется преимущественно на результатах. Информационные системы управления Научная эффективность Непрерывное предоставление доказательств, необходимых для финансирования, управления и контроля программ. Предоставляет менеджерам подробные данные о сложных программах. Переменные, связанные с человеческими ресурсами, редко поддаются узким количественным определениям. Тестирование программ Индивидуальные различия Сравнение результатов тестирования отдельных лиц и групп с выбранными нормами. Обеспечивает получение достоверных и надежных доказательств в различных областях деятельности. Широко известно общественности. Данные обычно касаются только результатов тестирования, чрезмерно подчеркивают навыки сдачи тестов, могут быть нерепрезентативной выборкой того, что преподается или ожидается. Ориентированные на цели Цели Установление связи между результатами и целями. Соответствие здравому смыслу, широкое применение, использование поведенческих целей и технологий тестирования. Приводит к итоговым доказательствам, часто слишком узким для оценки ценности программы. Анализ содержания Содержание коммуникации Описание и формулирование выводов о коммуникации. Позволяет проводить ненавязчивый анализ больших объемов неструктурированных символических материалов. Выборка может быть нерепрезентативной, но при этом огромной по объему. Дизайн анализа часто чрезмерно упрощен для поставленного вопроса. Отчетность Ожидания в отношении эффективности Предоставление заинтересованным сторонам точной информации о результатах. Популярен среди заинтересованных сторон. Направлен на повышение качества продукции и услуг. Создает напряженность между практиками и потребителями. Политика часто вынуждает к проведению преждевременных исследований. Ориентированные на принятие решений Решения Предоставление базы знаний и ценностей для принятия и обоснования решений. Стимулирует использование оценки для планирования и реализации необходимых программ. Помогает обосновать решения относительно планов и действий. Необходимое сотрудничество между оценщиком и лицами, принимающими решения, создает возможность для искажения результатов. Политические исследования Широкие вопросы Определение и оценка потенциальных затрат и выгод конкурирующих политик. Обеспечение общего направления для широкомасштабных действий. Часто подвергаются коррупции или подрыву политически мотивированными действиями участников. Ориентированные на потребителя Обобщенные потребности и ценности, эффекты Оценка относительных достоинств альтернативных товаров и услуг. Независимая оценка для защиты практиков и потребителей от некачественной продукции и услуг. Высокий уровень доверия со стороны общественности. Может не помочь практикам улучшить свою работу. Требует надежных и компетентных оценщиков. Аккредитация / сертификация Стандарты и руководства Определение того, должны ли учреждения, программы и персонал быть одобрены для выполнения определенных функций. Помогает общественности принимать обоснованные решения о качестве организаций и квалификации персонала. Стандарты и руководства обычно подчеркивают внутренние критерии в ущерб показателям результатов. Конноisseurs Критические ориентиры Критическое описание, оценка и прояснение объекта. Использует высокоразвитую экспертизу в интересующей области. Может вдохновить других на более глубокие исследования. Зависит от небольшого числа экспертов, что делает оценку восприимчивой к субъективности, предвзятости и коррупции. Состязательная оценка "Острые" вопросы Представление "за" и "против" вопроса. Обеспечивает сбалансированное представление различных точек зрения. Может препятствовать сотрудничеству, усиливать враждебность. Ориентированная на клиента Конкретные проблемы и вопросы Способствование пониманию деятельности и ее ценности в конкретной среде и с различных точек зрения. Помогает практикам проводить собственные оценки. Низкий внешний уровень доверия, восприимчивость к предвзятости в пользу участников. Примечание. Адаптировано и сокращено в основном из работ House (1978) и Stufflebeam & Webster (1980).

The following table is used to summarize each approach in terms of four attributes—organizer, purpose, strengths, and weaknesses. The organizer represents the main considerations or cues practitioners use to organize a study. The purpose represents the desired outcome for a study at a very general level. Strengths and weaknesses represent other attributes that should be considered when deciding whether to use the approach for a particular study. The following narrative highlights differences between approaches grouped together. Summary of approaches for conducting evaluations Approach Attribute Organizer Purpose Key strengths Key weaknesses Politically controlled Threats Get, keep or increase influence, power or money. Secure evidence advantageous to the client in a conflict. Violates the principle of full & frank disclosure. Public relations Propaganda needs Create positive public image. Secure evidence most likely to bolster public support. Violates the principles of balanced reporting, justified conclusions, & objectivity. Experimental research Causal relationships Determine causal relationships between variables. Strongest paradigm for determining causal relationships. Requires controlled setting, limits range of evidence, focuses primarily on results. Management information systems Scientific efficiency Continuously supply evidence needed to fund, direct, & control programs. Gives managers detailed evidence about complex programs. Human service variables are rarely amenable to the narrow, quantitative definitions needed. Testing programs Individual differences Compare test scores of individuals & groups to selected norms. Produces valid & reliable evidence in many performance areas. Very familiar to public. Data usually only on testee performance, overemphasizes test taking skills, can be poor sample of what is taught or expected. Objectives based Objectives Relates outcomes to objectives. Common sense appeal, widely used, uses behavioral objectives & testing technologies. Leads to terminal evidence often too narrow to provide basis for judging the value of a program. Content analysis Content of a communication Describe & draw conclusion about a communication. Allows for unobtrusive analysis of large volumes of unstructured, symbolic materials. Sample may be unrepresentative yet overwhelming in volume. Analysis design often overly simplistic for question. Accountability Performance expectations Provide constituents with an accurate accounting of results. Popular with constituents. Aimed at improving quality of products and services. Creates unrest between practitioners & consumers. Politics often forces premature studies. Decision oriented Decisions Provide a knowledge & value base for making & defending decisions. Encourages use of evaluation to plan & implement needed programs. Helps justify decisions about plans & actions. Necessary collaboration between evaluator & decision maker provides opportunity to bias results. Policy studies Broad issues Identify and assess potential costs & benefits of competing policies. Provide general direction for broadly focused actions. Often corrupted or subverted by politically motivated actions of participants. Consumer oriented Generalized needs & values, effects Judge the relative merits of alternative goods & services. Independent appraisal to protect practitioners & consumers from shoddy products & services. High public credibility. Might not help practitioners do a better job. Requires credible & competent evaluators. Accreditation / certification Standards & guidelines Determine if institutions, programs, & personnel should be approved to perform specified functions. Helps public make informed decisions about quality of organizations & qualifications of personnel. Standards & guidelines typically emphasize intrinsic criteria to the exclusion of outcome measures. Connoisseur Critical guideposts Critically describe, appraise, & illuminate an object. Exploits highly developed expertise on subject of interest. Can inspire others to more insightful efforts. Dependent on small number of experts, making evaluation susceptible to subjectivity, bias, and corruption. Adversary Evaluation "Hot" issues Present the pro & cons of an issue. Ensures balances presentations of represented perspectives. Can discourage cooperation, heighten animosities. Client centered Specific concerns & issues Foster understanding of activities & how they are valued in a given setting & from a variety of perspectives. Practitioners are helped to conduct their own evaluation. Low external credibility, susceptible to bias in favor of participants. Note. Adapted and condensed primarily from House (1978) and Stufflebeam & Webster (1980).

Псевдооценка

Политически контролируемые исследования и исследования в области связей с общественностью опираются на объективистскую эпистемологию, исходящую из элитарной перспективы. Хотя оба этих подхода стремятся исказить ценностные интерпретации объекта, они функционируют по-разному. Информация, полученная в ходе политически контролируемых исследований, публикуется или скрывается в соответствии со специальными интересами заинтересованной стороны, в то время как информация, распространяемая в рамках связей с общественностью, создает позитивный имидж объекта, независимо от реального положения дел. Несмотря на применение обоих видов исследований на практике, ни один из этих подходов не может считаться допустимой оценочной практикой.

Объективистская, элитная, квази-оценка

В целом, эти пять подходов представляют собой высокоуважаемую совокупность дисциплинированных методов исследования. Они рассматриваются как квази-оценочные подходы, поскольку отдельные исследования могут вполне законно фокусироваться исключительно на вопросах знания, не затрагивая вопросы ценности. Такие исследования по определению не являются оценками. Эти подходы способны формировать характеристики, не давая оценок, хотя отдельные исследования могут включать и то, и другое. Каждый из этих подходов эффективно выполняет свою задачу. Они рассматриваются примерно в порядке возрастания их приближения к объективистскому идеалу. Экспериментальные исследования – лучший подход для установления причинно-следственных связей между переменными. Потенциальная проблема использования этого подхода для оценки заключается в том, что его строго контролируемая и стандартизированная методология может оказаться недостаточно чувствительной к динамично меняющимся потребностям большинства программ социального обслуживания. Информационные системы управления (ИСУ) могут предоставлять детальную информацию о динамической работе сложных программ. Однако эта информация ограничивается легко поддающимися количественной оценке данными, обычно доступными через регулярные интервалы. Программы тестирования хорошо знакомы практически всем, кто учился в школе, служил в армии или работал в крупной компании. Эти программы эффективны для сравнения отдельных лиц или групп с выбранными нормами по ряду предметов или со стандартами производительности. Однако они фокусируются исключительно на результатах тестирования и могут не в полной мере отражать то, что преподается или ожидается. Подходы, основанные на целях, сопоставляют результаты с заранее определенными целями, позволяя оценивать степень их достижения. Часто важность этих целей не доказана, или они сосредоточены на слишком узких результатах, чтобы служить основой для определения ценности объекта. Анализ содержания является квази-оценочным подходом, поскольку суждения, сделанные в ходе анализа содержания, не обязательно должны основываться на ценностных суждениях. Вместо этого они могут основываться на знаниях. Такой анализ содержания не является оценкой. С другой стороны, когда суждения, сделанные в ходе анализа содержания, основаны на ценностях, такие исследования становятся оценками.

As a group, these five approaches represent a highly respected collection of disciplined inquiry approaches. They are considered quasi evaluation approaches because particular studies legitimately can focus only on questions of knowledge without addressing any questions of value. Such studies are, by definition, not evaluations. These approaches can produce characterizations without producing appraisals, although specific studies can produce both. Each of these approaches serves its intended purpose well. They are discussed roughly in order of the extent to which they approach the objectivist ideal. Experimental research is the best approach for determining causal relationships between variables. The potential problem with using this as an evaluation approach is that its highly controlled and stylized methodology may not be sufficiently responsive to the dynamically changing needs of most human service programs. Management information systems (MISs) can give detailed information about the dynamic operations of complex programs. However, this information is restricted to readily quantifiable data usually available at regular intervals. Testing programs are familiar to just about anyone who has attended school, served in the military, or worked for a large company. These programs are good at comparing individuals or groups to selected norms in a number of subject areas or to a set of standards of performance. However, they only focus on testee performance and they might not adequately sample what is taught or expected. Objectives based approaches relate outcomes to prespecified objectives, allowing judgments to be made about their level of attainment. The objectives are often not proven to be important or they focus on outcomes too narrow to provide the basis for determining the value of an object. Content analysis is a quasi evaluation approach because content analysis judgments need not be based on value statements. Instead, they can be based on knowledge. Such content analyses are not evaluations. On the other hand, when content analysis judgments are based on values, such studies are evaluations.

Объективистская, массовая, квази-оценка

Ответственность популярна среди избирателей, поскольку она призвана обеспечить точную оценку результатов, способствующую повышению качества продуктов и услуг. Однако, при излишне жестком применении этот подход может быстро превратить специалистов и потребителей во врагов.

Объективная, элитная, правдивая оценка

Ориентированные на принятие решений исследования создаются для формирования базы знаний, необходимой для принятия и обоснования решений. Этот подход обычно предполагает тесное взаимодействие между аналитиком и лицом, принимающим решение, что делает его уязвимым для коррупции и предвзятости. Политические исследования предоставляют общие рекомендации и направления по широкому кругу вопросов, выявляя и оценивая потенциальные затраты и выгоды различных политических стратегий. Однако такие исследования могут быть искажены или скомпрометированы политически мотивированными действиями участников.

Объективная, массовая, правдивая оценка

Исследования, ориентированные на потребителя, используются для оценки относительных достоинств товаров и услуг, исходя из обобщенных потребностей и ценностей, а также с учетом широкого спектра последствий. Однако этот подход не всегда помогает специалистам улучшить свою работу и требует высококвалифицированного и надежного оценщика для достижения хороших результатов.

Субъективная, элитная, истинная оценка

Аккредитационные / сертификационные программы основаны на самоанализе и коллегиальной оценке организаций, программ и персонала. Они опираются на знания, опыт и квалификацию экспертов, которые используют установленные критерии для определения соответствия заявителя выполнению определенных функций. Однако, если не применяются стандарты, ориентированные на результаты, характеристики заявителей и выполняемые ими процессы часто переоцениваются по сравнению с показателями и эффектами. Экспертные оценки используют глубокие знания и отточенные навыки специалистов, хорошо знакомых с объектом оценки, для его критического анализа и оценки. Такой подход может помочь взглянуть на программы по-новому, но найти квалифицированного и непредвзятого эксперта непросто.

Предмет, масса, истинная оценка

Состязательный подход направлен на выявление достоинств и недостатков спорных вопросов посредством квази-юридических разбирательств. Это способствует обеспечению сбалансированного представления различных точек зрения по этим вопросам, но также может затруднить дальнейшее сотрудничество и усилить враждебность между противоборствующими сторонами, если в результате возникнут "победившие" и "проигравшие".

Клиент-центрированный

В исследованиях, ориентированных на клиента, рассматриваются конкретные вопросы и проблемы, волнующие практиков и других участников исследования в конкретной среде. Эти исследования помогают понять суть деятельности и ценности, связанные с ней, с различных точек зрения. Однако такой адаптивный подход может снижать обобщаемость результатов и приводить к предвзятости в пользу тех, кто принимал участие в исследовании.