Введение
Характеристика погрешности измерения
Точность и прецизионность – это две меры погрешности наблюдения. Точность определяет, насколько близко данный набор измерений (наблюдений или показаний) соответствует истинному значению. Прецизионность определяет, насколько близки друг к другу сами измерения. Иными словами: прецизионность – это описание случайных ошибок (мера статистической изменчивости). Согласно ISO, точность имеет два определения: прецизионность системы измерений, связанная с воспроизводимостью и повторяемостью, – это степень, в которой повторные измерения в неизменных условиях дают одинаковые результаты. Хотя в разговорной речи слова «точность» и «прецизионность» могут быть синонимами, в контексте научного метода они намеренно противопоставляются. В статистике, где интерпретация измерений играет центральную роль, предпочтительнее использовать термины «смещение» и «вариабельность» вместо «точность» и «прецизионность»: смещение – это величина неточности, а вариабельность – величина не-прецизионности. Система измерений может быть точной, но не прецизионной, прецизионной, но не точной, лишена и того, и другого, или обладать и тем, и другим. Например, если эксперимент содержит систематическую ошибку, то увеличение размера выборки обычно повышает прецизионность, но не улучшает точность. Результатом будет последовательный, но неточный ряд результатов, полученных в результате ошибочного эксперимента. Устранение систематической ошибки повышает точность, но не меняет прецизионность. Система измерений считается достоверной, если она одновременно точна и прецизионна. К смежным терминам относятся смещение (неслучайные или направленные эффекты, вызванные факторами, не связанными с независимой переменной) и ошибка (случайная изменчивость). Эта терминология также применяется к косвенным измерениям, то есть к значениям, полученным вычислительным путем на основе наблюдаемых данных. Помимо точности и прецизионности, измерения могут иметь разрешение измерения, которое представляет собой наименьшее изменение базовой физической величины, вызывающее реакцию при измерении. В численном анализе точность также означает близость вычисления к истинному значению, а прецизионность – разрешение представления, обычно определяемое количеством десятичных или двоичных знаков. В военной терминологии точность относится прежде всего к точности огня (justesse de tir), а прецизионность огня выражается близостью группы выстрелов к центру цели и вокруг нее.
Precision is a description of random errors (a measure of statistical variability). Accuracy has two definitions, per ISO: The precision of a measurement system, related to reproducibility and repeatability, is the degree to which repeated measurements under unchanged conditions show the same results. Although the two words precision and accuracy can be synonymous in colloquial use, they are deliberately contrasted in the context of the scientific method. The field of statistics, where the interpretation of measurements plays a central role, prefers to use the terms bias and variability instead of accuracy and precision: bias is the amount of inaccuracy and variability is the amount of imprecision. A measurement system can be accurate but not precise, precise but not accurate, neither, or both. For example, if an experiment contains a systematic error, then increasing the sample size generally increases precision but does not improve accuracy. The result would be a consistent yet inaccurate string of results from the flawed experiment. Eliminating the systematic error improves accuracy but does not change precision. A measurement system is considered valid if it is both accurate and precise. Related terms include bias (non random or directed effects caused by a factor or factors unrelated to the independent variable) and error (random variability). The terminology is also applied to indirect measurements—that is, values obtained by a computational procedure from observed data. In addition to accuracy and precision, measurements may also have a measurement resolution, which is the smallest change in the underlying physical quantity that produces a response in the measurement. In numerical analysis, accuracy is also the nearness of a calculation to the true value; while precision is the resolution of the representation, typically defined by the number of decimal or binary digits. In military terms, accuracy refers primarily to the accuracy of fire (justesse de tir), the precision of fire expressed by the closeness of a grouping of shots at and around the centre of the target.
- Да.
С изменением значения этих терминов, последовавшим за публикацией серии стандартов ISO 5725 в 1994 году, что также отражено в Международном словаре метрологии BIPM (VIM), пункты 2.13 и 2.14, общий термин "точность" используется для описания соответствия измерения истинному значению. При применении этого термина к наборам измерений одной и той же величины, он включает в себя составляющую случайной погрешности и составляющую систематической погрешности. В этом случае, истинность – это соответствие среднего значения набора результатов измерений фактическому (истинному) значению, а прецизионность – это степень согласованности между результатами в наборе измерений. Стандарты ISO 5725-1 и VIM также избегают использования термина "смещение", ранее использовавшегося в BS 5497-1, поскольку он имеет иные коннотации вне областей науки и техники, например, в медицине и юриспруденции.
В психометрии и психофизике
В психометрии и психофизике термин "точность" используется как взаимозаменяемый с понятиями "валидность" и "постоянная ошибка". "Прецизионность" является синонимом "надёжности" и "переменной ошибки". Валидность измерительного инструмента или психологического теста устанавливается посредством эксперимента или корреляции с поведением. Надёжность устанавливается с использованием различных статистических методов, классически – посредством теста внутренней согласованности, такого как альфа Кронбаха, для обеспечения взаимосвязи между наборами связанных вопросов и их ответами, а затем сравнением этих связанных вопросов между референтной и целевой популяциями.
В логическом моделировании
В логическом моделировании распространенная ошибка при оценке корректных моделей — сравнивать модель логического моделирования с моделью трассировки транзисторных схем. Это сравнение различий в детализации, а не в точности. Детализация измеряется уровнем проработки, а точность — степенью соответствия реальности.
В информационных системах
Системы поиска информации, такие как базы данных и веб-поисковые системы, оцениваются по множеству различных метрик, некоторые из которых основаны на матрице ошибок, которая разделяет результаты на истинно положительные (документы, извлеченные верно), истинно отрицательные (документы, не извлеченные, но нерелевантные), ложно положительные (документы, извлеченные ошибочно) и ложно отрицательные (документы, не извлеченные, но релевантные). Обычно используемые метрики включают понятия точности и полноты. В данном контексте точность определяется как доля релевантных документов среди извлеченных (истинно положительные, деленные на истинно положительные плюс ложно положительные), при использовании набора релевантных документов, отобранных экспертами. Полнота определяется как доля извлеченных релевантных документов по отношению к общему числу релевантных документов (истинно положительные, деленные на истинно положительные плюс ложно отрицательные). Менее распространенной является метрика точности, определяемая как общее число верных классификаций (истинно положительные плюс истинно отрицательные), деленное на общее число документов. Ни одна из этих метрик не учитывает ранжирование результатов. Ранжирование очень важно для веб-поисковых систем, поскольку пользователи редко просматривают больше первой страницы результатов, а в сети слишком много документов, чтобы вручную классифицировать каждый из них с точки зрения включения или исключения из конкретного поиска. Установка порога на определенное количество результатов частично учитывает ранжирование. Например, точность на уровне k (precision at k) – это мера точности, рассматривающая только первые k (например, k=10) результатов поиска. Более сложные метрики, такие как дисконтированное накопленное усиление (discounted cumulative gain), учитывают индивидуальное ранжирование каждого документа и чаще используются в тех случаях, когда это имеет значение.
В когнитивных системах
В когнитивных системах точность и прецизионность используются для характеристики и измерения результатов когнитивного процесса, выполняемого биологическими или искусственными сущностями, где когнитивный процесс представляет собой преобразование данных, информации, знаний или мудрости в форму с более высокой ценностью. (Пирамида DIKW) Иногда когнитивный процесс производит именно ожидаемый или желаемый результат, а иногда – результат, существенно отличающийся от ожидаемого или желаемого. Более того, повторные выполнения когнитивного процесса не всегда приводят к одному и тому же результату. Когнитивная точность (КТ) – это способность когнитивного процесса выдавать ожидаемый или желаемый результат. Когнитивная прецизионность (КП) – это способность когнитивного процесса выдавать исключительно ожидаемый или желаемый результат. Для измерения усиленного познания в человеко-когнитивных ансамблях, где один или несколько человек совместно работают с одной или несколькими когнитивными системами (когами), повышение когнитивной точности и когнитивной прецизионности помогает оценить степень когнитивного усиления.