Статистическая служба Новой Зеландии: сбор и анализ данных для развития страны

Введение

Национальная статистическая служба Новой Зеландии, известная как Stats NZ, — государственный департамент Новой Зеландии, ответственный за сбор статистических данных об экономике, населении и обществе Новой Зеландии. Для этого Stats NZ проводит переписи населения и различные обследования.

Видение

Целью департамента является то, чтобы Новая Зеландия все больше получала статистическую информацию, необходимую для роста и процветания. Заявленными ценностями организации являются статистическое превосходство, честность, конфиденциальность и безопасность данных, лидерство, взаимодействие и коммуникация. На своем веб-сайте указано: "Придерживаясь этих ценностей, мы стремимся предоставлять всем жителям Новой Зеландии доступную, релевантную и своевременную статистику. Это означает, что правительство не имеет права злоупотреблять персональными данными, полученными в ходе переписи, раскрывая (или угрожая раскрытием) их в неблаговидных целях. Например, сведения о доходах конкретного человека не могут быть переданы в налоговые органы. Агентство придерживается открытой политики в отношении авторских прав, согласно которой пользователи могут свободно использовать материалы (за исключением изображений и контента с указанием конкретных авторских прав) при условии указания авторства Statistics New Zealand.

Методы

Статистическое управление Новой Зеландии использует множество методов для сбора, обработки, анализа и публикации данных. В агентстве работают статистики, математики и эксперты по опросам, главная задача которых – изучить подходы агентства к различным проектам и предложить способы повышения эффективности, скорости и точности. Для осмысления вводящих в заблуждение данных некоторые проекты требуют применения передовых статистических инструментов. Например, сезонность иногда искажает данные. "Например, в розничной торговле декабрь – месяц с очень высокими показателями из-за рождественских распродаж. Если сравнить объемы продаж в ноябре и декабре, мы увидим рост. Но этот рост в основном обусловлен сезонными колебаниями и не является показательным", – говорится в описании на их веб-сайте. Чтобы сезонные факторы не искажали данные, статистики иногда используют сложные программы, в том числе X-12 ARIMA (разработанные на основе данных бюро переписи населения США и Канады), для устранения сезонных искажений. Интервьюеры с ноутбуками проводят личные интервью, в результате чего получают информацию о "социальном благополучии", включая "жилищные условия, здоровье, оплачиваемую работу, социальные связи и права человека". Иногда проводятся специализированные опросы по конкретной отрасли или теме. Например, было опубликовано исследование в области биотехнологий, основанное на 10-страничной анкете, разработанной агентством, с использованием научных методов отбора респондентов; результаты 2007 года можно скачать на компьютеры через Интернет. В этом отчете используется обширный список переменных, таких как "общий объем экспорта", "экспорт биотехнологической продукции в Азию" и "стадия развития биотехнологических процессов". Статистические методы, такие как выборка и взвешивание, позволяют снизить расходы на сбор данных при проведении опросов, хотя это требует внимательности со стороны статистиков. Например, перепись населения относительно проста в статистическом плане, поскольку представляет собой прямой подсчет людей, покупок, мнений, действий. Однако опрос каждого человека обходится дорого. Кроме того, существует множество вопросов, не охватываемых переписью, которые требуют дальнейшего изучения, и агентство получает соответствующие запросы. Один из способов снизить затраты – выбирать небольшие выборки, которые, как ожидается, будут репрезентативными для изучаемой популяции. Это экономически эффективный способ получения точной информации. Выбор хорошей выборки иногда требует сложной статистической работы, чтобы убедиться, что она действительно репрезентативна для исследуемой популяции. Если репрезентативная выборка невозможна, но известны контрольные статистические данные (возможно, из предыдущих данных переписи), можно получить точную информацию, взвесив данные, чтобы скорректировать искажения, вызванные нерепрезентативной выборкой. Например, предположим, что в определенном районе Веллингтона известно, что процент женщин составляет 53%, что считается точным по данным предыдущей переписи населения; через несколько лет проводится исследование, формируется выборка, обрабатываются анкеты, но из возвращенных анкет 57% заполнены женщинами. Статистически можно придать немного больший вес ответам мужчин, чтобы учесть это расхождение, и в результате получить более точные данные. Агентство обсуждает различные методологии на своем веб-сайте. В одном из заявлений объясняется, почему иногда необходимо взвешивание: "Статистическое управление Новой Зеландии совершенствует методологию, используемую в экономическом обследовании домашних хозяйств 2001 года, за счет применения интегрированного взвешивания. Это относительно новый метод корректировки статистических результатов опроса для соответствия контрольным показателям населения. В частности, он учитывает недостаточное охватывание определенных групп населения в ходе опроса. Интегрированное взвешивание повышает надежность и точность оценок опроса, а также снижает влияние систематических ошибок, вызванных недостаточным охватом, и уменьшает уровень погрешности выборки для контрольных переменных". Значительное повышение статистической точности за счет снижения систематической ошибки неответности обеспечивается тем, что ответы на вопросы иногда требуются по закону. Некоторые опросы обязательны для заполнения. Это требование снижает расходы агентства, практически исключает систематическую ошибку неответности (постоянная проблема для большинства компаний, проводящих маркетинговые исследования) и повышает точность. Например, в рамках Генерального социального опроса людей случайным образом отбирают для 10-минутных телефонных интервью, в ходе которых задаются личные вопросы, такие как информация о заработной плате. Однако люди обязаны отвечать на эти вопросы и не получают за это вознаграждение. Это предусмотрено Законом о статистике 1975 года. Эта политика существенно отличается от политики таких стран, как Соединенные Штаты, где ответы на официальные опросы, включая перепись населения, проводимую раз в десять лет, редко являются обязательными. Кроме того, если человек по какой-либо причине не получил анкету переписи населения, он обязан посетить местное бюро переписи населения, получить ее, заполнить и вернуть; правительство не несет ответственности за ошибки в адресах. Анкеты можно скачать с веб-сайта Статистического управления Новой Зеландии. В законодательстве указано, что формы переписи населения должны быть "заполнены и подписаны в установленный срок" и возвращены "в установленный срок в ведомство". Интернет широко используется для публикации ключевой информации. Пользователи могут просматривать обширные базы данных, чтобы узнать о самых разных темах. Пользователь может узнать, что "89% предприятий используют широкополосный доступ для подключения к Интернету" или что "145 младенцев родились в День матери в 2008 году". Целые отчеты можно скачать в формате PDF и распечатать на своем компьютере.

Statistics New Zealand uses many methods to collect, process, analyse, and publish data. The agency has statisticians and mathematicians and survey experts whose chief duty is to examine how the agency approaches various projects and to suggest ways to improve efficiency, speed, and accuracy. Some projects require advanced statistical tools to make sense of misleading data. For example, sometimes seasonality distorts data. "For example, in retail trade, December is a very high month due to Christmas sales. If we compare November sales with December sales, we will report an increase in sales. But this increase is largely due to seasonal fluctuations and is not an informative measure" according to a description from their website. To prevent seasonal variables from distorting data, statisticians sometimes use complex programs, including X 12 ARIMA (derived from census bureaus from the US and Canada), to remove seasonal distortions. Interviewers with laptops conduct face to face interviews, and the result is information about "social wellbeing" including "housing, health, paid work, social connectedness, and human rights. It sometimes conducts specialty surveys about a specific industry or topic. For example, it published a biotechnology survey, based on a 10 page questionnaire developed by the agency, using scientific samples to choose respondents; the 2007 results can be downloaded to computers via the Internet. This particular report uses a long list of variables, such as "total exports" and "biotechnology exports to Asia" and "stage of development of biotechnology processes". Statistical techniques such as sampling and weighting can reduce data gathering expenses while surveying, although it requires careful attention by statisticians. For example, census counts are rather straightforward in a statistical sense since it is a straight count of bodies, purchases, opinions, actions. But it is expensive to interview everybody. And there are many non census topics requiring further study which the agency is asked to do. One way to reduce costs is by selecting smaller samples which hopefully represent the population being studied. This is a highly cost effective way to get accurate information. Choosing a good sample sometimes requires complex statistical work to make sure the sample is, indeed, truly representative of the population under study. If conditions do not permit representative sampling but known benchmark statistics are known (possibly from earlier census data), it is still possible to generate accurate information by weighting the data to distort it back, so to speak, to compensate for the distortion caused by the unrepresentative sample. For example, suppose an area of Wellington has a known percentage of women—say 53% – which is believed to be accurate from a previous census count; a study is done a few years later; a sample is chosen; questionnaires are processed; but of the returning questionnaires, 57% are women. It is possible statistically to give men slightly greater weight to account for the discrepancy, and the result is more accurate data. The agency discusses different methodologies on its website. A statement explains why weighting is sometimes necessary: "Statistics New Zealand is improving the methodology used for the 2001 Household Economic Survey through the use of integrated weighting. This is a relatively recently developed method of adjusting the statistical output of a survey to match population benchmarks. In particular, it takes account of under coverage in the survey of specified population groups. Integrated weighting improves the robustness and accuracy of survey estimates. It also reduces the effect of bias in estimates resulting from under coverage, as well as reducing the level of sampling error for benchmark variables." What greatly facilitates statistical accuracy by reducing non response bias is that answering questions is sometimes required by law. Some surveys must be answered. This requirement lessens agency expense, practically eliminates non response bias (a perennial headache for most private market researchers) and improves accuracy. For example, for the General Social Survey, people are selected randomly for 10 minute phone interviews which sometimes ask personal questions such as wage and salary information. But people must answer these questions and will not be paid for their time. It is required by the Statistics Act 1975. This policy is substantially different from countries such as the United States, where answering official surveys is rarely compulsory, including responding to its census which is done every ten years. Further, if a person does not get a census survey for any reason, he or she is still obligated to visit a local census bureau, get one, fill it out, and return it; the government cannot be held accountable for mixing up an address. Questionnaires can be downloaded from the Internet via the Statistics New Zealand website. Legislation states census forms must be "filled in and signed within a stated time" and returned "within a stated time to the Department". Extensive use is made of the Internet to publish key information. Users can sift through vast databases to learn about a wide variety of topics. A user can learn that "89% of businesses use broadband to connect to the Internet" or that "145 babies were born on Mother's Day in 2008". Entire reports can be downloaded as pdf files and printed on one's computer.