Введение
The Lancet, один из старейших научных медицинских журналов в мире, опубликовал два рецензируемых исследования о влиянии вторжения в Ирак в 2003 году и последовавшей за ним оккупации на уровень смертности в Ираке. Первое было опубликовано в 2004 году, второе (при участии многих из тех же авторов) – в 2006 году. В исследованиях оценивалось количество дополнительных смертей, вызванных оккупацией, как прямых (среди участников боевых действий и гражданского населения), так и косвенных (в связи с ростом беззакония, ухудшением инфраструктуры, недостаточным уровнем медицинского обслуживания и т.д.). Первый опрос, опубликованный 29 октября 2004 года, оценил количество дополнительных смертей среди иракцев в 98 000 (с диапазоном от 8 000 до 194 000 при 95% доверительном интервале (CI)) с момента вторжения в Ирак в 2003 году и последовавшей за ним оккупации до этого времени, что примерно на 50% выше уровня смертности до вторжения. Авторы назвали эту оценку консервативной, поскольку она исключала экстремальные статистические данные из Фаллуджи. Если бы кластер Фаллуджи был включен, оценка смертности увеличилась бы до 150% по сравнению с уровнем до вторжения (95% CI: 1,6–4,2). Второй опрос, опубликованный 11 октября 2006 года, оценил количество дополнительных смертей, связанных с войной, в 654 965, что составляет 2,5% населения на конец июня 2006 года. В новом исследовании использовались аналогичные методы и проводились опросы в период с 20 мая по 10 июля 2006 года. Опросы, опубликованные в The Lancet, получили поддержку со стороны некоторых журналистов, правительств, эпидемиологов и статистиков, но также вызвали критику и недоверие со стороны других представителей этих профессий. Эти исследования не только получили широкое признание и не встретили возражений при публикации в 2000 году, но и привели к резолюции Совета Безопасности ООН, требующей вывода всех иностранных армий из Конго, запросу Организации Объединенных Наций о помощи в размере 140 миллионов долларов и обещанию Государственного департамента США предоставить дополнительную помощь в размере 10 миллионов долларов. Подобные исследования принимались без критики в качестве оценок смертности во время войны в Дарфуре и Боснии. Стандартная методика Робертса заключается в оценке общей смертности путем проведения личных опросов выборки домохозяйств в изучаемом районе; этот метод был выбран, чтобы избежать занижения, характерного для использования только зарегистрированных смертей в районах, настолько хаотичных, что многие смерти остаются незарегистрированными, и для включения смертей, не связанных напрямую с насилием, но являющихся следствием конфликта косвенными путями, такими как загрязнение источников водоснабжения или недоступность медицинской помощи. Исходный уровень смертности, рассчитанный на основе сообщений респондентов за период до конфликта, вычитается из показателя, зарегистрированного во время конфликта, чтобы оценить дополнительную смертность, которая может быть связана с конфликтом, прямо или косвенно. Этот метод был принят без критики в предыдущих исследованиях смертности, упомянутых выше. Из-за непрактичности проведения равномерно распределенного опроса, особенно во время войны, опросы Робертса используют "кластерную выборку", разделяя территорию на ряд случайно выбранных, примерно одинаково населенных регионов; в каждом регионе выбирается случайная точка, и опрашивается фиксированное количество домохозяйств, ближайших к этой точке, в качестве "кластера". Хотя этот метод не так точен, как равномерно распределенный опрос того же числа домохозяйств, он более точен, чем просто опрос одного домохозяйства для каждой выбранной точки. В своем исследовании Ирака Робертс разделил страну на 36 регионов, стремясь опросить 30 домохозяйств в каждом кластере и выбрав 988 домохозяйств с 7868 жителями. В сентябре 2004 года в каждом опрошенном домохозяйстве были опрошены о составе домохозяйства, рождаемости и смертности с января 2002 года. Из 78 домохозяйств, членов которых попросили предъявить документы, подтверждающие их заявления после завершения интервью, 63 смогли предоставить свидетельства о смерти. По данным авторов, 5 (0,5%) из 988 случайно выбранных для опроса домохозяйств отказались от участия в интервью. Относительный риск смерти в результате вторжения и оккупации 2003 года был оценен путем сравнения смертности в течение 17,8 месяцев после вторжения с 14,6 месяцами, предшествовавшими ему. Авторы заявили: "Принимая консервативные предположения, мы полагаем, что с момента вторжения в Ирак в 2003 году произошло около 100 000 дополнительных смертей или больше". К таким "консервативным предположениям" относится исключение данных из Фаллуджи из многих результатов. Поскольку интерпретация результатов исследования была бы затруднена включением аномального кластера в Фаллудже, где тяжелые бои привели к гораздо большему числу жертв, чем в других районах Ирака, исследование в основном сосредоточилось на результатах, исключающих кластер Фаллуджи. Хотя авторы утверждали, что включение кластера Фаллуджи можно оправдать как нормальную часть стратегии выборки (авторы отметили, что другие "горячие точки", такие как Наджаф, не были включены в опрос), и авторы представили два набора результатов в некоторых случаях (один набор включал данные из Фаллуджи, а другой – нет), статья и большинство публикаций в прессе подчеркивали данные, исключающие кластер Фаллуджи. Основные дебаты в СМИ в США и Великобритании были сосредоточены на том, умерли ли 98 000 (95% CI 8000–194 000) иракцев в результате вмешательства коалиционных сил, что было рассчитано на основе оценки увеличения смертности в 1,5 раза (95% CI 1,1–2,3) по сравнению с уровнем смертности до войны (исключая данные из Фаллуджи). Если бы образец из Фаллуджи был включен, оценка опроса о том, что уровень смертности увеличился примерно в 2,5 раза с момента вторжения (с 95% CI 1,6–4,2), включая данные из Фаллуджи, привела бы к избыточным 298 000 смертям (95% CI ?–?), 200 000 из которых были сконцентрированы в 3% Ирака вокруг Фаллуджи (Roberts et al. p. 5). Согласно статье, насилие было причиной большинства дополнительных смертей, независимо от того, были ли исключены данные из Фаллуджи. Авиаудары коалиционных сил были бы основной причиной этих насильственных смертей, если бы данные из Фаллуджи были включены. В заключении исследования говорится: "Насильственные смерти были широко распространены, о них сообщалось в 15 из 33 кластеров, и они в основном были связаны с коалиционными силами" и "Насилие стало причиной большинства дополнительных смертей, а авиаудары коалиционных сил – основной причиной насильственных смертей". В исследовании оценивается, что риск смерти именно от насилия в Ираке в период после вторжения был примерно в 58 раз выше, чем в период до войны, при CI95 от 8,1 до 419, что означает, что существует вероятность 97,5%, что риск смерти от насилия после вторжения как минимум в 8,1 раза выше, чем до войны. Newsday сообщила:
The Lancet, one of the oldest scientific medical journals in the world, published two peer reviewed studies on the effect of the 2003 invasion of Iraq and subsequent occupation on the Iraqi mortality rate. The first was published in 2004; the second (by many of the same authors) in 2006. The studies estimate the number of excess deaths caused by the occupation, both direct (combatants plus non combatants) and indirect (due to increased lawlessness, degraded infrastructure, poor healthcare, etc.). The first survey published on 29 October 2004, estimated 98,000 excess Iraqi deaths (with a range of 8,000 to 194,000, using a 95% confidence interval (CI)) from the 2003 invasion and subsequent occupation of Iraq to that time, or about 50% higher than the death rate prior to the invasion. The authors described this as a conservative estimate, because it excluded the extreme statistical outlier data from Fallujah. If the Fallujah cluster were included, the mortality estimate would increase to 150% over pre invasion rates (95% CI: 1.6 to 4.2). The second survey published on 11 October 2006, estimated 654,965 excess deaths related to the war, or 2.5% of the population, through the end of June 2006. The new study applied similar methods and involved surveys between 20 May and 10 July 2006. The Lancet surveys have been supported by some journalists, governments, epidemiologists and statisticians, and been met by criticism and disbelief from other journalists, governments, epidemiologists and statisticians. which not only met with widespread acceptance and no challenge when published in 2000, but resulted and was cited in a U. N. Security Council resolution that all foreign armies must leave Congo, a United Nations request for $140 million in aid, and the US State Department pledging an additional $10 million in aid. Similar studies have been accepted uncritically as estimates of wartime mortality in Darfur and Bosnia. Roberts' regular technique is to estimate total mortality by personal surveys of a sample of the households in the area under study; this method being chosen in order to avoid the under counting inherent in using only reported deaths in areas so chaotic that many deaths are unreported, and to include those deaths not directly attributable to violence but nevertheless the result of the conflict through indirect means, such as contamination of water supply or unavailability of medical care. The baseline mortality rate calculated from the interviewees' reports for the period prior to the conflict is subtracted from that reported during the conflict, to estimate the excess mortality which may be attributed to the presence of the conflict, directly or indirectly. This technique has been accepted uncritically in the previous mortality surveys discussed above. Because of the impracticality of carrying out an evenly distributed survey, particularly during a war, Roberts' surveys use "cluster sampling", dividing the area into a number of randomly selected, approximately equally populated regions; a random point is chosen within each region, and a fixed number of the households closest to that point are surveyed as a "cluster". While not as accurate as an evenly distributed survey of the same number of households, this technique is more accurate than merely surveying one household for each selected point. In his study of Iraq, Roberts divided the country into 36 regions, attempting to sample 30 households for each cluster, and selecting 988 households, with 7868 residents. In September 2004, each surveyed household was interviewed about household composition, births, and deaths since January 2002. Of 78 households where members were asked to show documentation to confirm their claims after the interview was finished, 63 were able to present death certificates. According to the authors, 5 (0.5%) of the 988 households that were randomly chosen to be surveyed refused to be interviewed. The relative risk of death due to the 2003 invasion and occupation was estimated by comparing mortality in the 17.8 months after the invasion with the 14.6 months preceding it. The authors stated, "Making conservative assumptions, we think that about 100,000 excess deaths, or more have happened since the 2003 invasion of Iraq." Among such "conservative assumptions" is the exclusion of data from Fallujah in many of its findings. Since interpreting the results of the study would be complicated by the inclusion of an outlier cluster in Fallujah, where heavy fighting caused far more casualties than elsewhere in Iraq, the study focused mainly on the results that excluded the Fallujah cluster. While the authors argued that the Fallujah cluster's inclusion could be justified as a normal part of the sampling strategy (the authors noted that other "hotspots" like Najaf had not ended up being surveyed), and the authors presented two sets of results in some cases (one set including the Fallujah data and one not), the article, and most press coverage of the article, stresses the data that excluded the Fallujah cluster. The main debate in the media in the U. S. and UK focused on whether 98,000 (95% CI 8000–194,000) more Iraqis died as a result of coalition intervention, calculated from their estimate of an increased mortality of 1.5 times (95% CI 1.1–2.3) the prewar rate (excluding the Fallujah data). Had the Fallujah sample been included, the survey's estimate that mortality rates had increased about 2.5 times since the invasion (with a 95% CI 1.6–4.2) including the Fallujah data would have resulted in an excess of about 298,000 deaths (95% CI ?–? ), with 200,000 concentrated in the 3% of Iraq around Fallujah (Roberts et al. p. 5). According to the article, violence was responsible for most of the extra deaths whether or not the Fallujah data was excluded. Coalition airstrikes would be the main cause of these violent deaths if Fallujah data were included. The study concluded that: "Violent deaths were widespread, reported in 15 of 33 clusters, and were mainly attributed to coalition forces." and "Violence accounted for most of the excess deaths and air strikes from coalition forces accounted for most violent deaths." The study estimates that the risk of death specifically from violence in Iraq during the period after the invasion was approximately 58 times higher than in the period before the war, with the CI95 being 8.1–419, meaning that there is a 97.5% chance that the risk of death from violence after the invasion is at least 8.1 times higher than it was before. Newsday reported:
The most common causes of death before the invasion of Iraq were heart attacks, strokes and other chronic diseases. However, after the invasion, violence was recorded as the primary cause of death and was mainly attributed to coalition forces—with about 95 percent of those deaths caused by bombs or fire from helicopter gunships.
Наиболее частыми причинами смерти до вторжения в Ирак были сердечные приступы, инсульты и другие хронические заболевания. Однако после вторжения насилие было зарегистрировано как основная причина смерти и в основном было связано с коалиционными силами – около 95% этих смертей были вызваны бомбами или огнем из вертолетных пушек.
The Lancet, one of the oldest scientific medical journals in the world, published two peer reviewed studies on the effect of the 2003 invasion of Iraq and subsequent occupation on the Iraqi mortality rate. The first was published in 2004; the second (by many of the same authors) in 2006. The studies estimate the number of excess deaths caused by the occupation, both direct (combatants plus non combatants) and indirect (due to increased lawlessness, degraded infrastructure, poor healthcare, etc.). The first survey published on 29 October 2004, estimated 98,000 excess Iraqi deaths (with a range of 8,000 to 194,000, using a 95% confidence interval (CI)) from the 2003 invasion and subsequent occupation of Iraq to that time, or about 50% higher than the death rate prior to the invasion. The authors described this as a conservative estimate, because it excluded the extreme statistical outlier data from Fallujah. If the Fallujah cluster were included, the mortality estimate would increase to 150% over pre invasion rates (95% CI: 1.6 to 4.2). The second survey published on 11 October 2006, estimated 654,965 excess deaths related to the war, or 2.5% of the population, through the end of June 2006. The new study applied similar methods and involved surveys between 20 May and 10 July 2006. The Lancet surveys have been supported by some journalists, governments, epidemiologists and statisticians, and been met by criticism and disbelief from other journalists, governments, epidemiologists and statisticians. which not only met with widespread acceptance and no challenge when published in 2000, but resulted and was cited in a U. N. Security Council resolution that all foreign armies must leave Congo, a United Nations request for $140 million in aid, and the US State Department pledging an additional $10 million in aid. Similar studies have been accepted uncritically as estimates of wartime mortality in Darfur and Bosnia. Roberts' regular technique is to estimate total mortality by personal surveys of a sample of the households in the area under study; this method being chosen in order to avoid the under counting inherent in using only reported deaths in areas so chaotic that many deaths are unreported, and to include those deaths not directly attributable to violence but nevertheless the result of the conflict through indirect means, such as contamination of water supply or unavailability of medical care. The baseline mortality rate calculated from the interviewees' reports for the period prior to the conflict is subtracted from that reported during the conflict, to estimate the excess mortality which may be attributed to the presence of the conflict, directly or indirectly. This technique has been accepted uncritically in the previous mortality surveys discussed above. Because of the impracticality of carrying out an evenly distributed survey, particularly during a war, Roberts' surveys use "cluster sampling", dividing the area into a number of randomly selected, approximately equally populated regions; a random point is chosen within each region, and a fixed number of the households closest to that point are surveyed as a "cluster". While not as accurate as an evenly distributed survey of the same number of households, this technique is more accurate than merely surveying one household for each selected point. In his study of Iraq, Roberts divided the country into 36 regions, attempting to sample 30 households for each cluster, and selecting 988 households, with 7868 residents. In September 2004, each surveyed household was interviewed about household composition, births, and deaths since January 2002. Of 78 households where members were asked to show documentation to confirm their claims after the interview was finished, 63 were able to present death certificates. According to the authors, 5 (0.5%) of the 988 households that were randomly chosen to be surveyed refused to be interviewed. The relative risk of death due to the 2003 invasion and occupation was estimated by comparing mortality in the 17.8 months after the invasion with the 14.6 months preceding it. The authors stated, "Making conservative assumptions, we think that about 100,000 excess deaths, or more have happened since the 2003 invasion of Iraq." Among such "conservative assumptions" is the exclusion of data from Fallujah in many of its findings. Since interpreting the results of the study would be complicated by the inclusion of an outlier cluster in Fallujah, where heavy fighting caused far more casualties than elsewhere in Iraq, the study focused mainly on the results that excluded the Fallujah cluster. While the authors argued that the Fallujah cluster's inclusion could be justified as a normal part of the sampling strategy (the authors noted that other "hotspots" like Najaf had not ended up being surveyed), and the authors presented two sets of results in some cases (one set including the Fallujah data and one not), the article, and most press coverage of the article, stresses the data that excluded the Fallujah cluster. The main debate in the media in the U. S. and UK focused on whether 98,000 (95% CI 8000–194,000) more Iraqis died as a result of coalition intervention, calculated from their estimate of an increased mortality of 1.5 times (95% CI 1.1–2.3) the prewar rate (excluding the Fallujah data). Had the Fallujah sample been included, the survey's estimate that mortality rates had increased about 2.5 times since the invasion (with a 95% CI 1.6–4.2) including the Fallujah data would have resulted in an excess of about 298,000 deaths (95% CI ?–? ), with 200,000 concentrated in the 3% of Iraq around Fallujah (Roberts et al. p. 5). According to the article, violence was responsible for most of the extra deaths whether or not the Fallujah data was excluded. Coalition airstrikes would be the main cause of these violent deaths if Fallujah data were included. The study concluded that: "Violent deaths were widespread, reported in 15 of 33 clusters, and were mainly attributed to coalition forces." and "Violence accounted for most of the excess deaths and air strikes from coalition forces accounted for most violent deaths." The study estimates that the risk of death specifically from violence in Iraq during the period after the invasion was approximately 58 times higher than in the period before the war, with the CI95 being 8.1–419, meaning that there is a 97.5% chance that the risk of death from violence after the invasion is at least 8.1 times higher than it was before. Newsday reported:
The most common causes of death before the invasion of Iraq were heart attacks, strokes and other chronic diseases. However, after the invasion, violence was recorded as the primary cause of death and was mainly attributed to coalition forces—with about 95 percent of those deaths caused by bombs or fire from helicopter gunships.
Критика и контркритика
Некоторые критические замечания были сосредоточены на относительно широких 95% доверительных интервалах (CI95), обусловленных сложностью и дефицитом надежных источников. Лила Гутерман, после публикации развернутой статьи в январе 2005 года в The Chronicle of Higher Education, написала краткую статью в Columbia Journalism Review, в которой заявила: "Я опросила около десяти биостатистиков и экспертов по смертности. Ни один из них не оспорил методологию исследования или его выводы. По словам ученых, авторы проявили осторожность в своих оценках. Если бы журналисты обратились к статистику, они бы узнали, что вероятность распределена по кривой нормального распределения – крайне маловероятно, что число погибших окажется на каком-либо из полюсов диапазона. Наиболее вероятно, что оно окажется в середине". В министерском заявлении, опубликованном 17 ноября 2004 года правительством Великобритании, говорится: "Правительство не принимает центральный вывод [исследования], поскольку он, по всей видимости, противоречит данным, опубликованным Министерством здравоохранения Ирака, основанным на информации, предоставленной больницами, согласно которой "в период с 5 апреля 2004 года по 5 октября 2004 года погибло 3853 гражданских лица и 15 517 получили ранения". Некоторые критики утверждают, что авторы исследования The Lancet не смогли посетить определенные случайно отобранные участки выборки. Однако в интервью радиопрограмме "This American Life" авторы исследования заявили, что никогда не заменяли их более доступными районами, и что каждый участок, случайно выбранный в начале исследования, был полностью обследован, несмотря на риск для жизни исследователей. Критики исследования The Lancet указывали на другие трудности в получении точной статистики в зоне боевых действий. Авторы исследования охотно признают это и отмечают проблемы в статье, например, они утверждают, что "в войнах, где многие погибают от бомбардировок, может наблюдаться резкое скопление смертей". Они также отметили, что данные, на которых основаны их прогнозы, имели "ограниченную точность", поскольку качество информации зависело от достоверности опросов домохозяйств, использованных в исследовании. Результаты исследования имели политическое значение, поскольку высокий уровень смертности мог вызвать вопросы относительно гуманитарных обоснований накануне спорных президентских выборов в США. Критики возражали против сроков публикации отчета, утверждая, что он был поспешно подготовлен и опубликован, несмотря на то, что они считали его качество недостаточным, чтобы повлиять на избирателей США. По этому поводу Лес Робертс заявил: "Я отправил его по электронной почте 30 сентября при условии, что он будет опубликован до выборов. Моя цель заключалась не в искажении результатов выборов. Моя цель состояла в том, чтобы, если это станет известно во время кампании, оба кандидата были вынуждены пообещать защитить жизни гражданских лиц в Ираке. Я был против войны и до сих пор считаю, что война была плохой идеей, но я думаю, что наша наука превзошла наши личные взгляды". 26 марта 2005 г. Критика Стивена Апфелрота, кафедра патологии, медицинский колледж Альберта Эйнштейна. Критикует "несколько сомнительных методов выборки, которые должны были быть более тщательно изучены до публикации" и перечисляет ряд недостатков, включая "фатальный", заключающийся в том, что "в такой ситуации требуется несколько случайных точек выборки в каждом географическом регионе, а не одна на 739 000 человек". 26 марта 2005 г. Ответ Леса Робертса и др. на критику Апфелрота. Признает недостатки, но утверждает, что "ключевые выводы этого исследования в области общественного здравоохранения остаются надежными, несмотря на эту неточность. Эти выводы включают: более высокую смертность после вторжения; 58-кратное увеличение смертности от насилия, что делает ее основной причиной смерти; и то, что большинство насильственных смертей вызваны авиаударами коалиционных сил. Независимо от того, составляет ли реальное число погибших 90 000 или 150 000, эти три вывода дают достаточно информации для понимания того, что необходимо сделать для сокращения числа жертв среди гражданского населения. Перед публикацией статья была подвергнута критическому анализу многими ведущими экспертами в области статистики и общественного здравоохранения, и их предложения были учтены. Оценка числа погибших, сделанная в нашем исследовании, действительно неточна, и те, кто интересуется международным правом и историческими данными, не должны ею довольствоваться. Мы призываем Апфелрота и других улучшить наши усилия. В настоящее время мы считаем, что это исследование, а также единственное другое опубликованное исследование выборки по этой теме, указывают на насилие со стороны коалиционных сил как на основную причину смерти и напоминают нам о том, что число погибших иракцев, безусловно, во много раз превышает данные, полученные в результате пассивного наблюдения или опубликованные в прессе".
Другие ответы на критику
В "Хрониках высшего образования" также вышла статья, посвященная различиям в том, как опрос был воспринят в популярной прессе и в научном сообществе. "Правительство отклонило этот опрос и его оценки, посчитав их ненадежными; отчасти абсурдно, поскольку статистическая экстраполяция на основе выборки была признана недействительной. Они неточны, но степень этой неточности известна. Это уникальные оценки, полученные в результате непредвзятого исследования, проведенного в самых сложных эпидемиологических условиях. Следовательно, эти оценки, насколько это возможно, вряд ли будут искажены, даже с учетом восстановления Фаллуджи. Считать неточность синонимом предвзятости – необоснованно."