Комплексный подход к оценке качества выборочного обследования Текст научной статьи по специальности «Экономика и бизнес»

УДК 311.2

КОМПЛЕКСНЫЙ ПОДХОД К ОЦЕНКЕ КАЧЕСТВА ВЫБОРОЧНОГО ОБСЛЕДОВАНИЯ

Е.С. Шмарихина

Новосибирский государственный университет экономики и управления - «НИНХ» E-mail: [email protected]

Рассматривается комплексный подход к оценке качества выборочного обследования -дается понятие достоверности статистической информации, выделяются классы и виды ошибок, а также их источники на этапах выборочного обследования, предлагается механизм расчета «цены» ошибки. Обсуждается понятие эффективности выборочного обследования, рассматриваются подходы к ее измерению, предлагается и обосновывается формула расчета эффективности выборочного обследования, а также излагаются проблемы ее применения.

Ключевые слова: достоверность статистической информации, ошибка выборки, эффективность выборочного обследования.

INTEGRATED APPROACH TO THE QUALITY EVALUATION OF THE SAMPLING OBSERVATION

E.S. Shmarikhina

Novosibirsk State University of economics and management E-mail: [email protected]

The article considers an integrated approach to the quality evaluation of the sampling observation - the term «statistical information actuality» is defined, classes and types of errors as well as their sources at stages of a sampling observation are identified, the mechanism of calculation of the «price» of error is suggested. The notion of the efficiency of sampling observation is discussed, approaches to its measurement are considered, the calculation of efficiency formula is suggested and justified. The issues of the application are stated.

Key words: statistical information actuality, sample error, efficiency of sampling observation.

Качество статистической информации является главным условием ее привлекательности для пользователей, которым статистические данные нужны, прежде всего, для принятия решений в управлении государством, территорией, бизнесом, а также для анализа с целью осознания и объяснения общественных явлений и процессов.

Согласно Федеральному закону от 29.11.2007 г. № 282-ФЗ «Об официальном статистическом учете и системе государственной статистики в Российской Федерации» статистическая информация должна быть полной, достоверной, научно обоснованной, своевременной и общедоступной, если последнее не запрещено законом. Важнейшей из перечисленных характеристик качества статистической информации является ее достоверность, под которой понимается «степень адекватности отображения информацией описываемых ею явлений, событий или процессов» [13, с. 121]. К настоящему времени разработан и подробно описан понятийный аппарат характеристик достоверности статистической информа-

© Шмарихина Е.С., 2011

ции - это правильность, точность, надежность, чувствительность и устойчивость [17, с. 18-20].

Достоверность характеризуется отсутствием ошибок в статистических данных. Но абсолютно точное отображение действительности статистическими показателями в принципе невозможно по двум причинам: во-первых, в связи с вероятностной природой общественных явлений, т.е. их подверженностью влиянию случайных факторов; во-вторых, массовый характер изучаемых статистикой общественных явлений приводит к большому числу измерений, округлению полученных результатов и, в конечном счете, к приближенным оценкам [16, с. 13]. Кроме того, качественные характеристики статистической информации зависят от способа получения данных. Если для этого применяется выборочный метод, то нужно учитывать, что наблюдению подвергается только часть единиц, а результаты распространяются на всю изучаемую совокупность. Значит, появляется еще один вид ошибок, влияющий на достоверность информации. Также ошибки могут возникнуть при вычислении выборочной оценки параметра генеральной совокупности из-за разных способов оценки: простая оценка, по способу отношения, по способу регрессии и т.д.

Таким образом, на достоверность выборочной информации оказывают влияние следующие виды ошибок:

• ошибки регистрации;

• ошибки репрезентативности;

• ошибки исчисления.

Перечисленные виды ошибок являются составными частями «ошибки выборки» [8, с. 156], характеризующей достоверность выборочной информации в целом. Несмотря на возникновение ошибок репрезентативности и ошибок исчисления вследствие неполноты охвата единиц изучаемой совокупности, выборочные данные имеют большую точность по сравнению с результатами сплошного наблюдения за счёт резкого снижения ошибок регистрации. Проблема комплексной характеристики достоверности выборочных данных обсуждается давно. В качестве ее оценки предлагаются еще такие показатели, как «общая ошибка выборки» [10, с. 33], «полная ошибка» [11, с. 25], «комплексная характеристика точности» [6, с. 13].

При изучении турбулентных совокупностей, например совокупности субъектов малого предпринимательства, информация о деятельности которых собирается в ходе выборочных наблюдений, при оценке параметров генеральной совокупности появляется еще один вид ошибки - ошибка «исчезающей» совокупности [5, с. 58-61] из-за нестабильности этих совокупностей во времени.

Ошибки каждого вида могут быть случайными и систематическими. Случайные ошибки не имеют какой-либо направленности и при обобщении данных они взаимно погашаются и не могут повлиять на значения итоговых показателей и результаты анализа. Систематические ошибки имеют определенную направленность и поэтому очень опасны и приводят к искажению результатов исследования.

В рамках выборочного метода статистика изучает и измеряет лишь случайные ошибки репрезентативности, нередко отождествляемые с ошибками выборки. Как правило, характеристика качества выборочной статистической информации основывается на величине этих ошибок и поэтому является недостаточной.

Для того чтобы влиять на достоверность информации, нужно четко знать источники возникновения ошибок. Прежде всего это касается систематических ошибок, влияние которых можно устранить полностью, уменьшить или пренебречь им. Причины такого рода ошибок обычно объединяются в укрупненные группы [12, с. 17], делятся на объективные и субъективные [16, с. 147].

Решение о действии с ошибками нами определяется величиной затрат, необходимых для его выполнения. В силу того что в реальных ситуациях организаторы выборочных обследований сталкиваются с ограниченностью временных, трудовых и финансовых ресурсов, требуется их обоснованное распределение по этапам. Поэтому источники ошибок также рассматриваются на каждом этапе выборочного обследования. Значит, качество выборочной информации зависит от качества проведенного выборочного обследования. «Исследователь должен знать, что даже небольшое увеличение точности наблюдения значительно удлиняет сроки и усложняет его проведение» [4, с. 11].

Такой же подход, по сути, к оценке качества статистической информации (целостности, востребованности, достоверности, точности, своевременности, доступности, интерпретируемости, согласованности) по этапам проводимых статистических обследований (решение о проведении, план проведения, подготовка к сбору данных, ввод и обработка данных, анализ аспектов качества выпускаемых данных, документация и распространение данных, усовершенствование), начиная с 2003 г., применяется Росстатом для количественной оценки качества обследований [15]. Однако в разработанной методике рейтинговой оценки качества (РОК) обследования не учитываются затраты на достижение рассчитанного уровня качества, а также ошибки, возникающие «...в процессе обследования в результате осознанных компромиссов между трудоемкостью, реальными ресурсами и сроками исполнения обследования» [14, с. 20].

Оценка качества рассматривается нами в рамках выборочного обследования, которое проводится в ходе любого прикладного статистического исследования, и характеризуется следующими чертами [12]:

• во-первых, имеет методико-организационную направленность, но предмет, объект, цели, задачи и гипотезы исследования отражаются на выборе объекта обследования, единицы наблюдения, построении схемы выборки и формировании выборочной совокупности, сборе и обработке полученной информации;

• во-вторых, программа обследования предусматривает сбор как статистических данных, так и социологической информации для полного и всестороннего изучения объекта исследования;

• в-третьих, сбор информации осуществляется с применением выборочного метода;

• в-четвертых, организация и проведение выборочного обследования обосновывают распределение ресурсов, необходимых для осуществления исследования в целом.

Таким образом, организацию и проведение выборочного обследования важно строить на таких основных принципах, как:

• принцип системности: чтобы получить достоверные данные, необходимо учитывать источники ошибок на всех этапах;

• принцип экономичности: чтобы принять решение относительно действия ошибки, необходимо учесть затраты, которые для этого потребуются, а также возможные потери при использовании искаженной информации.

При подготовке выборочного обследования очень трудно определить размер потерь, возникающих из-за ошибок. Поэтому предполагается, что величина потерь прямо пропорциональна ошибкам.

Подробная классификация ошибок по этапам выборочного наблюдения представлена в табл. 1.

Таблица 1

Классификация ошибок выборочного обследования

Этап выборочного обследования Класс ошибки Вид ошибки

Подготовка Ошибка репрезентативности Ошибка охвата, отказа, вида выборки, ошибка способа отбора

Сбор данных Ошибка регистрации Ошибка интервьюера, анкетера, респондента, инструментария, вида опроса

Обработка полученной информации Ошибка исчисления Ошибка «ремонта» выборки, кодировки данных, ввода данных, оценки генеральных параметров

Такая привязка ошибок к этапам выборочного обследования объясняется, прежде всего, источниками их возникновения. Схема выборки полностью разрабатывается при подготовке обследования, при сборе данных она уже реализуется, поэтому ошибки могут возникнуть только на первом этапе. Сбор данных предполагает регистрацию сведений, ошибки в которых могут допустить как интервьюеры, анкетеры, так и респонденты, а также неправильное оформление вопросника и специфика опроса (интервью или анкетирование) могут привести к ошибкам на этом этапе. При обработке полученной информации всегда проводится кодировка данных, возможен «ремонт» выборки, также осуществляется ввод данных для последующей обработки, расчет оценок генеральных параметров разными способами, что, в конечном счете, может привести к ошибке исчисления.

Распределение источников ошибок по этапам выборочного обследования, которое используется для определения статей отдельных видов затрат, представлено в табл. 2.

Между классификацией ошибок (по этапам) и выделением их источников по этапам обследования нет прямой зависимости: во-первых, ошибка определенного вида обусловлена, как правило, несколькими источниками; во-вторых, этапы обследования взаимосвязаны, и поэтому разделение источников ошибок является несколько условным. Так, формируя выборку, нужно предусмотреть, чтобы ее схема работала при сборе данных. С помощью разработанных вопросников должны решаться задачи, поставленные исследователем, и вопросы должны быть понятными для респондентов, не утомлять их, а данных, полученных в результате ответов на них, должно быть достаточно для обработки. Отбор и обучение интервьюеров и анкетеров также требуют определенных затрат при подготовке обследования: от качества их работы зависит скорость сбора данных и достоверность информации, получаемой ими от респондентов.

Таблица 2

Распределение источников ошибок по этапам выборочного обследования

Этап обследования Источник ошибки

Подготовка 1. Определение качественных границ генеральной совокупности и построение основы выборки. 2. Разработка схемы выборки: • расчет объема выборки; • принцип отбора; • число ступеней; • способ отбора; • вид выборки; • вид опроса. 3. Формирование выборочной совокупности и «резерва» выборки. 4. Подготовка инструментария: • разработка вопросника респондента, кодировального листа; • составление инструкции для анкетера, интервьюера, кодировщика; • создание оригинал-макета, печать, тиражирование инструментария. 5. Проведение пробного обследования. 6. Решение кадровых вопросов: • расчет необходимого числа анкетеров, интервьюеров, кодировщиков и их нагрузки; • отбор и обучение анкетеров и интервьюеров, кодировщиков. 7. Временные границы этапа

Сбор данных 1. Мотивация участия респондента в опросе. 2. Вид опроса. 3. Временные границы этапа

Обработка полученной информации 1. Кодировка данных: • разработка кодификатора для открытых вопросов; • выбор схемы кодировки и кодировка данных. 2. Ввод данных. 3. Выбор способа «ремонта» и «ремонт» выборки. 4. Выбор пакета прикладных программ для обработки данных, обработка данных. 5. Компьютерное время обработки. 6. Расчет оценок генеральных параметров. 7. Временные границы этапа

Приоритет в рамках выборочного обследования принадлежит этапу подготовки. Расходы этого этапа окупаются как при сборе данных, так и при обработке полученной информации. На этапе подготовки нужно предусмотреть ошибки, а на следующих этапах важно не допустить их.

Расчет «цены» ошибки становится возможным благодаря тому, что каждый ее источник оценивается величиной затрат. Структура затрат по этапам выборочного обследования представлена в табл. 3.

Таблица 3

Структура затрат по этапам выборочного обследования (в %)

Этап обследования Затраты

временные трудовые финансовые

Подготовка 60 15 50

Сбор данных 15 50 30

Обработки полученной информации 25 35 20

Итого 100 100 100

Согласно инвариантности каждого источника определяется его «вес» в границах того этапа, где он рассматривается. Чем больше «вес», тем выше вероятность допустить ошибку и тем больше ресурсов необходимо вложить в данный источник. Затем ресурсы, выделенные на реализацию каждого этапа обследования, распределяются по источникам ошибок пропорционально их «весу». Сумма затрат, рассчитанная по «весу» данного источника, входит в «цену» ошибки, источником которой он является.

Обобщающей характеристикой качества выборочного обследования является показатель его эффективности, который дает экономическую оценку достоверности полученной информации.

При разработке показателя эффективности выборочного обследования используется опыт построения обобщающего показателя эффективности производства, который основан на двух подходах - затратном и ресурсном, где в общем виде эффективность - это отношение эффекта к затратам или ресурсам, необходимым для его получения.

Эффективность выборочного обследования также обсуждается как отечественными, так и зарубежными учеными, а именно, даются следующие толкования эффективности выборочного обследования:

• «...оптимальные соотношения между производимыми затратами при организации обследований и допускаемыми ошибками репрезентативности выборочных характеристик» [2, с. 113];

• «. исчисление относительной эффективности требует минимизации не только дисперсии, но и затрат» [1, с. 4];

• «. обеспечение максимальной экономии средств при заданной точности» или «. обеспечение максимальной точности данных выборочного наблюдения при заданной сумме ассигнований на его проведение» [9, с. 5];

• «.это требуемые результаты с минимальными затратами» [7, с. 407].

Необходимость нового подхода к комплексной оценке эффективности выборочного обследования вызвана двумя обстоятельствами.

1. Существуют различные приемы: а) направленные только на уменьшение случайной ошибки выборки, б) благодаря которым в результате снижения объема выборки сокращаются все виды затрат. К ним относятся: типизация, оптимальное размещение, использование переменных долей отбора, применение способов сложной оценки генеральных параметров.

Подобных методов контроля смещения, обусловленного систематическими ошибками выборки, нет. Его можно избежать, зная источники этих систематических ошибок.

2. После сравнения разных вариантов обследования (выборки) по величине ошибки выборки, как правило, оценивается их стоимость, что позволяет дать экономическую оценку достоверности полученной информации [3].

Под эффективностью выборочного обследования нами понимается достижение минимальной ошибки выборки при оптимальном распределении заданных ресурсов. Ошибка выборки рассматривается в качестве эффекта и характеризует достоверность результатов выборочного обследования. Понятие достоверности полученной информации шире, чем ее репрезентативность, так как ошибка выборки включает еще ошибки регистрации.

Затратный подход к построению показателя эффективности рассматривать некорректно. Несмотря на то, что одним из достоинств выборочного метода является сокращение затрат на сбор информации, затраты на проведение выборочного обследования всегда конечны, т.е. сбором информации занимается определенная численность работников, отводится определенное время и затрачиваются определенные денежные средства.

Ресурсный подход к построению показателя эффективности применить возможно, но при этом следует учитывать, что ресурсы на организацию и проведение выборочного обследования заданы, т.е. обычно они ограниченны. Как показывает практика применения выборочного метода, при расчете численности выборки и построении ее схемы всегда учитывается ограниченность ресурсов, имеющихся на проведение обследования.

При построении показателя эффективности выборочного обследования необходимо решить задачу сопоставимости ошибки выборки и ресурсов. Для решения этой задачи предлагается перевести их в относительные величины, т.е. в коэффициенты.

Ошибка выборки может иметь различные единицы измерения в зависимости от того, какой признак используется в ее расчете. Например, возраст измеряется в годах, размер семьи - в человеках, доход - в рублях, альтернативные признаки -в процентах.

На этапе подготовки выборочного обследования расчет численности выборки ведется по разным признакам, а затем выбирается ее максимальное значение. По окончании обследования определяется ошибка выборки по признаку, заложенному в расчет объема выборки. Полученное значение делится на запланированную погрешность, т.е. рассчитывается индекс ошибки выборки.

Расчет относительной ошибки путем деления абсолютной ошибки на среднее значение признака не имеет значения, если в расчете эффективности используется индекс ошибки выборки. Если же среднее значение признака в генеральной совокупности неизвестно, то признак задается альтернативным, т.е. имеющим лишь две градации. Для альтернативных признаков такую процедуру проделывать не нужно.

Ресурсы разбиваются нами на три группы:

1) временные ресурсы;

2) трудовые;

3) денежные.

После проведения выборочного обследования по каждой группе ресурсов рассчитывается индекс, характеризующий снижение или увеличение использования ресурса относительно заданного уровня. В формуле берется произведение трех индексов, т.е. сводный индекс ресурсов.

Следовательно, получаем следующую формулу расчета эффективности:

Эво = гошибки / гресурсов,

где Эво - эффективность выборочного обследования, гошибки - индекс ошибки выборки, 1ресурсов - сводный индекс ресурсов.

Исходя из понятия эффективности выборочного обследования, должно выполняться условие минимизации ошибки выборки, т.е. гошибки < 1.

Если рассчитанный показатель эффективности строго меньше индекса ошибки выборки, то выборочное обследование неэффективное, а если больше (либо равно) индекса ошибки выборки, то - эффективное. Таким образом, имеем следующее неравенство для оценки эффективности выборочного обследования:

Неэффективное < гошибки < Эффективное.

Пример расчета показателя эффективности выборочного обследования представлен в табл. 4.

Таблица 4

Показатели для расчета эффективности выборочного обследования

Показатель Запланированное значение Полученное значение Индекс

Ошибка выборки по полу, % 5,0 4,5 0,900

Численность работников, чел. 36 30 0,833

Временные ресурсы, ч 590 590 1,000

Денежные ресурсы, руб. 150000 165000 1,100

Снижение ошибки выборки возможно при увеличении объема выборочной совокупности, что может способствовать росту человеческих и временных ресурсов, необходимых для проведения выборочного обследования. Чтобы этого не произошло, можно изменить, а точнее, повысить производительность труда обследуемых работников, т.е. оптимально их использовать. Увеличение объема выборки все же приводит к росту денежных ресурсов, но, в итоге, выборочное обследование является эффективным - полученное значение показателя эффективности больше индекса ошибки выборки.

Показатель эффективности выборочного обследования:

Разработка шкалы оценки показателя эффективности от 0 до 1 или относительно 1 затруднена, так как числитель и знаменатель связаны обратной зависимостью: для уменьшения ошибки выборки численность выборки необходимо увеличить, что ведет к увеличению ресурсов всех видов.

Литература

1. Александров И.А. Типические, многоступенчатые, многофазные выборки и перспективы их применения: Автореф. дисс. ... канд. экон. наук. М.: МЭСИ, 1974. 21 с.

2. Андрейченко И.Н. Некоторые вопросы применения статистических методов в социологических исследованиях: Дисс. ... канд. экон. наук. Л.: ЛГУ, 1975. 195 с.

3. Васильева Э.К., Юзбашев М.М. Выборочный метод в социально-экономической статистике: Учебное пособие. М.: Финансы и статистика; ИНФРА-М, 2010. 256 с.

4. Венецкий И.Г. Теоретические и практические основы выборочного метода: Учебное пособие. М.: МЭСИ, 1975. 68 с.

5. Глинский В.В. Мифическая статистика малого бизнеса. Проблемы статистического изучения турбулентных совокупностей // ЭКО. 2008. № 9. С. 51-62.

6. Гусынин А.Б. Методологические принципы выборочного исследования социальных явлений: Автореф. дисс. . канд. экон. наук. М.: МЭСИ, 1988. 19 с.

7. Джессен Р. Методы статистических обследований. М.: Финансы и статистика, 1985. 478 с.

8. Елисеева И.И., Юзбашев М.М. Общая теория статистики: Учебник / Под ред. чл.-корр. РАН И.И. Елисеевой. 5-е изд., перераб. и доп. М.: Финансы и статистика, 2008. 480 с.

9. Иншутина Г.С. Применение многоцелевых выборочных обследований в социальной статистике: Автореф. дисс. ... канд. экон. наук. М.: НИИ по проектированию вычисл. центров и систем экон. информации, 1975. 21 с.

10. Иейтс Ф. Выборочный метод в переписях и обследованиях. М.: Статистика, 1965. 436 с.

11. Пэнто Р., Гравитц М. Методы социальных наук. М.: Прогресс, 1972. 607 с.

12.Рукавишников В.О., Паниотто В.И., Чурилов Н.Н. Опросы населения (Методический опыт). М.: Финансы и статистика, 1984. 207 с.

13. Статистический словарь / Гл. ред. М.А. Королёв. 2-е изд., перераб. и доп. М.: Финансы и статистика, 1989. 621 с.

14. Степанов С.В. Цена ошибки и стоимость качества обследования // Вопросы статистики. 2007. № 12. С. 20-24.

15. Струков В.А. О возможности количественной оценки качества проводимого обследования // Вопросы статистики. 2006. № 1. С. 69-74.

16. Суслов И.П. Основы теории достоверности статистических показателей. Новосибирск: Наука СО, 1979. 304 с.

17. Эдельгауз Г.Е. Достоверность статистических показателей. М.: Статистика, 1977. 278 с.

Bibliography

1. Aleksandrov I.A. Tipicheskie, mnogostupenchatye, mnogofaznye vyborki i perspektivy ih primenenija: Avtoref. diss. ... kand. jekon. nauk. M.: MJeSI, 1974. 21 p.

2. Andrejchenko I.N. Nekotorye voprosy primenenija statisticheskih metodov v sociologi-cheskih issledovanijah: Diss. ... kand. jekon. nauk. L.: LGU, 1975. 195 p.

3. Vasil'eva Je.K., Juzbashev M.M. Vyborochnyj metod v social'no-jekonomicheskoj statistike: Uchebnoe posobie. M.: Finansy i statistika; INFRA-M, 2010. 256 p.

4. Veneckij I.G. Teoreticheskie i prakticheskie osnovy vyborochnogo metoda: Uchebnoe posobie. M.: MJeSI, 1975. 68 p.

5. Glinskij V.V. Mificheskaja statistika malogo biznesa. Problemy statisticheskogo izuchenija turbulentnyh sovokupnostej // JeKO. 2008. № 9. PP. 51-62.

6. Gusynin A.B. Metodologicheskie principy vyborochnogo issledovanija social'nyh javlenij: Avtoref. diss. . kand. jekon. nauk. M.: MJeSI, 1988. 19 p.

7. Dzhessen R. Metody statisticheskih obsledovanij. M.: Finansy i statistika, 1985. 478 p.

8. Eliseeva I.I., Juzbashev M.M. Obwaja teorija statistiki: Uchebnik / Pod red. AlAon-. RAN I.I. Eliseevoj. 5-e izd., pererab. i dop. M.: Finansy i statistika, 2008. 480 p.

9. Inshutina G.S. Primenenie mnogocelevyh vyborochnyh obsledovanij v social'noj statistike: Avtoref. diss. ... kand. jekon. nauk. M.: NII po proektirovaniju vychisl. centrov i sistem jekon. informacii, 1975. 21 p.

10. Jejts F. Vyborochnyj metod v perepisjah i obsledovanijah. M.: Statistika, 1965. 436 p.

11. Pjento R., Gravitc M. Metody social'nyh nauk. M.: Progress, 1972. 607 p.

12.Rukavishnikov V.O., Paniotto V.I., Churilov N.N. Oprosy naselenija (Metodicheskij opyt). M.: Finansy i statistika, 1984. 207 p.

13. Statisticheskij slovar' / Gl. red. M.A. Koroljov. 2-e izd., pererab. i dop. M.: Finansy i statistika, 1989. 621 p.

14.Stepanov S.V. Cena oshibki i stoimost' kachestva obsledovanija // Voprosy statistiki. 2007. № 12. PP. 20-24.

15. Strukov V.A. O vozmozhnosti kolichestvennoj ocenki kachestva provodimogo obsledovanija // Voprosy statistiki. 2006. № 1. PP. 69-74.

16. Suslov I.P. Osnovy teorii dostovernosti statisticheskih pokazatelej. Novosibirsk: Nauka SO, 1979. 304 p.

17. Jedel'gauz G.E. Dostovernost' statisticheskih pokazatelej. M.: Statistika, 1977. 278 p.