Итоговая оценка качества выборочного обследования Текст научной статьи по специальности «Экономика и бизнес»

УДК 311.2

ИТОГОВАЯ ОЦЕНКА КАЧЕСТВА ВЫБОРОЧНОГО ОБСЛЕДОВАНИЯ

Е.С. Шмарихина

Новосибирский государственный университет экономики и управления «НИНХ» E-mail: stat2004@inbox.ru

Рассматриваются подходы и методики оценки качества выборочного обследования. Обсуждаются достоинства и недостатки методики рейтинговой оценки качества (РОК) обследований. Предлагается новая методика расчета итоговой оценки качества выборочного обследования. Обсуждаются преимущества предлагаемой методики и ее апробация на конкретном выборочном обследовании населения.

Ключевые слова: достоверность статистической информации, качество выборочного обследования, итоговая оценка качества.

THE EVALUATION OF QUALITY OF SAMPLING OBSERVATION

E.S. Shmarikhina

Novosibirsk State University of Economics and Management E-mail: stat2004@inbox.ru

Approaches and methods of evaluation of quality of sampling observation are considered. Advantages and disadvantages of methods of the rating quality evaluation of observations are discussed. New methods of calculation of the evaluation of quality of sampling observations are introduced. Advantages of the introduced methods and the approbation on the specific sampling observation of population are discussed.

Key words: statistical information integrity, quality of sampling observation, evaluation of sampling observation.

Качество является важной характеристикой статистической информации, которая определяет ее привлекательность для потребителей, и обеспечивается благодаря высоким требованиям к сбору и обработке статистических данных.

Согласно Федеральному закону «Об официальном статистическом учете и системе государственной статистики в Российской Федерации» от 29.11.2007 г. № 282-ФЗ, формирующему правовые основы, и Федеральной целевой программе «Развитие государственной статистики России в 2007-2011 годах», деятельность государственных органов статистики должна быть направлена на получение полной, достоверной, научно обоснованной, своевременной и общедоступной, если последнее не запрещено законом, информации.

Абсолютно точное отображение действительности статистическими показателями в принципе невозможно из-за вероятностной природы и массовости общественных явлений [4, с. 13]. Качество статистической информации зависит и от способа получения данных. В современных условиях в системе государственной статистики практикуется сочетание сплошных переписей хозяйствующих субъектов и населения и их выборочных обследований в межпе-

© Шмарихина Е.С., 2012

реписной период. В частности, в России накоплен богатейший опыт проведения переписей населения с периодичностью в среднем 1 раз в 10 лет. Ежегодно сплошному наблюдению подвергается деятельность крупных предприятий. В 2000 г. проведена перепись малых предприятий, по итогам деятельности в 2010 г. - субъектов малого и среднего бизнеса. Базы данных, полученные в ходе сплошных переписей, используются в качестве основы выборки обследований в межпереписной период.

Выборочный метод стал широко внедряться в российскую статистическую практику в 90-х годах XX века. Причинами стали значительный рост хозяйствующих субъектов в малом предпринимательстве, их постоянное обновление и, как следствие, трудности организации статистического учета. Кроме того, экономичность выборочных обследований, существенно уменьшающих потребности во временных, финансовых и трудовых ресурсах по сравнению со сплошным учетом изучаемой совокупности, позволяет расширять программу статистического наблюдения. С помощью выборочного метода проводятся обследования населения, посвященные проблемам занятости, изучению бюджетов домашних хозяйств, использования времени, потребительских ожиданий, жилищных условий, микропереписи (1985, 1994 гг.) для подробного изучения семьи и рождаемости (2009 г.), состояния здоровья (2008 г.). Согласно Федеральному закону «О развитии малого и среднего предпринимательства в РФ» от 24.072007 г. № 209-ФЗ субъекты малого (за исключением микропредприятий) и среднего бизнеса подвергаются выборочным обследованиям ежемесячно и/или ежеквартально. Микропредприятия (с численностью работников до 15 человек) обследуются на основе выборок раз в год. До принятия Федерального закона малые предприятия обследовались ежеквартально, начиная с 1996 г. Кроме того, в России с 1994 г. на крупных и средних предприятиях проводятся выборочные обследования заработной платы работников отдельных профессий и должностей.

Согласно Федеральной целевой программе «Развитие государственной статистики России в 2007-2011 годах» к концу отчетного периода выборочные наблюдения будут проводиться во всех секторах экономики, в 2011 г. их количество увеличится на 15-20% по сравнению с 2005 г.

Для оценки качества информации, полученной в результате выборочных обследований, Росстатом рассчитываются абсолютная и относительная стандартная ошибки, публикуемые вместе со статистическими данными в бюллетенях. Начиная с 2007 г. органами государственной статистики применяется методика рейтинговой оценки качества (РОК) обследований, которая состоит в оценке аспектов качества статистической информации по этапам обследования на основе анкетирования доверенного эксперта по 121 вопросу [3, с. 69-74]. Данная методика имеет достоинства и недостатки (табл. 1).

Таким образом, большая потребность в применении выборочного метода в статистической практике, в получении качественной статистической информации пользователями и недостатки имеющихся методов и алгоритмов оценки ее качества делают актуальной разработку новой методики итоговой оценки качества выборочного обследования.

Качественной является информация, в которой нет измеренных ошибок. Если ошибки измерить и исправить нельзя, то нужно знать их источники, чтобы управлять ими и не допускать погрешностей в информации.

Статистика и экономическое измерение 63

Таблица 1 Достоинства и недостатки методики рейтинговой оценки качества (РОК) обследований

Достоинства Недостатки

• Оценка качества производится по этапам для контроля проведения обследования • Понятие «качество» не характеризуется отсутствием ошибок, их направленностью

• Дается оценка отдельного аспекта качества с целью всесторонней оценки качества обследования • Анкетирование эксперта по окончании не позволяет регулировать качество проведенного обследования

• Расчет итогового показателя качества обследования для сравнения в динамике и с аналогичным показателем по разным территориям • Оценка качества не связывается с ресурсами, расходованными на обследование

Автором выделяются виды ошибок, влияющие на качество выборочной статистической информации [5, с. 130].

В рамках выборочного метода статистика изучает и измеряет лишь случайные ошибки репрезентативности, нередко отождествляемые с ошибками выборки. Как правило, характеристика качества выборочной статистической информации основывается на величине этих ошибок, так как только их можно измерить.

Систематические ошибки любого вида измерить нельзя, но их наличие влияет на величину случайной ошибки репрезентативности. Например, регистратор статистических данных преднамеренно опрашивает респондентов с более высоким уровнем образования; выборка смещена по отраслевой принадлежности предприятий и в ней представлены работники отраслей с более низким уровнем заработной платы; «ремонт» выборки методом «взвешивания» может привести к повторению анкет с ошибками.

Систематические ошибки, влияние которых можно устранить полностью или уменьшить его, предлагается отслеживать через источники их возникновения. Причины такого рода ошибок обычно объединяются в укрупненные группы [2, с. 17], делятся на объективные и субъективные [4, с. 147].

Автором под источниками ошибок, по сути, понимаются все действия, которые нужно проделать для того, чтобы организовать и провести выборочное обследование. Каждое действие также характеризуется размером ресурсов определенного вида, необходимым для его осуществления. Решение о действии с ошибками определяется, таким образом, размером затрат, необходимых для его выполнения.

В силу того, что в реальных ситуациях организаторы выборочных обследований сталкиваются с ограниченностью временных, трудовых и финансовых ресурсов, требуется их обоснованное распределение по этапам [1, с. 12]. Источники ошибок также необходимо и удобно рассматривать на каждом этапе выборочного обследования [5, с. 133]. Выборочное обследование осуществляется в три этапа: подготовка, сбор данных, обработка полученной информации.

Таким образом, качество выборочной информации зависит от качества проведенного выборочного обследования.

Выборочное обследование, которое проводится в ходе любого прикладного статистического исследования, характеризуется определенными чертами

и должно базироваться на основных принципах, чтобы быть эффективным [6, с. 48].

Предлагаемая автором методика итоговой оценки качества выборочного обследования имеет следующие преимущества:

• позволяет отслеживать как случайные, так и систематические ошибки через их источники;

• источники ошибок как действия характеризуются размером ресурсов, необходимых для их осуществления, который и обеспечивает определенный уровень качества выборочного обследования;

• итоговую оценку качества выборочного обследования можно измерить при его подготовке, что позволяет, разработав разные схемы, выбрать ту для реализации, которая обеспечит получение качественной статистической информации при заданных ресурсах.

Итоговая оценка качества выборочного обследования складывается из оценок ошибок по источникам их возникновения на каждом этапе выборочного обследования, алгоритм ее расчета представлен на схеме.

Методика расчета итоговой оценки качества выборочного обследования

Источники ошибок делятся на две группы: более важные (им присваивается «вес», равный 0,054, и они выделены жирно в табл. 2, 3, 4) и менее важные («вес» 0,027). Чем выше «вес» источника ошибки, тем сильнее ошибка влияет на качество выборочного обследования. «Вес» варианта проявления источника определяется вероятностью допустить ошибку - чем больше вероятность допустить ошибку, тем меньше «вес» и ниже качество выборочного

обследования. При расчете итоговой оценки качества у каждого источника ошибки может быть выбран только один вариант его проявления. «Вес» варианта проявления источника, равный 1, соответствует наивысшей оценке качества. Значения «веса» источника ошибки и «веса» варианта проявления источника ошибки на этапе подготовки (табл. 2), на этапе сбора данных (табл. 3) и на этапе обработки полученной информации (табл. 4) рассчитаны автором.

Таблица 2

«Вес» источника ошибки и варианта его проявления на этапе подготовки выборочного обследования

Источник ошибки Вариант проявления источника «Вес» варианта

внутри этапа проявления

источника

1 2 3

Определение качественных • Есть информация о генеральной совокупно- 1,0

границ генеральной сти и основа выборки;

совокупности и построение • есть информация об основных показателях 0,9

основы выборки генеральной совокупности и основа выборки;

• есть информация об основных показателях 0,7

генеральной совокупности и нет основы

выборки;

• нет информации о генеральной совокупности 0,5

и основы выборки

Расчет объема выборки • Многократно (по нескольким признакам) 1,0

по формуле бесповторного отбора;

• многократно (по нескольким признакам) 0,8

по формуле повторного отбора;

• однократно (по одному признаку) по формуле 0,5

бесповторного отбора;

• однократно (по одному признаку) по формуле 0,3

повторного отбора

Принцип отбора выборки • Территориальная выборка; 1,0

• производственная выборка 0,7

Число ступеней выборки • Одноступенчатая выборка; 1,0

• двухступенчатая выборка; 0,9

• трехступенчатая выборка; 0,8

• четырехступенчатая выборка; 0,7

• пятиступенчатая выборка; 0,6

• шестиступенчатая выборка 0,5

Способ отбора выборки • Типический отбор, пропорциональный 1,0

численности отдельных групп и вариации

группировочного признака;

• типический отбор, пропорциональный 0,9

численности отдельных групп;

• типический отбор, непропорциональный 0,8

численности отдельных групп;

• собственно случайный отбор; 0,7

• механический отбор; 0,6

• серийный отбор 0,5

Вид выборки • Бесповторная выборка; 1,0

• повторная выборка 0,7

Формирование • Есть выборка и «резерв»; 1,0

выборочной совокупности • есть выборка, нет «резерва»; 0,7

и «резерва» выборки • нет выборки (отбор по схеме), нет «резерва» 0,5

Окончание табл. 2

1 2 3

Разработка вопросника респондента, кодировального листа • Количество вопросов меньше 30, коды есть; • количество вопросов меньше 30, кодов нет; • количество вопросов 30-50, коды есть; • количество вопросов 30-50, кодов нет; • количество вопросов больше 50, коды есть; • количество вопросов больше 50, кодов нет 1,0 0,8 0,8 0,6 0,6 0,4

Составление инструкции для анкетера, интервьюера, для кодировщика • Есть инструкции для анкетера, интервьюера, кодировщика; • нет инструкций для анкетера, интервьюера, кодировщика 1,0 0,5

Создание оригинал-макета, печать, тиражирование инструментария • Есть оригинал-макет вопросника, нет «разрыва» вопросов на страницах; • есть оригинал-макет вопросника, есть «разрывы» вопросов на страницах; • нет оригинал-макета вопросника 1,0 0,5 0,3

Проведение пробного обследования • Предусмотрено (проведено) пробное обследование; • не предусмотрено (не проведено) пробное обследование 1,0 0,7

Расчет необходимого числа анкетеров, интервьюеров, кодировщиков и их нагрузки • Количество анкетеров, интервьюеров, кодировщиков больше нормы; • количество анкетеров, интервьюеров, кодировщиков рассчитано по нормам; • количество анкетеров, интервьюеров, кодировщиков меньше нормы 1,0 1,0 0,5

Отбор и обучение анкетеров и интервьюеров, кодировщиков • Анкетеры, интервьюеры и кодировщики проходят отбор и обучаются; • анкетеры, интервьюеры и кодировщики проходят отбор и не обучаются; • анкетеры, интервьюеры и кодировщики не проходят отбор и не обучаются 1,0 0,5 0,0

Временные границы этапа • Затраченное время равно запланированному; • затраченное время больше запланированного; • затраченное время меньше запланированного 1,0 0,9 0,7

Таблица 3

«Вес» источника ошибки и варианта его проявления на этапе сбора данных выборочного обследования

Источник ошибки внутри этапа Вариант проявления источника «Вес» варианта проявления источника

Мотивация участия респондента в опросе • Нет отказов; • процент отказов меньше нормы; • процент отказов в норме; • процент отказов больше нормы 1,0 0,8 0,6 0,4

Вид опроса • Анкетирование на месте; • анкетирование по телефону; • анкетирование по почте; • интервью 1,0 0,8 0,6 0,4

Временные границы этапа • Затраченное время меньше запланированного; • затраченное время равно запланированному; • затраченное время больше запланированного 1,0 1,0 0,5

Таблица 4

«Вес» источника ошибки и варианта его проявления на этапе обработки полученной информации выборочного обследования

Источник ошибки внутри этапа Вариант проявления источника «Вес» варианта проявления источника

Разработка кодификатора для открытых вопросов • Открытых вопросов нет; • количество открытых вопросов меньше 10; • количество открытых вопросов 10-15; • количество открытых вопросов больше 15 1,0 0,8 0,6 0,4

Выбор схемы кодировки и кодировка данных • Позиционная система (автономный код), автоматически; • позиционная система (автономный код), вручную; • порядковая система (регистрационный код), автоматически; • порядковая система (регистрационный код), вручную 1,0 0,5 0,7 0,2

Ввод данных • С помощью электронных средств; • вручную 1,0 0,5

Выбор способа «ремонта» и «ремонт» выборки • «Ремонт» не нужен; • автоматизированный «ремонт» методом «взвешивания»; • комбинационный «ремонт» методом «взвешивания»; • ручной «ремонт» методом «взвешивания»; • автоматизированный «ремонт» методом «отсечения»; • комбинационный «ремонт» методом «отсечения»; • ручной «ремонт» методом «отсечения» 1,0 0,8 0,7 0,5 0,6 0,5 0,3

Выбор пакета прикладных программ для обработки данных, обработка данных • Специально разработанное ПО для данного обследования; • типовое ПО (MS Excel, SPSS, STATISTICA) 1,0 0,7

Компьютерное время обработки • Затраченное время равно запланированному; • затраченное время больше запланированного; • затраченное время меньше запланированного 1,0 0,9 0,7

Расчет оценок генеральных параметров • Расчет простых оценок; • расчет сложных оценок 1,0 0,7

Временные границы этапа • Затраченное время равно запланированному; • затраченное время больше запланированного; • затраченное время меньше запланированного 1,0 0,9 0,7

Итоговая оценка качества выборочного обследования может принимать значения от 0 до 1. Чем ближе эта оценка к 1, тем выше качество выборочного обследования.

Методика расчета итоговой оценки качества апробируется при организации выборочного обследования населения Новосибирской области на тему: «Социальная поддержка населения: необходимость и направления помощи», проведенного ООО «Институт прикладной статистики и стратегического анализа» в сентябре-октябре 2009 г.

Таблица 5

Расчет итоговой оценки качества выборочного обследования населения Новосибирской области «Социальная поддержка населения: необходимость и направления помощи»

Источник ошибки внутри этапа «Вес» источника ошибки Схема 1 Схема 2 (доработанная)

Вариант проявления источника «Вес» варианта проявления источника Вариант проявления источника «Вес» варианта проявления источника

Этап подготовки

Определение качественных границ генеральной совокупности и построение основы выборки 0,055 Есть информация об основных показателях генеральной совокупности и нет основы выборки 0,7 Есть информация об основных показателях генеральной совокупности и нет основы выборки 0,7

Расчет объема выборки 0,027 Многократно (по нескольким признакам) по формуле бесповторного отбора 1,0 Многократно (по нескольким признакам) по формуле бесповторного отбора 1,0

Принцип отбора выборки 0,027 Территориальная выборка 1,0 Территориальная выборка 1,0

Число ступеней выборки 0,054 Трехступенчатая выборка 0,8 Трехступенчатая выборка 0,8

Способ отбора выборки 0,054 Механический отбор 0,6 Механический отбор 0,6

Вид выборки 0,027 Бесповторная выборка 1,0 Бесповторная выборка 1,0

Формирование выборочной совокупности и «резерва» выборки 0,054 Нет выборки (отбор по схеме), нет «резерва» 0,5 Нет выборки (отбор по схеме), нет «резерва» 0,5

Разработка вопросника респондента, кодировального листа 0,054 Количество вопросов меньше 30, коды есть 1,0 Количество вопросов меньше 30, коды есть 1,0

Составление инструкции для анкетера, интервьюера, кодировщика 0,027 Нет инструкций для анкетера, интервьюера, кодировщика 0,5 Есть инструкции для анкетера, интервьюера, кодировщика 1,0

Создание оригинал-макета, печать, тиражирование инструментария 0,027 Есть оригинал-макет вопросника, нет «разрыва» вопросов на страницах 1,0 Есть оригинал-макет вопросника, нет «разрыва» вопросов на страницах 1,0

Проведение пробного обследования 0,054 Не предусмотрено (не проведено) пробное обследование 0,7 Предусмотрено (проведено) пробное обследование 1,0

Расчет необходимого числа анкетеров, интервьюеров, кодировщиков и их нагрузки 0,027 Количество анкетеров, интервьюеров, кодировщиков меньше нормы 0,5 Количество анкетеров, интервьюеров, кодировщиков рассчитано по нормам 1,0

Отбор и обучение анкетеров и интервьюеров, кодировщиков 0,054 Анкетеры, интервьюеры и кодировщики проходят отбор и не обучаются 0,5 Анкетеры, интервьюеры и кодировщики проходят отбор и обучаются 1,0

Временные границы этапа 0,027 Затраченное время больше запланированного 0,9 Затраченное время равно запланированному 1,0

Этап сбора данных

Мотивация участия респондента в опросе 0,054 Процент отказов в норме 0,6 Процент отказов в норме 0,6

Вид опроса 0,027 Анкетирование по телефону 0,8 Анкетирование на месте 1,0

Временные границы этапа 0,054 Затраченное время равно запланированному 1,0 Затраченное время равно запланированному 1,0

Этап обработки полученной информации

Разработка кодификатора для открытых вопросов 0,054 Количество открытых вопросов меньше 10 0,8 Количество открытых вопросов меньше 10 0,8

Выбор схемы кодировки и кодировка данных 0,027 Позиционная система (автономный код), вручную 0,5 Позиционная система (автономный код), вручную 0,5

Ввод данных 0,054 Вручную 0,5 Вручную 0,5

Выбор способа «ремонта» и «ремонт» выборки 0,054 Ручной «ремонт» методом «взвешивания» 0,5 Ручной «ремонт» методом «взвешивания» 0,5

Выбор пакета прикладных программ для обработки данных, обработка данных 0,027 Типовое ПО (MS Excel, SPSS, STATISTICA) 0,7 Типовое ПО (MS Excel, SPSS, STATISTICA) 0,7

Компьютерное время обработки 0,027 Затраченное время больше запланированного 0,9 Затраченное время больше запланированного 0,9

Расчет оценок генеральных параметров 0,027 Расчет простых оценок 1,0 Расчет простых оценок 1,0

Временные границы этапа 0,027 Затраченное время больше запланированного 0,9 Затраченное время больше запланированного 0,9

Итоговая оценка качества выборочного обследования 0,732 0,811

о

н м н s о н

s *

а

я о и о 2

s £

п а я о

п

а

W

п ТЗ п а а п

VO

Краткая характеристика обследования. Генеральную совокупность представляют все слои населения Новосибирской области без учета детей в дорабочем возрасте, численность которой на начало 2009 г составила 2234815 человек. Структура выборки представлена по признакам: пол, возраст, образование, место поселения, среднедушевой доход. Объем выборки рассчитывался многократно. Дисперсия первого признака дала наибольший объем выборки - 381 человек.

Выборка формировалась как территориальная, и опрос проводился по месту жительства респондентов. В выборке представлены как городские, так и сельские районы, и муниципальные округа Новосибирской области.

Выборка сформирована как многоступенчатая: на первой ступени в каждом районе или муниципальном округе отбирались территориальные ячейки (почтовые отделения связи), на второй ступени - из отобранных территориальных ячеек отбирались жилые дома, а на третьей ступени - из отобранных жилых домов - квартиры механическим отбором, упорядоченные по числу комнат. Таким образом, выборка была трехступенчатая.

Опрос проводился в виде анкетирования, анкета включала 28 вопросов. В табл. 5 представлены две схемы проведения данного выборочного обследования. Первая схема отражает реальную подготовку обследования, сбор данных и их обработку и обеспечивает итоговую оценку его качества, равную

0.732. Если более тщательно подготовить инструментарий и работников, участвующих в обследовании, провести пилотаж, анкетирование на месте и не выходить за рамки отведенного времени (варианты проявления ошибок выделены жирно в табл. 5), то итоговая оценка качества данного выборочного обследования увеличилась бы до 0,811.

Литература

1. Джессен Р. Методы статистических обследований. М.: Финансы и статистика, 1985. 478 с.

2. Рукавишников В.О., Паниотто В.И., Чурилов Н.Н. Опросы населения. (Методический опыт). М.: Финансы и статистика, 1984. 207 с.

3. Струков В.А. О возможности количественной оценки качества проводимого обследования // Вопросы статистики. 2006. № 1. С. 69-74.

4. Суслов И.П. Основы теории достоверности статистических показателей. Новосибирск: Наука. СО, 1979. 304 с.

5. Шмарихина Е.С. Комплексный подход к оценке качества выборочного обследования // Вестник НГУЭУ. 2011. № 1. С. 129-137 (Электронная версия: http://www.nsaem. ru/science/publications/herald/archive/2011_1_129.pdf).

6. Шмарихина Е.С. Подход к стоимостной оценке достоверности выборочной информации // Актуальные проблемы развития современной статистики: методологические и прикладные аспекты: межвузовский сборник научных трудов. Ростов н/Д.: Рост. гос. эконом. ун-т (РИНХ), 2011. С. 46-51.

7 Глинский В.В. Мифическая статистика малого бизнеса. Проблемы статистического

изучения турбулентных совокупностей // ЭКО. 2008. № 9. С. 51-62. 8. Шмарихина Е.С. Измерение эффективности выборочного обследования // Финансы и бизнес. 2010. № 2. C. 122-125.

Bibliography

1. Dzhessen R. Metody statisticheskih obsledovanij. M.: Finansy i statistika, 1985. 478 p.

2. RukavishnikovV.O., Paniotto V.I., ChurilovN.N. Oprosy naselenija. (Metodicheskij opyt). M.: Finansy i statistika, 1984. 207 p.

3. Strukov VA. O vozmozhnosti kolichestvennoj ocenki kachestva provodimogo obsledo-vanija // Voprosy statistiki. 2006. № 1. P 69-74.

4. Suslov I.P. Osnovy teorii dostovernosti statisticheskih pokazatelej. Novosibirsk: Nauka. SO, 1979. 304 p.

5. Shmarihina E.S. Kompleksnyj podhod k ocenke kachestva vyborochnogo obsledovanija // Vestnik NGUJeU. 2011. № 1. P 129-137. (Jelektronnaja versija: http://www.nsaem.ru/ science/publications/herald/archive/2011_1_129.pdf).

6. Shmarihina E.S. Podhod k stoimostnoj ocenke dostovernosti vyborochnoj informacii // Aktual'nye problemy razvitija sovremennoj statistiki: metodologicheskie i prikladnye aspekty: mezhvuzovskij sbornik nauchnyh trudov. Rostov n/D.: Rost. gos. jekonom. un-t (RINH), 2011. IP 46-51.

7 Glinskij VV. Mificheskaja statistika malogo biznesa. Problemy statisticheskogo izuchenija turbulentnyh sovokupnostej // JeKO. 2008. № 9. P 51-62.

8. Shmarihina E.S. Izmerenie jeffektivnosti vyborochnogo obsledovanija // Finansy i biznes. 2010. № 2. P 122-125.