CC BY
184
УДК 659:519.2
ТЕОРИЯ ВЫЧИСЛЕНИЯ ОХВАТА СМИ
Е.В. Попов, Г.А. Шматов
Развита теория вычисления охвата целевой аудитории в зависимости от числа выходов СМИ. Теория позволяет определить значения полного и эффективного охватов аудитории, найти распределение охвата по числу контактов. Изложенная теория представляет собой часть аналитического аппарата, на основе которого решаются задачи управления рекламным бюджетом и оптимизации размещения рекламы в СМИ.
Ключевые слова: рекламное медиапланирование, оптимизация, охват, размещение рекламы.
ВВЕДЕНИЕ
Задачи планирования рекламы приходится решать каждому специалисту, занятому ее размещением в СМИ. Как сказано в классической книге по медиапланированию Дж. Сиссорса и Р. Бэрона, «...специалист в области медиапланирования использует статистические данные с целью доказательства того, что в план включены лучшие средства распространения рекламы, позволяющие охватить всех потенциальных покупателей» [1].
Теория медиапланирования и занимается разработкой таких доказательств, а также методов их практического применения. Путем оптимального размещения достигается минимизация рекламного бюджета и максимизация эффекта рекламного воздействия. Поскольку медиапланирование относится к количественным наукам, его основные понятия и параметры формулируются на математическом языке. Один из классиков рекламы, К. Хопкинс, подчеркивал: «наиболее убедительные аргументы при рассмотрении рекламных планов — это цифры» [2].
При планировании рекламы неизбежно возникают вопросы:
— какая часть аудитории будет охвачена рекламой?
— какая ее часть будет охвачена тем или иным СМИ?
— сколько контактов с рекламой в среднем будет иметь представитель аудитории?
— какое число СМИ нужно выбрать для рекламы?
— сколько нужно сделать выходов рекламы в каждом из выбранных СМИ?
— с какой периодичностью нужно проводить рекламные кампании и др.?
Все эти вопросы могут быть решены только на основе адекватной количественной теории. При этом теория должна быть разработана не только на уровне абстрактной математической теории, содержащей определения понятий и доказательства некоторых теорем, но и на прикладном уровне. Последнее обстоятельство подчеркнем особо, поскольку именно разработка теории на прикладном уровне позволяет применять ее специалистам, занимающимся размещением рекламы в СМИ — сотрудникам рекламных агентств и менеджерам по рекламе любых фирм.
Сказанное подтверждает актуальность разработки вопросов медиапланирования с практической точки зрения. Анализ литературы по количественным аспектам медиапланирования приводит к весьма неутешительным выводам. Несмотря на обилие литературы по рекламе в целом, публикаций, в которых были бы подробно изложены количественные основы планирования и оптимизации размещения рекламы, практически не существует. В учебниках и монографиях по рекламе подробно описываются методы, применяемые на этапах стратегического и тактического планирования рекламы [1—9]. Однако количественным методам оптимизации рекламного бюджета и размещения рекламы уделяется совершенно недостаточное внимание. Например, описанию программ по медиапланированию в книге [5], содержащей 780 страниц текста, уделено только две страницы. В специальных публикациях решены отдельные частные задачи, которыми невозможно воспользоваться в конкретной практической работе большинства отечественных менеджеров по рекламе.
Это связано, в основном, с неполнотой и фрагментарностью представленных в публикациях методов. Эти работы основаны на подходах, требующих данных, технологий и ресурсов, недоступных большинству отечественных пользователей.
В отечественной литературе по медиапланированию приводятся, как правило, определения терминов, используемых в медиапланировании, и дается описание общих принципов планирования рекламы [10—13]. В части этих публикаций описываются некоторые программные продукты по медиапланированию, но только на уровне пользователя, без описания алгоритмов, на которых они основаны [12]. В тех книгах, где имеются элементы количественной теории, как правило, приводятся лишь две—три формулы, к тому же без обоснования и часто с ошибками, см., например, работы [10, с. 44; 13, с. 80]. Отметим в этой связи, что во многих областях маркетинга и маркетинговых исследованиях математические методы анализа применяются весьма широко, см. например, работы [14—18].
Основная цель данной публикации состоит в разработке основ аналитического аппарата медиапланирования, с помощью которого можно проводить оптимизацию рекламных кампаний и управлять рекламным бюджетом. Речь идет, прежде всего, о разработке аналитических методов вычисления медиапараметров, которые можно применять в процессе практической оптимизации размещения рекламы, а не только о разработке абстрактного математического формализма. Основной недостаток чисто абстрактных теорий, не имеющих развитого вычислительного аппарата, состоит в невозможности использования их результатов для реальной практической работы. Если говорить еще более конкретно, основное содержание данной статьи — это вывод формул (11)—(14), которые являются составной частью разработанного аналитического аппарата теории медиапланирования. Обобщение полученных формул, а также дальнейшее развитие математической теории медиапланирования будет изложено в отдельных публикациях. В частности, это касается теории вычисления охватов групп СМИ
1. РЕЙТИНГ И ПРЕДЕЛЬНЫЙ ОХВАТ СМИ
Теория медиапланирования основывается на двух базовых понятиях — понятиях рейтинга и предельного охвата СМИ. Сформулируем определения этих понятий.
Определение 1. Рейтинг (К) издания или определенного временного интервала в сетке вещания
электронных СМИ — это доля целевой аудитории, состоящая из людей, имевших контакт с одним выходом издания или с этим временным интервалом. ♦
Определение 2. Предельный охват (Бте) издания или временного интервала — это доля целевой аудитории, состоящая из людей, имевших хотя бы один контакт со СМИ при сколь угодно большом числе выходов издания или однотипных временных интервалов для электронных СМИ. ♦
Предельный охват является такой же фундаментальной характеристикой СМИ, как и рейтинг. Его значение должно быть определено в результате медиаисследований.
Таким образом, в излагаемой ниже теории имеются всего два измеряемых параметра (рейтинг и предельный охват), которым отводится роль первичных данных, необходимых и достаточных для построения точной теории медиапланирования, позволяющей вычислять все необходимые охватно-частотные характеристики медиа. Отметим, что число параметров теории может быть увеличено, если это практически необходимо.
2. ОХВАТ И ЕГО ЧАСТОТНОЕ РАСПРЕДЕЛЕНИЕ (СПЕКТР)
Сформулируем определения охвата и его частотного распределения по числу контактов, используя следующие обозначения: m — число выходов СМИ, число размещений рекламы в СМИ; G(m) — охват целевой аудитории за m выходов одного СМИ.
Вместо используемого в англоязычной литературе обозначения охвата (Reach, Cover) для упрощения записи формул введем обозначение G. Выходом СМИ будем называть выход издания или один и тот же временной интервал в сетке вещания электронных СМИ, подробнее см. работы [21—23].
Определение 3. Охват G(m) — это доля целевой аудитории, состоящая из людей, имевших хотя бы один контакт за m выходов одного СМИ. ♦
Условимся далее число контактов f считать синонимом частоты контакта. Представим полный охват G(m) в виде суммы охватов со всеми возможными числами (частотами) контактов:
m
G(m) = X gm(f). (1)
f = 1
Функция gm(f) представляет собой разложение полного охвата на отдельные охваты, соответствующие конкретным числам контактов. Эту функцию будем называть спектром охвата, наряду с
эквивалентными названиями — «частотное распределение» или «распределение охвата по числу контактов».
Определение 4. Частотным распределением (спектром) охвата будем называть функцию gm( /), с помощью которой полный охват С(т) представляется в виде суммы охватов с частотами контактов, изменяющимися в пределах 1 < / < т. ♦
Разложение охвата в спектр (1) позволяет разделять всех охваченных людей на группы, каждая из которых включает в себя людей, имевших какое-то конкретное число контактов (группы с одним, двумя, ..., т контактами).
Конкретная цель данной статьи состоит в изложении вывода формул для спектра охвата и зависимости полного охвата от числа выходов. Из методических соображений вывод целесообразно провести в два этапа. На первом этапе выводится
формула полного охвата для частного случая С°° = 1.
На втором — для всех возможных значений Сж.
Для вывода формул нужно переформулировать приведенные выше определения рейтинга и охвата на языке теории вероятностей. Для этого нужно перейти от усреднения по ансамблю к усреднению по времени, используя эргодическую гипотезу, согласно которой среднее по ансамблю равно среднему по времени (см., например, справочник [24, с. 592]).
Определение 5. Рейтинг К — это вероятность того, что случайно выбранный из целевой аудитории человек имел контакт с одним выходом СМИ. ♦
Определение 6. Полный охват С(т) — это вероятность того, что случайно выбранный из целевой аудитории человек имел хотя бы один контакт за т выходов СМИ. ♦
Определение 7. Спектр охвата, или охват с фиксированным числом контактов, gm(f) — это вероятность того, что случайно выбранный из целевой аудитории человек имел ровно f контактов со СМИ при условии, что имелось т выходов этого СМИ. ♦
2.1. Охват и его частотное распределение
его Л = 1
Для вывода формул вычисления охвата С(т) и его спектра gm(/) при С^ = 1 сформулируем следующую вероятностную схему, которая соответствует определению 7. Будем полагать, что выполняются следующие условия.
1) Производится т последовательных выходов СМИ (т испытаний), в каждом из которых вероятность наступления контакта с выходом СМИ
(событие A) одинакова и равна R : P(A) = R, где символ P(A) означает вероятность события A.
2) Испытания предполагаются независимыми. Независимость испытаний означает, что вероятность осуществления события A (вероятность контакта с выходом СМИ) в каждом из испытаний не зависит от того, осуществилось или не осуществилось это событие в других испытаниях.
3) В каждом испытании возможны только два исхода. Наступление события A (контакт с выходом СМИ) обычно называют успехом, а ненаступ-ление события A (отсутствие контакта с выходом СМИ) — неудачей. Вероятность неудачи в силу постулата о полной вероятности дается, очевидно, соотношением: q = 1 — P (A) = 1 — R.
Сформулированные выше условия представляют собой не что иное, как схему Бернулли для рассматриваемой последовательности испытаний — выходов СМИ. При этих условиях вероятность того, что в m независимых испытаниях успех (контакт с выходом СМИ) наступит ровно f раз, выражается формулой Бернулли (см., например, [25, с. 154; 26, 27]):
gm(f) = cm Rf(1 - R)m - f, (2)
где Cm = m!/f !/(m — f)! — биномиальные коэффициенты, R — рейтинг СМИ, вероятность того, что выбранный из целевой аудитории человек имел контакт со СМИ, f — число контактов.
Теперь найдем охват G(m), суммируя выражения (2) по f согласно формуле (1), используя при этом формулу бинома Ньютона:
m
G(m) = £ gm(f) = 1 — (1 — R)m. (3)
f = 1
Из формулы (3) следует, что при m ^ предельный охват G= lim G(m) = 1.
m
Таким образом, из условия независимости событий и формулы (3), полученной при этом условии, следует, что предельный охват Gж равен 100 %.
2.2. Охват и его частотное распределение
6оо л < 1
Прежде, чем приступить к обобщению формул для охвата СМИ, необходимо сделать следующее замечание. Поскольку разрабатываемая теория имеет практическую направленность, при выводе обобщенных формул будем рассматривать лишь один из возможных типов зависимости событий, которая предпочтительна с точки зрения ее использования на практике. Другие типы зависи-
мости целесообразно рассмотреть в отдельной публикации.
При выводе формулы для охвата при G" < 1 будем исходить из формулы (3) для случая G " = 1, которая получена на основе очевидных допущений в соответствии со схемой Бернулли. Соотношение (3) можно записать в виде следующей рекуррентной формулы, которая позволяет найти охват G(m) по охвату предыдущего выхода G(m — 1):
G(m) = R + (1 — R)G(m — 1). (4)
Для частного случая m = 2 формулу (3) можно представить в виде G(2) = R + R — R2, или
G(2) = R + (1 — R)G(1), (5)
где G(1) = R. Для независимых событий выполняется соотношение ([24, с. 541; 25, с. 131])
P(Ai n A2) = P(Ai)P(A2) = R2. (6)
Теперь откажемся от предположения о независимости событий Ak, В этом случае будем полагать, что вероятность пересечения зависимых событий дается уже не формулой (6), а следующим соотношением, которое и определяет конкретный тип зависимости событий:
P(Ai n A2) = yR2, (7)
где у — некоторый коэффициент, учитывающий зависимость событий Ak. Смысл этого коэффициента будет выяснен далее.
Отметим, что целесообразность выбора данного типа зависимости событий подтверждается соответствием полученных результатов данным медиаизмерений, а также практическим удобством полученного аналитического аппарата.
Теперь запишем охват двух выходов СМИ с учетом соотношения (7). Вместо формулы (5) будем иметь следующее соотношение
G(2) = R + R — yR2 = R + (1 — yR)G(1). (8)
Из сравнения формул (4) и (8) видно, что рекуррентная формула для случая зависимых событий будет выглядеть так:
G(m) = R + (1 — YR)G(m — 1). (9)
Нетрудно показать, что отсюда следует равенство
G(m) = [1 — (1 — YR)m]/Y. (10)
Теперь найдем константу y, рассматривая предел выражения (10) при m ^ ^:
G" = lim G(m) = 1/y,
m
т. е. константа у, учитывающая наличие зависимости между событиями А, равна величине, обратной предельному охвату Сж. Таким образом, формула для охвата аудитории в зависимости от числа выходов СМИ имеет следующий вид:
С(т) = С"[1 - (1 - К/С")т]. (11)
При выводе этой формулы вначале был выбран конкретный вид зависимости (из соображений согласия с данными измерений), а затем показано, что при данном виде зависимости событий выполняется соотношение Сж < 1.
Вернемся к выводу формулы для спектра охвата gm(Г) в случае Сж < 1. Сопоставляя формулы (2), (3) и (11), получим следующее выражение:
gm(f) = Сто С^ г/(1 - г)т - /, (12)
где г = К/ Сж. Действительно, суммируя, как и
раньше, спектр охвата gm(Г) по Г и учитывая фор-
мулу (1), вновь получим формулу (11):
m
С(т) = ^ gm(f) = С^[1 - (1 - К/От]. (13)
/ = 1
Таким образом, формулы (11) и (12) позволяют вычислять как спектр охвата gm(Г), так и полный охват С(т) любого СМИ при произвольном числе выходов т. Эти формулы содержат два параметра, в качестве которых выступают предельные значения охвата, а именно охваты при одном, а также очень большом числе выходов — К и Сж соответственно, которые находятся в результате медиаисследований.
Перейдем к рассмотрению следствий полученных соотношений. Формула (11) позволяет легко вычислять охват СМИ, если известны его рейтинг и предельный охват. Приведем конкретный пример вычисления охвата аудитории в зависимости от числа выходов СМИ.
Пример 1. Найти охват шести выходов СМИ с рейтингом Я = 14 % и предельным охватом С “ = 50 %.
Решение. Подставляя данные из условия задачи в формулу (11), получим
С(6) = <С”[1 -(1 - Я/От] =
= 0,5-[1 - (1 - 0,14/0,5)6] = 43,0 %,
т. е. охват аудитории за шесть выходов СМИ составил 43 %. ♦
Полученные соотношения позволяют вычислять такие важные медиапараметры, используемые на практике для оптимизации размещения рекламы и управления рекламным бюджетом, как
эффективный охват и число контактов. Рассмотрим методы вычисления данных медиапараметров более детально.
3. ЭФФЕКТИВНЫМ ОХВАТ
С помощью формулы (12) можно вычислять эффективный охват, который соответствует заданному уровню эффективной частотыСуществу-ет несколько способов нахождения эффективной частоты в зависимости от различных факторов. Наиболее известные из них — методы Остроу и Росситера—Перси [1, 2].
Эффективный охват Сэф, или охват с числом контактов ГЭф и более, является весьма важной величиной в медиапланировании, поскольку необходим для оптимизации медиаплана по заданному уровню эффективной частоты. Практическая значимость формулы эффективного охвата обусловлена тем, что она позволяет исключать из рассмотрения тех людей, число контактов которых со СМИ меньше эффективного. Например, если известно, что эффективная частота контактов равна 3, то эффективный охват дает процент людей целевой аудитории, имевших не менее трех контактов за т выходов СМИ.
В соответствии с соотношениями (1) и (12) мы имеем точное разложение полного охвата СМИ на сумму охватов со всеми возможными числами контактов. Поэтому охват с числом контактовГф и более запишется, очевидно, следующим образом:
4. ЧИСЛО КОНТАКТОВ
(14)
где к — текущее число контактов (Гф < к < т). Обобщение формулы эффективного охвата дано в работах [21—23].
Пример 2. Найти охват с числом контактов 3 и более в условиях примера 1.
Решение. Учитывая формулы (12) и (14) при Я =14 % и СГ = 50 %, находим:
Сэф= £б(3) + £б(4) + £б(5) + £б(6) =
= 0,5^6!/(3!-3!)(0,14/0,5)3(1 - 0,14/0,5)3 +
+ 0,5^6!/(4!-2!)(0,14/0,5)4(1 - 0,14/0,5)2 +
+ 0,5-6!/5!(0,14/0,5)5(1 - 0,14/0,5) +
+ 0,5-6!/6!(0,14/0,5)6 = 8,194 % + 2,39 % +
+ 0,372 % + 0,024 % = 10,98 % * 11 %.
Таким образом, эффективный охват составил всего 11 %, почти в 4 раза меньше, чем полный охват (43 %, см. пример 1). ♦
Зная спектр охвата (12), можно найти полное число контактов (в процентах от целевой аудитории) за т выходов СМИ. Как нетрудно убедиться,
т
оно дается суммой ^^т(/). Действительно, сум/ = і
ма произведений числа контактов на соответствующий процент охваченных людей из целевой аудитории (по определению спектра gm) даст полное число контактов в процентах от численности целевой аудитории.
Вычислим эту сумму. Используя определение спектра охвата (12) и формулу бинома Ньютона, получим
X fgm(f) = mR / = 1
(15)
Таким образом, полное число контактов равно суммарному рейтингу GRP = mR, накопленному за m выходов. Тот факт, что суммарный рейтинг (TRP или GRP) равен полному числу контактов (в процентах от численности целевой группы), также очевиден, поскольку рейтинг — это число контактов за один выход (в процентах).
Пример 3. Покажем справедливость формул (14) и (15) в условиях примеров 1 и 2, т. е. при m = 6, R = 14 % и G “ = 50 %.
Решение. В предыдущем примере мы нашли, что
g6(3) = 8,194 %; g6(4) = 2,39 %; g6(5) = 0,37 %;
g6(6) = 0,024 %; G(3+) = 10,978 %.
Аналогично находим: g6(1) = 0,5^6!/(1!-5!)(0,14/0,5)1 (1 - 0,14/0,5)5 = 16,25 %; g6(2) = 0,5-6!/(2!-4!)(0,14/0,5)2(1 - 0,14/0,5)4 = 15,8 %;
G(1+) = 16,253 % + 15,802 % + 10,98 % = 43,03 %;
G(2+) = 15,802 % + 10,98 % = 26,78 %;
G(4+) = 2,39 % + 0,372 % + 0,024 % = 2,8 %;
G(5+) = 0,372 % + 0,024 % = 0,4 %;
G(6+) = g6(6) = 0,024 %.
Теперь вычислим суммарный рейтинг GRP по формуле (16). С одной стороны,
6
GRP = ^ fg6(f) = 16,25 % + 2-15,8 % + 3-8,19 % +
f = і
+ 4-2,39 % + 5-0,37 % + 6-0,024 % = 84 %.
С другой стороны, находим GRP = mR = 6-14 % = = 84 %.
m
m
ЗАКЛЮЧЕНИЕ
Сформулирован ряд понятий медиапланирования и выведены формулы для вычисления охвата СМИ и распределения охвата по числу контактов. Эти медиапараметры используются для оптимизации размещения рекламы и управления рекламным бюджетом. Дальнейшее развитие теории состоит в обобщении полученных формул, а также в выводе формул вычисления других медиапараметров, в частности, охвата нескольких СМИ, доли голоса, планируемой от рекламы прибыли.
ЛИТЕРАТУРА
1. Сиссорс Дж.З., Бэрон Р.Е. Рекламное медиапланирование. — СПб.: Питер, 2004. — С. 34.
2. Хопкинс К. Реклама: Научный подход. — М.: Альфа-Пресс, 2000. — С. 78.
3. Сэндидж Ч., Фрайбургер В, Ротцолл К. Реклама: теория и практика. — М.: Сирин, 2001.
4. Росситер Дж. Р., Перси Л. Реклама и продвижение товаров. — СПб.: Питер, 2000.
5. Батра Р., Майерс Дж., Аакер Д. Рекламный менеджмент. — СПб.: Вильямс, 1999. — С. 623—624.
6. Эрик дю Плесси. Психология рекламного влияния. — СПб.: Питер, 2007.
7. Рекламный бизнес / Под ред. Дж.Ф. Джоунса. — М.: Вильямс, 2005.
8. Rust R. Advertising Media Models: A Practical Guide. Lexington, MA: Lexington Books, 1986.
9. Dayer R.F., Forman E.H., Musstafa M.A. Decision Support for Media Selection Using the Analytic Hierarchy Process // J. of Advertising. — 1992. — Vol. 21, N 1. — P. 59—72.
10. Балабанов А.В. Занимательное медиапланирование. — М.: РИП-холдинг, 2001.
11. Назайкин А.Н. Медиапланирование на 100 %. — М.: Альпина Бизнес Букс, 2007.
12. Бузин В.Н., Бузина Т. С. Медиапланирование для практиков. — М.: Вершина, 2006.
13. Кочеткова А.В. Медиапланирование: социологические и экономические аспекты. — М.: РИП-холдинг, 2005.
14. Кокрен У. Методы выборочного исследования. — М.: Статистика, 1976.
15. Математические методы анализа и интерпретации социологических данных. — М.: Наука, 1989.
16. Паниотто В.И., Максименко В.С. Количественные методы в социологических исследованиях. — Киев: Наукова думка, 1982.
17. Количественные методы анализа в маркетинге / Данько Т.П. и др. — СПб.: Питер, 2005.
18. Мищенко А.В., Джамай Е.В. Динамическая задача определения оптимальной производственной программы // Менеджмент в России и за рубежом. — 2005. — № 3.
19. Котляров И.Д. Математическая модель принятия решения о приобретении франшизы. // Проблемы управления. — 2007. — № 5.
20. Попов Е.В., Коновалов A.A. Модель оптимизации издержек поиска информации // Проблемы управления — 2008. — № 3.
21. Шматов Г.А. Математические основы медиапланирования // ВИНИТИ 04.06.03, № 1090—В2003. — 108 с.
22. Шматов Г.А. Основы медиапланирования: эвристический подход. — Екатеринбург: УрГУ. — 2007. — 376 с.
23. Шматов Г.А. Медиапланирование: новый подход // Реклама. Теория и практика. — 2006. — № 1.— С. 10—23.
24. Корн Г., Корн Т. Справочник по математике. — М.: Наука, 1984.
25. Феллер В. Введение в теорию вероятностей и ее приложения. — М.: Мир, 1967. — Т. 1.
26. Анго А. Математика для электро- и радиоинженеров. — М.: Наука, 1964. — 596 с.
27. Справочник по вероятностным расчетам // Г.Г. Абенгауз и др. — М.: Воениздат, 1970. — 536 с.
Статья представлена к публикации членом редколлегии В.В. Кульбой.
Попов Евгений Васильевич — д-р экон. наук, д-р физ.-мат. наук, зам. директора, Институт экономики УрО РАН, г. Екатеринбург, ®(343) 371-18-51, И epopov@mail.ru,
Шматов Георгий Артемович — канд. физ.-мат. наук, ст. науч. сотрудник, Уральский госуниверситет им. А.М. Горького, г. Екатеринбург, И sga36@mail.ru.
книги
Алексеев А.А. Идентификация и диагностика систем: учебник. —
М.: Академия, 2009. — 351 с.
Беспилотные летательные аппараты. — М.: МАИ, 2008. — 654 с.
Боровков А.А. Асимптотический анализ случайных блужданий. — М.: Физматлит, 2008. — Т.1. — 650 с.
Булинский А.В. Предельные теоремы для ассоциированных случайных полей и родственных систем. — М.: Физматлит, 2008. — 477 с.
Бурков В.Н. Механизмы управления эколого-экономическими системами. — М.: Физматлит, 2008. — 244 с.
Воройский Ф.С. Основы проектирования автоматизированных библиотечно-информационных систем. — М.: Физматлит,
2008. — 453 с.
Гусев М.Н. Расчет и измерение качества речевых сигналов. — СПб., 2008. — 275 с.
Даниленко Л.В. Начала теории энергетических аналогий. — Братск: БГУ, 2008. — 226 с.
ДартауЛ.А. Здоровье человека и качество жизни: проблемы и особенности управления. — М.: СИНТЕГ, 2009. — 400 с. Дозорцев В.М. Компьютерные тренажеры для обучения операторов технологических процессов. — М.: СИНТЕГ,
2009. — 372 с.
Задачи линейной оптимизации с неточными данными. — М.; Ижевск: ИКИ, 2008. — 286 с.
