CC BY
54
5 декабря 2011 r. 1:19
ТЕХНОЛОГИИ
Анализ эффективности предлагаемых методов повышения точности оценки кардинальности запросов с подзапросами поиска данных, удовлетворяющих шаблону
Базы данных, оптимизация запросов, кардинальность, оптимизатор, сравнение методов оценки кар£цнап»ости, СУБД
Авторами предлагается разработанный и экспериментально проверенный способ оптимизации запросов, выполняемых в базе данных на основе анализа значений условий предикатов в ранее выполненных запросах.
Либман М.С.,
оссистент кафедры "Компьютерные системы и сети" Калужского филиала МГТУ им. Н.Э.Баумана [email protected]
Мазин А.В.,
к.т.н., доцент кафедры "Компьютерные системы и сети" Калужского филиала МПУ им. НЭ. Баумана
Введение
С целью умеи>шения времени вьголнения запросов в состав СУБД вкпочен оптимизатор [1, 21 задача которого — анализ множества альтернативных планов вьлалнения запроса и выбор плана с наименьшей стоимостью. Основная проблема состоит в том, что формулы оц енки стоимости зависят от размера отноше-н^. Поскольку все эслросы, за исключением самых простых, требуют создания некоторых промежуточное результатов (по меньшей мере, концептуально), оптимизатор должен быть способен оценить их размер (кардоналыюсть) и использовать полученные значения при вы-‘вклении стоимости. Кардинальность — прогнозируемое количество записей генерируемых операцией (3J, зависит от значений хранимых данных, поэтому то*«юя оценка стоимости является достаточно сложной задачей (4).
Одним из способов повышения точности определения кардинальности является использование вейвлетов или сэмплинга [5, 6). Но такие метода не эффективны в таком классе запросов, ксж запросы с подзапросами поиска демньк, удовлетворяющих шаблону. Если для выполнения запросов пользователя в качестве язька манипулирования денными применяется язь* запросов SQI, то подзапрос реализуются при помоии оператора like. Например: SELECT • FROM tl WHERE tl id IN (SELECT »2idj1
FROM Q WHERE a UKE % 111 %’). Анализ литературы позволяет сказать, что в этом случае кардинальность определяется как строго заданный процент от размера отношения, на котором оператор был вьпалнен. Например, в СУВД Oade версий 9, 10 и 11 это 5% [3]. Проведенные исследования показали, что ошибка оценки кар»иаткности запросов с подзапросами с оператором like снижает производительность БД и количество подобных запросов может достигать 15% от всех в ней выполненных запросов [7]. Эго позволяет говорить об актуальности и необходимости реше-задачи повьаиения точности оцемси кардинальности в запросах поиска данных, удовлетворяющих шаблону, с цел но повыиения скорости выполнения запросов с подзапросами поиска данных, удовлетворяющих шаблону Предлагаются следующие методы оценки кардинальности в исследуемом классе запросов На основании значений условий поиска из ранее выполненных запросов с оператором Uke определяются классы условий поиска (переменных), введенных пользователем. По ним выполняется прогнозирование значений, которые пользователь может указать, и еьнисляется их кардинальность. В дальнейшем, при выполнении запросов исследуемого класса для ука-зсииых в запросе значений условий ищется удовлетворяющий им класс. В ассоциированном с донным классом множестве прогнозируемых переменных осуществляется поиск значе-»мй, введенных пользователем, и определяется их пролюзируемая кардкиальность. Полученная вели^на передается в СУБД ксж подсказка для выбора лучшего плана выполнения [8].
Данный метод может быть модифиц ирован. В качестве подсказки о мощности возвращаемого результата будет использована средняя кардинальность класса, которому удовлетворяет условие поиска, указанное в запросе. При этом уменьшается количество избыточной информации — прогнозируемые значения и их кард инальность, но падает точность оценки.
Необходимо провести эксперимент, в результате которого будет получено подтверждение достоверности или опровержение возможности использования предложенных методов Ниже представлено описание эксперимента и его результаты
Описание эксперимента
Эксперимент включает два этапа: оценка точности определения кард инальности; сравнение скорости выполнения запросов и оценка загрузки ЦП в зависимости от метода определения кардинальности. Сравнивать, результаты будем с идеальным случаем, при котором кардинальность подзапроса определяется с точностью до единиц и применяемьши в настоящее время методам. Оценку будем проводить на основании ранее вьлопненных в ЕД запросов исследуемого класса При этом часть запросов будет использована для прогнозирования условий поиска в соответствии с предложенными методами, а часть для сравнения производительности. Эксперимент проводится на примере производственных БД
Выбрав требуемые запросы в соответствии с методологией, предложенной в (81 извлекаем из них указанные пользователем условия поиска По первым 10% выполним классификацию и по полученным классам осуществим прогнозировсиие возможных условий поиска, определим их кардинальность и среднюю карде нальностъ классов. Для оставшихся 90% строк выпогним оценку их действительной кар-денальности, а также вычислим их кардинальность в соответствии с предложенными методами, сравним получение значения.
Для каждого исходного запроса получим 3 модифицированных
1. С указанием подсказки оптимизатору о действительной кардинальности подзапроса.
2. С указанием подсказки оптимизатору о кардинальности, вычисленной первым методом. Если сред и прогнозируемых не найдено
20
T-Comm #5-2010
ТЕХНОЛОГИИ
условие поиска из исходного запроса, то используем запрос из следующего набора (см. пункт 3);
3. С указанием подсказки оптимизатору кардинальности вычисленной предложенным модифиц ированным методом. Если для строки нет удовлетворяющего ей класса, то будем использовал» исходный запрос.
Подсказка дается при помощи ключевого слова САЮЫАШУ, передаваемого в теле запроса.
Получив 4 набора тестовых запросов (исходный; с указанием истиной кардинальности; два с кардинальностью, олределеиеюй предложенными методами), выполним их в Щ В процессе выюлнения каждого из наборов получим статистические донные о работе БД Выполним эксперимент двадцать раз на од инаковом наборе запросов
Анализ предложенного метода
классификации условий поиска
Таблица 1
Статистика работы ГА
Номер эксп. 1 2 3 4 5 6 7 8 9 10
% 13,15 11.4 11.4 11.4 11.4 11.4 10.52 11.4 10.52 11.4
Номер жсп. 11 12 13 14 15 16 17 18 19 20
% 10,52 11.4 11.4 11.4 11.4 10.52 11.4 12.28 11.4 12,28
9 10 11 12 13 14 15 16 1" 18 19 20 Номер »ксперпмгнтл
Рис. 1. Анализ итераций, затрачиваемых для получения особей ГА
Выполним первую часть эксперимента На основана вьщеленных условий поиска из первых 10% полученных запросов получим регулярные выражения, описывающие классы условий поиска Клоссификадо выполняется при помоаи генетического алгоритма (ГА) (9). В таблице 1 приведено процентное отношение количества полученных классов к количеству обработанных условий поиска после работы ГА из 20 проведенных экспериментов:
Видно, что количество классов, полученных по анализируемым условиям поиска, составляет 11 % от количества обработанных строк. В [10] был огределен критерий эффективности использования предложенного метода, по которому разработанный способ оптимально использовать, если количество строк, хранимых в отношении, по которому выполняется поиск с использованием оператора like больше, чем котичество регулярных выражений, полученных после анализа ранее искомых подстрок поиска. Д анное требование удовлетворено.
На следующем графике показано отношение номера итерац ии, на котором была получена особь, по которой будет осуществляется классификация, к количеству итераций ГА По графику видно, что в наихудшем случое для этого потребовалось 25% итераций ГА, в наилучшем порядка 9%.
На рисунке 2 показано отношение номера особи, выбранной для клоссификсиии, к количеству полученных особей, которые удовлетворяют исходному условию поиска. Как вионо, в наихудшем случае в первом эксперименте особь, выбратиая для классификации, была
получена после 1/3 итераций ГА (приблизительно 33%).
Анализ графиков 1 и 2 позволяет скаэсль, что развитием предлагаемого метода является уменьшение количество итераций ГА Этим можно добиться сокращения времени получения классов условий поиска Также видно постоянство обработанных результатов: для получения классифицирующей особи требуется 1520% итераций ГА от всего их количества или обработки 20-25% первых классов, удовлетворяющих анализируемым строкам
На рисунке 3 приведеию отношение разни цы размера прогнозируемого пространства поиска и размера пространства поиска, полученного в результате работы ГА, к размеру про-гнознфуемого пространства поиска. Дрнньй график позволяет оценить предложенные критерии выбора количества особей, удовлетворяющих входаому условию поиска (9). Как видно, величниа ошибки составляет 0,5%, с ледова
40
35
30
тельно, предлагаемый метод верен.
На рисунке 4 приведен график, отображающий наибольшее количество последователь ных итераций ГА, в результате которых не было получено не одной особи удовлетворяющей входному условию поиска. Предложенный ГА прекращает совою работу, когда популяция достигает прогнозн^эуемого размера или, когда в течение заданного количества итераций не было получено не одной особи удовлетворяющей входной строке. В рамках провидимых экспериментов число итераций было равно 10000, это увеличит продолжительность работы ГА но позволит при этом не пропустить искомую особь. Грофик показывает, что донное число было выбрано верно. Для сокращения времени работы анализируемого этапа ГА, можно уменьшить значение донного параметра. В среднем потребовалось 3941 операций.
20
10
f
1 2 3 4 5 6
8 9 10 И 12 13 14 15 16 1“ 18 19 20 Номер эксперимента
FW. 2. Анагиз итераций, затрачиваемых для получения особей ГА удовлетворяющих условию поиска
T-Comm #5-2010
21
процент запросов, для которых кардинальность была определена точно, и составил 20.3% против 9,17% полученных при первом анализе. Тсжже необходимо отметить, что только в 11.6% запросов не был найден класс, удовлетворяющий входному условию поиска, т.е. донный метод был эффективен для 88,4% запросов.
Можно сказать, что оба метода эффективны и могут обработать до 88,4% запросов. В донном случае берется показатель второго метода, тк. в случае неудачи первого, используется второй способ оценки кар»напности При использовании первого метода {с передачей управлении второму, если первьй не дол результата) карднальность определяется верно в 90% запросов, при использована только второго метода окало 20%. Г^эи этом средеее значение кар-днагыюсти близко к действительной
Сравним время вьпалнения запросов в зависимости от метода вычисления кард инальности, а тсжже эсжрузку серверного оборудования, на котором развернута тестируемая БД
Оценка уменьшении времени выполнения запросов и снижения загрузки БД
Для каждого из двадцати экспериментов были получены 4 набора эаг^ххов, каждый выполнялся в БД по 5 раз с включенной трассировкой сессии, в рамках которой выполнялся эксперимент: В резутыате вьгюлнения были получены 400 трассировочных файлов по 5 на каждей из наборов каждого из 20 экспериментов.
При проведении опытов необхсдомо быть уверенным в воспроизводимости эксперимента, т.е в том, что все полученные в опытах значения являются резутыатом случайного рассеянья, а не результатом доминирующего действия какого-либо неконтролц>уемого и неуправляемого воздействия, которое может возникнуть при проведении опыта Если при проведении эксперимента отсутствует такое дампирующее воздействие, то на основании центральной предельной теоремы при возрастании числа огытов, распределение, эксперимен-талжых значений будет подчиняться зсжоиу Га-
уссп[1 II
Д ля исключения грубых погрешностей применяют аппарат проверки статистических гипотез. Необход имо провести обработку результатов экспериментов, в рамках которых отбросить часть измерений с высоким уровнем по-греилости.
При обработке уже имеющихся результатов набподений произвольно отбрасывать отдельные результаты не следует, так как это мо-
Таблица 3
Время выполнения запросов
1 2 [ 3 4 1 5 6 1 7 8 9 10
1 18,05 17.07 12.03 0.559 1.248 | 0,375 5 4 5
2 17,57 17,79 11.99 1.221 0,97 0.523 5 4 5
3 18.41 17.87 12,92 0.562 0.797 0,984 5 4 5
4 18.05 17,57 12.37 1.054 1.317 0,366 5 5 5
5 17.98 17.45 12.17 0.662 0,172 0,778 5 4 3
6 18.38 18.14 13,33 0.804 1.483 0,631 5 4 5
7 18.41 17.87 12,11 1.42 0.806 0,782 4 5 4
8 18.68 18,59 12,8 0.436 0.249 0.949 4 5 4
9 17,84 17,26 12.18 0,979 0,312 0,425 4 5 4
10 17.99 17.01 12.39 0.405 1.338 1.279 5 4 5
II 18.51 17,82 11,82 0.471 0,569 0.041 5 5 5
12 17.37 17,16 12,33 0.969 0.687 0.438 4 5 4
13 18.38 16.86 12,16 0.469 1.006 0.217 4 5 5
14 17,63 16.84 12,33 0.142 1,657 1,302 4 4 5
15 17,88 17.46 12,41 1.235 0.668 0,85 5 5 5
16 17.37 17.54 12,77 1.148 0.133 0.293 5 5 3
17 18.44 17.43 12.16 1.101 0.633 0,832 4 5 4
18 17.84 17,31 12,04 0,828 1,03 0.85 4 5 5
19 18,38 17.36 12.9 0,689 1,148 0.362 5 5 5
20 18,02 17,49 12.47 0.445 0,703 0,756 4 5 4
Среднее 18.064 17.500 12.389
жет гривести к фиктивному повышению точности результата измерений 112). Группа измерений (выборка) может содержать несколько грубых погрешностей и их исключение производят последовательно, по одному Воспользуемся критерием Романовского для фильтрации ошибочных результатов [ 13].
В качестве результатов наблкадений будем использовать время, затрачиваемое на выюл-нение наборов запросов, и время, затрачиваемое на ЦП при выполнении запросов. Значение второго параметра позволит оценить влияние точности оценки кардинальности и, следовательно, предложенного метода на загрузку серверного оборудования. Результаты экспериментов после удаления данных с большой пофвиностью представлены в следующей таблице:
Столбцы табл. 3 содержат следующую информацию: 1 — номер эксперимента; 2 — вьигрыш (%) во времени вьлолнения запросов с точю определенной карданальнос-тъю по сравнению с классическим методам определения кардинальности; 3,4 — выигрыш (%) во времени выполнения эспросов с кард инальностью, определенной при помощи первого и второго метода соответственно по сравнению с классическим методом определения карди-
нальности; 5, 6,7 — значение среднеквадро-тичюго отклонения результатов эксперимента для набора запросов с точю определенной кардинальностью для набора запросов с кардинальностью, вычисленной первым и вторым методом соответственно; 8, 9, 10 — количество результатов опытов, которые остались после фильтраци, для классического, первого и второго метода. Всего для каждого набора д ля каждого эксперимента грнеодллось по 5 опытов
Аналогично проведенной оценки времени выполнена запросов сравним загрузку серверного оборудования. Результаты экспериментов после удаления данных с большой погрешностью представлены в табл. 4.
Столбцы табл. 4 содержат следующую информацию: 1 — номер эксперимента; 2 — уменьшение (%) загрузки ЦП при выполнении запросов с точно определенной кардинальностью по сравнению с классическим методом определения кардинальности; 3,4 — уменьшение (%) загрузки ЦП гри выполнении запросов с кардинальностью, определенной при помощи первого и второго метсда соответственно, по сравнению с классическим методом определения кардинальности; 5,6, 7,8,9, 10— аналогично табл. 3.
По полученным донным можно сказать, что
Т-Сотт #5-2010
23
Таблица 4
Загрузка ЦП при выполнении запросов
1 2 3 4 5 6 7 8 9 10
1 21.27 20.73 17.28 0.396 0.172 0.172 5 5 5
2 21.11 20.82 17,63 0,307 0.196 0,335 4 5 4
3 21.9 21.04 17.92 0.249 0.637 0.389 3 4 5
4 21.37 21 18 0,313 0,36 0,69 5 5 4
5 21.77 20.93 17.88 0.499 0.693 0.28 5 5 5
6 21.67 20.94 17.78 0.128 0.19 0.336 4 4 4
7 21.71 21.41 17.68 0.288 0.512 0,133 5 4 5
8 21.57 21,27 17.8 0,182 0.242 0.525 5 4 4
9 21.80 21.04 17.73 0.44 0.279 0.409 5 5 4
10 21.56 21.05 17.78 0.325 0.238 0.393 5 5 4
II 21.49 20,81 17,47 0.334 0.43 0.294 5 5 5
12 21,58 21.1 17.71 0.298 0.029 0.235 5 5 3
13 21,9 20,98 17.87 0.386 0.342 0.661 5 5 4
14 21.45 20.8 17.39 0.354 1.072 0,032 4 5 5
15 21.14 20.45 17.18 0.318 0.732 0.392 4 5 5
16 21.33 20.7 17.46 0.298 0.494 0.523 4 5 5
17 21.71 20.93 17,73 0.662 0.249 0.327 5 5 4
18 21,54 20.96 17,67 0.459 0.124 0.124 4 5 4
19 21,67 21.33 17,87 0.767 0.715 0,805 5 5 5
20 20.96 20.53 17.66 0.79 1.198 0,911 4 5 5
Среднее 21,528 20.945 17.679
Рис 5. выйгрыш от использования первого метода
20
18
16
14
12
10
8
6
4
■ ЦП врем*
использование первого метода оценки кардинальности позволяет уменьшить время выполнения запросов на 17% по сравнению с классическим (в идеальном случае достигается 18% вьмрыи), также смижоется загрузка ЦП на 20% (в идеальном случае достигается 21,5%). В случае использования второго метода время вьполнения запросов уменьшается на 12%, загрузка ЦП на 17%. Необходимо отметить малое ‘♦•ело опытов, результаты которых пришлось отбросить из-за высокой псгреиности.
На следующих графиках приведено уменьшение времени выполнения и загрузки ЦП для каждого из методов. По оси абрис показан номер эксперимента, по оси ординат % уменьшение времени выполнения запроса или загрузки ЦП.
1234*6-89 10 11 12 13 14 15 16 Г 18 19 20 Рис 6. выйгрыш от испальэовсмия второго метода
Результаты экспериментальных исследований успешно подтвердили выдвинутые ранее теореттеские положения. На примере тестовых наборов данных было показано, что первьй предлагаемый метод оценки кардинальности может обработал, до 88,4% запросов, поданных на вход из них в 90%, вьмисленная к ординал жость была определена без ошибок. Второй метод может обработать аналогичное количество запросов и верно определил» кардинальностью в 20% Невысокая точность ком-пено^эуется меньимм временем, требуемым для предварительной обработки данных и отсутствием необходимости в хранении всех прогнозируемых условий поиска. Оценка первого этапа эксперимента показала возможности модификации алгоритма с цегъю уменьшения времени необходимого для классификации условий поиска.
Второй этап эксперимента показал, что использование первого метода оценки кардинальности позволяет уменьшить время выполнения запросов на 17% по сравнению с классическим (в идеальном случае достигается 18% вьигрыш) также снижается загрузка ЦП на 20% (в идеальном случае достигается 21,5%). В случае использования второго метода время вьполнения запросов уменьшается на 12%, загрузка ЦП на 17%
Вместе с тем, стоит отметить сложность оценки полученных результатов и значительное влияние субъективной составляющей, присутствующей при оценке. Отчасти это вызвано характером и особенностью решаемых в данной работе эодач, отчасти отсутствием формализованных методик оценки подобных исследований. Разработка таких методе может значительно упростить анализ результатов и одно-
24
Т-Сотт #5-2010
эночно определить их корректность и точность.
Отмеченные недостатки не доот возможности усомниться в эффективности предложенных методов, что позволяет говорить о возможности их использоесвия для повышения скорости выполнения запросов, с подзапросами поиска данных, удовлетворяющих шаблону.
Литератора
1 Дейт К. Дж. Введение в системы баз данных М Иэдрте^ский дом Випы»мс, 2005. — 1382 с
2 Григорьев ЮЛ, Острисс* СП. Выбор оптимального плана выпсутнения запроса с вложенными коррелированными подзапросами // ^форматива и системы управления, 2006. — №1. — С.3-14
3. Льюис Д* Oode Основы стоимостной сгтги-^изацн. - СПб.: Питер, 2007 - 528 с
^ Jarlce Koch J. Query Opfinnzofion in
Database Systems // ACM Comp. Sury, 1984. — 116.- №2— С 111-152.
5 Mdta Yv Vtor j, Wang M. Wavelet-Based
Histograms for 5eJeOrv*y ESimcrton // StGMOD Conf., I998.-C.448^59,
6 GioucKjri S, Matwani R., Narasayya V.
Random Sanipling for Hologram ConSroction: How Much is Enough? // SIGMOD Соті, 1998 -C436-447.
7 JV6moh M.C, Маян АЛ. Вгияние оиибки оиэнки корд>**ал*ости оптимизатором на производительность баз данных // Интелпектуагнзаиия ин-формаі*к»*ого поиоса, скантехнологии и апектронные библиотеки Тез. докл. всероссийской наукой школы-семинара молодых ученых, студентов и аспирантов. Таганрог, 2010. —С138-140
8 JWjmoh М.С Маэи А.В. Повькиение точности оцежи кардинальности SQL запросов с оператором lie // Вопросы радиоэлектроники, 2010. — Вып. 4. — С.155-167.
9 JV6mch М.С Ма»и А.В. Ислогъэоеамие генетического алгоритма для peuiet*« зодрчи поиска оптимального рвгулярнсго выражения // Молодежь и современные информационные технологии: Сборнк* трупов VIII Всероссийской научно практической конференции студентов, аспирантов и молодо ученых. Томск, 2010.—Часть 1 — С.111-112.
10 Либмзн М.С, Маан AIL Расчет стоимости вьлогнения SQL запросов с операцией Ike // Наукоемкие тедаалогии в приберо- и маи*1ностроенин и развитие инноеацюиной девте/ъности в вузе: Тез. докл. научно-техничесхой конференции. Калуга,
2010. —Т. 2.—С.109-111
1 I Фадеев МА Элементарная обработка результатов эксперимента — Нижний Новгород: Изд-во Нижегородского госуниеерситета, 2002. — 108 с
12 Бранд 3. Статичесхие методы анализа иа-бгкдений — М : М^э, 1975 — 312 с
13 ТретывсЯН Обработка результатов нобгео-дений — Оренбург ГОУ ОГУ 2004 - 171 с
Analysis efficiency of proposed method of the increase of accuracy of estimate of cardinality the queries with a subquery of search of the data, satisfying to a template
M.S. Libman, A.V.Mazin
Keywords: Data bases, query opfmizafon, cardinality, optimizer, intercomparison of methods the estimate of cardinatty, DBMS.
Authors the developed and experimental revised the way of optimization of the queries which are carried out in a database, on the basis of the analysis of values of conditions of predicates in earlier executed queries is offered.
References
1. Dye it K. Dzh. Vvedenie v sistemy baz dcmnyh, M:. Izdatelskii dom Vilyams, 2005. — 1382 p.
2. Grigorev YU. A., Osirikov S. R Vybor optima Irvogo plana vypolneniya zaprosa s vfozhennymi korrelirovannymi podzaprosami / / Infcwmatika i upravteniya sistemy, 2006. №1.-R 3-14.
3. lyuis Dzh. Oracle. Osnovy sternostnoi optimizatsil SPb:. Pier, 2007. — 528 p.
4.JarkeM., Koch J. Query Oplinization in Database Systems// ACM Comp. Surv, 1984. — T.16, №2. — R 111-152.
5. Mafcas Y, Viter J., Wang M Wivelet-Based Histograms for Selecfiviy Estimation // SIGMOD Conf., 1998. — R448-459.
6. Choudhuri S, Motwani R, Narasayya V. Random Sampling for Histogram Construction How Much is Enough? // SIGMOD Conf., 1998. — R 436-447.
7. Libman M.S., Mazin A.V VSyanie oshibki otsenki kardinolnosti optimizatorom na proizvoditekiost baz dannyh // Inteflektualizatsiya informatsionnogo poiska, skantehnologii i eleklromye biblioteki: lez. dokl. vserossiskoi nauchnoi shkofy-seminara molodyh uchenyh, studentov i aspirontov, Taganrog 2010. -R 138-140.
8. Libman M.S. Mazin A.V Povyshenie tochnosti otsenki kardinalnosti SQL zaprosov s operatorom Spa / / radioelektroniki Voprosy, 2010. — Vypusk 4. — R 155-167.
9. Libman M.S. Mazin A.V. Ispolzovanie geneticheskogo algoritma dlya resheniya zadachi poiska optimalnogo regulyamogo vyrazhenrya / / Molodezh i sovremennye rformatsonnye tehnologi: Sbomik tudov VIII Vserossiiskoi nauchno prakScheskoi konferentsn studentov, aspirantav i molodyh uchenyh, Tomsk 2010.-Chastl.-R 111-112.
10. Ubman MS, Mazin A.V Raschet stoimosi vypolneniya SQL zaprosov s operatsiyei Kak / / Naukoemkie tehnologii v priboro-i mashinostroeni i razvi-tie innovalsionnoi dyeyatelnosti v vuze: lez. dokl. nauchno-tehnicheskoi konferentsii, Kaluga 2010. — T.2. — R 109-111.
11. Fadyeev MA Elementamaya obrabotka rezultatov eksperimenta. Nizhni Novgorod: Izd-vo Nizhegorodskogo gosuniversiteta, 2002. — 108 p.
12. Brand. Z. Staticheskie metody anaSza nabfyudeni — M: Mir. 1975. — 312 p.
13. Tretyak L N. Obrabotka rezultatov nablyudenil — Orenburg: OGU GOU, 2004, — 171 p.
T-Comm #5-2010
25
