CC BY
24
УДК 004
A.A. Аверина, H.A. Антонов, И.Л. Иткин
ОСОБЕННОСТИ ИНСТРУМЕНТОВ ДЛЯ ТЕСТИРОВАНИЯ, ПРИМЕНИМЫХ ПРИ ПРОМЫШЛЕННОЙ ЭКСПЛУАТАЦИИ ТРЕЙДИНГОВЫХ СИСТЕМ
A.A. Averina, N.A. Antonov, I.L. Itkin
PARTICULAR QUALITIES OF TESTING TOOLS USED IN INDUSTRIAL OPERATION OF TRADING SYSTEMS
Рассмотрены основные требования к инструментам, разработанным для верификации корректной работы электронных трейдинговых систем с использованием методов большого объема автоматизированного тестирования (ffiVAT); проанализирована применимость подобных инструментов при промышленной эксплуатации трейдинговых систем.
АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ; ТРЕЙДИНГОВЫЕ СИСТЕМЫ; HIVAT.
This article discusses the basic requirements for tools developed to verify the correct operation of electronic trading systems using a large amount of automated testing (NiVAT); analyzes the applicability of such tools for industrial operation trading systems.
TEST AUTOMATION; TRADING SYSTEMS; Н^^
Ускоренное развитие технологий, используемых в электронных трейдинговых системах, признается одним из наиболее существенных факторов, влияющих на изменения в структуре и стабильности функционирования международных финансовых рынков [1]. Решения, обеспечивающие качество программных и архитектурных компонентов, становятся все более востребованными участниками рынка и организациями, регулирующими финансовый сектор [2, 3].
С технологической точки зрения трей-динговые системы в большинстве случаев являются сложными адаптивными распределенными программно-аппаратными комплексами, осуществляющими параллельное выполнение большого количества транзакций в режиме реального времени [4]. Современные системы обеспечивают время отклика, измеряемое долями миллисекунды, и при своей работе генерируют значительные объемы данных [5].
В связи с возрастающей долей финансовых транзакций, осуществляемых посредством автоматизированных компьютерных
систем [6], основные взаимодействия в трейдинговых системах базируются на различных открытых и закрытых сетевых протоколах и программных интерфейсах доступа [7]. Специфика автоматизированных рабочих мест пользователя трейдинговой системы состоит, в частности, в высокой частоте обновления данных о котировках, статусе выполнения финансовых транзакций, текущих позициях и рисках [8].
Рассмотрим несколько ключевых аспектов обеспечения качества трейдинговых систем.
• Как и другие сложные многопоточные системы, трейдинговые платформы предрасположены к появлению в них труд-новоспроизводимых сбоев [9], проявляющихся исключительно тогда, когда система находится под нагрузкой. Часто речь идет о функциональных проблемах, не связанных с исчерпанием ресурсов системы, но вызванных ситуацией конфликтующих друг с другом по времени условий (race conditions) при обработке параллельных транзакций или проявлением статистически маловероятных внутренних нарушений целостности
4
[10]. Нахождение таких проблем требует проведения верификации на границе между функциональным и нагрузочным тестированием [11].
• Обеспечение полноты покрытия тестами функциональности трейдинговой системы требует большого количества сценариев в библиотеке автоматизированных тестов [12]. Количество нуждающихся в проверке комбинаций особенно велико для производных и составных финансовых инструментов [13]. Даже однократный прогон сценариев такой библиотеки тестов через систему приводит к продолжительному исполнению последовательности автоматических тестов. Многократный запуск позволяет выделить скрытые проблемы с внутренними состояниями системы.
• Регулирующие органы, акционеры и участники торгов ожидают высокой устойчивости биржевых и брокерских систем к непредусмотренным внешним воздействиям [3]. В научной литературе детально проработаны методы тестирования устойчивости, основанные на прогоне большого количества случайно созданных данных через систему — фаззинге (fuzzing) [14].
Описанные выше свойства приводят к необходимости отправки большого количества созданных для тестирования сообщений в систему в течение продолжительного периода времени. Для обнаружения дефектов, связанных с обработкой потоков сообщений, необходима доскональная функциональная верификация выходящих сообщений и внутренних состояний системы.
Применимые для этого методы известны под аббревиатурой HiVAT — большие объемы автоматизированного тестирования (High Volume Automated Testing) [15—17]. Эти методы направлены на выявление проблем, которые с большой долей вероятности могут остаться незамеченными при использовании других подходов, требующих ручного создания сценариев для автоматического тестирования и приводящих к статистически недостаточному количеству выходных данных.
Для высоконагруженных трейдинговых систем использование HiVAT-методов служит не столько возможным способом рас-
ширения покрытия тестированием, сколько обязательным методом их тестирования в условиях, приближенных к использованию в режиме промышленной эксплуатации.
Требования к инструментам тестирования
По влиянию на тестируемую систему инструменты тестирования можно разделить на два типа: пассивные и активные [18]. Пассивное тестирование — это процесс обнаружения неисправностей в тестируемой системе путем исследования ее поведения без оказания воздействий на нормальный процесс работы. Активные инструменты непосредственно воздействуют на трейдинго-вую систему и используются для обмена сообщениями, анализа полученных от системы откликов, нагрузочного тестирования.
Пассивные инструменты тестирования. Пассивные инструменты тестирования используются для автоматизированного сбора логов, структурирования данных, мониторинга и анализа поведения системы, сертификации пользователей. Инструменты тестирования позволяют оперативно исследовать большой объем данных, реагировать на отклонения в поведении системы от установленных требований, локализировать неполадки.
Инструмент тестирования позволяет эффективно решать эти задачи, если выполнены следующие требования:
• обеспечена полнота сбора данных обо всех событиях в системе;
• минимизировано влияние на систему;
• обеспечено оповещение в реальном режиме времени о нестандартных ситуациях;
• реализованы гибко настраиваемые критерии распознавания образов;
• обеспечено хранение и предоставление доступа к историческим данным;
• предоставлена возможность отслеживания последовательности событий и внутренних состояний системы на определенный момент времени.
Нахождение первопричины сбоя, произошедшего при использовании ШУАТ-методов, нередко является более сложным процессом по сравнению с обычными методиками ручного и автоматизированного тестирования. Эта сложность обусловлена, в основном,
двумя факторами: автоматическим созданием сценариев тестирования и большим объемом разнородных данных, пропущенных через систему. Тестировщику необходимы удобные инструменты, информирующие его о возникновении проблем и позволяющие детально исследовать состояние системы до и после возникновения сбоев.
Недетерминированный характер входного потока сообщений, являющийся отличительной чертой использования ШУАТ-методов, подразумевает необходимость в гибкости сценариев распознавания проблем и предоставление тестировщику возможностей по их настройке.
Невозможно обеспечить полноту сбора информации без присутствия эффекта измерения для высоконагруженной системы. Задача инструмента тестирования состоит в том, чтобы минимизировать влияние самого инструмента на функциональность и производительность тестируемой системы.
Инструмент должен предоставлять доступ к детальным и агрегированным данным, полученным в результате выполнения текущей и предыдущих итераций тестирования. Диаграмма на рис. 1 показывает компоненты, необходимые для реализации перечисленных требований к пассивным
инструментам тестирования.
Активные инструменты тестирования.
Инструмент для активного тестирования должен обладать универсальностью, т. е. способностью подключаться к различным тестируемым окружениям, используя разнообразные протоколы. Применение фаз-зинга для распределенных трейдинговых систем накладывает ограничения на создаваемые сообщения [25] с целью обеспечить их прохождение к ядру и другим внутренним компонентам без блокирования их на внешних шлюзах протокольных подключений или на начальных ступенях защиты модулей контроля рисков.
Автоматический характер создания сценариев тестирования и их значительный объем требует сохранения информации об отправленных сообщениях и внутренних состояниях инструмента тестирования, его настройках. При использовании сложных техник необходима также сверка данных между инструментом и тестируемой системой.
Использование ШУАТ-методов для вы-соконагруженных трейдинговых систем требует создания масштабной инфраструктуры для тестирования. Эффективность использования такой инфраструктуры может быть обеспечена только в случае одновременной
Рис. 1. Высокоуровневая схема основных компонентов инструмента для пассивного тестирования трейдинговых систем
4
Рис. 2. Высокоуровневая схема основных компонентов инструмента для активного тестирования трейдинговых систем
доступности ее для выполнения различных задач тестирования. Инструменты для тестирования должны позволять выполнять вручную и ставить в расписание прогонов наборы автоматизированных сценариев даже в случаях, когда параллельно многократно выполняются сценарии библиотеки регрессионного тестирования или тесты, основанные на техниках случайной генерации тестов.
Для создания полноценных функциональных тестов инструмент должен предоставить удобные программируемые возможности для управления процессом генерации автоматизированных сценариев тестирования. Диаграмма на рис. 2 показывает компоненты, необходимые для реализации перечисленных требований к активным инструментам тестирования.
Общие требования к инструментам для тестирования трейдинговых систем. Следующие характеристики являются обязательными как для пассивных, так и для активных инструментов при использовании HiVAT-методов:
• масштабируемость и высокая пропускная способность;
• устойчивость;
• адаптивность;
• удобство и интерактивность.
Эти обязательные характеристики со-
впадают с требованиями, предъявляемыми к промышленным трейдинговым системам. Более детально требования к системам мониторинга и контроля финансовых рисков, а также к системам выполнения биржевых и алгоритмических заявок описаны в табл. 1 и 2.
Использование инструментов тестирования в промышленной эксплуатации трейдинговых систем
В этой части статьи мы сопоставим требования, предъявляемые к инструментам для тестирования трейдинговых систем с использованием методов HiVAT, с требованиями к трейдинговым системам и системам мониторинга, используемым в промышленной эксплуатации.
Из схемы на рис. 3 видна концептуальная близость системы к инструментам для пассивного тестирования трейдинговых платформ.
Cхема на рис. 4 показывает концептуальную близость системы к инструментам для активного тестирования трейдинговых платформ.
Направление дальнейших исследований
Сравнение требований и концептуальных схем инструментов для тестирования с соответствующими промышленными систе-
Рис. 3. Высокоуровневая схема основных компонентов системы мониторинга и контроля финансовых рисков, создаваемой в компании Exactpro Systems, LLC
мами позволяет утверждать, что, начиная с определенного уровня зрелости инструменты для тестирования могут использоваться как подсистема трейдинговой платформы. Но основной задачей тестирования является не нахождение правильно работающих подсистем, а выявление проблем и недостатков в исследуемом приложении. Пре-
вращение инструментов для тестирования в промышленные трейдинговые системы может потенциально привести к концентрации взаимодействия на корректно работающих участках, снижению покрытия тестами и избыточному фокусу на позитивных сценариях. Основное направление дальнейшей работы — это нахождение ме-
Рис. 4. Высокоуровневая схема основных компонентов системы выполнения биржевых и алгоритмических заявок, создаваемой в компании Exactpro Systems, LLC
4
Таблица 1
Требования к системам мониторинга и контроля финансовых рисков
Требование
Использование в промышленной эксплуатации
Полнота сбора данных обо всех событиях
в системе
Минимизация влияния на трейдинговую систему
Оповещение в реальном режиме времени о нестандартных ситуациях
Гибко настраиваемые критерии распознавания образов
Хранение и предоставление доступа к историческим данным
Возможность отследить последовательность событий и внутренние состояния системы на определенный момент времени
Основная задача системы мониторинга и контроля финансовых рынков — поддерживать аналитическую работу отделов, отвечающих за выявление возможных манипуляций [19]. Система мониторинга должна собирать информацию обо всех входящих заявках, ответах системы, данных, поступающих из внешних источников, а также о релевантных внутренних состояниях трейдинговой платформы
Сбор большого объема информации невозможен без масштабируемой мониторинговой инфраструктуры. Наблюдение за рынком исключительно важный процесс, являющийся обязательным в абсолютном большинстве финансовых юрисдикций. Тем не менее для обеспечения минимальных времен отклика на приходящие в реальном режиме времени сообщения операторы трейдинговых систем стараются избегать негативного влияния эффекта измерения на основную функциональность трейдинговой платформы
Операторы системы должны быть немедленно уведомлены при возникновении технических проблем или подозрительных транзакций. Такие уведомления называются оповещениями системы мониторинга (surveillance alerts). Эффективно работающая система оповещения — ключевой компонент системы мониторинга и контроля рисков
Очень часто недобросовестные участники рынка пытаются скрыть злоупотребления и манипуляции рынком под видом легитимных финансовых транзакций. Системам мониторинга и контроля рынков приходится делать аналитические заключения на основе нечеткой логики, параметры которой приходится непрерывно адаптировать под новые трейдинговые ситуации и схемы поведения участников торгов [20] По запросам аудита или регулирующих органов операторы трейдинговых систем обязаны предоставлять исторические данные и результаты их обработки
Формальные критерии сами по себе не являются достаточным доказательством наличия манипуляции. Операторы системы нуждаются в возможности восстанавливать последовательность событий, относящихся к конкретным эпизодам, вызвавшим оповещение о проблеме. Данная функция называется проигрыванием книги заявок (order book replay). Удобная реализация позволяет операторам исследовать большее количество событий и делать выводы о правильности работы механизмов распознавания образов
тодов преодоления данной тенденции.
Если инструменты для тестирования становятся частью промышленной инфраструктуры, то внесение небольших изменений в их
код и настройки является по сути изменением содержащей их трейдинговой платформы. Таким образом, предложенный подход открывает новые возможности по примене-
Таблица 2
Требования к системам выполнения биржевых и алгоритмических заявок
Требование Использование в промышленной эксплуатации
Универсальность. Подключение ко множеству других систем и поддержка используемых ими протоколов Предоставление одновременного доступа Возможность выполнения сложных сценариев Хранение информации обо всех отправленных сообщениях и внутренних состояниях. Возможность сверки этих данных с данными, поступающими из внешних систем, включая клиринг и депозитарии В условиях фрагментации финансовых рынков брокерские системы должны обеспечивать возможность подключения к разным биржевым системам и сторонним брокерам [21] Высоконагруженная трейдинговая система должна обеспечить одновременный доступ большому количеству участников торгов Основная функция систем алгоритмической торговли — предоставление пользователям возможности задавать стратегию посылки заявок на выполнение финансовых транзакций в зависимости от состояния рынка, портфеля, параметров риска, информационных сообщений и т. д. Оператор трейдинговой системы, предоставляющий доступ своим клиентам на финансовые рынки, обязан хранить информацию обо всех совершенных финансовых транзакциях [22] и производить сверку этих данных с данными клиентов и контрагентов, а также с информацией из постторговых систем
нию методов мутационного тестирования на системном уровне к исследованию сложных интегрированных трейдинговых систем [23]. Внесенные изменения называются мутациями и основываются на мутационных операторах [24], имитирующих типичные ошибки или нежелательные воздействия. Мутации также позволяют оценить эффективность существующего набора тестов и качество инструментов для тестирования.
Операторами мутации трейдинговой системы для проверки нефункциональных свойств могут стать следующие изменения:
• введение случайных задержек во внутренние компоненты, логические алгоритмы и в функционирование внешних подключений;
• замена оптимизированных TCP/IP потоков данных на множество параметризованных библиотек на различных языках;
• заполнение памяти или дискового пространства на компьютере с исследуемой системой большим количеством логов;
• загрузка сети паразитными сообщениями или внедрение ошибок в структуры данных.
Второе направление дальнейших исследований — это изучение методов фаззинга, совместимых со структурой и консистент-ностью промышленных систем [25].
На основе обобщения опыта по верификации корректной работы высоконагру-женных электронных трейдинговых систем с функциональной и нефункциональной точек зрения в статье проанализированы методы обеспечения их качества, основанные на большом объеме автоматизированного тестирования (ШУЛТ).
Практическое использование этих методов нами позволило определить набор основных требований к инструментам пассивного и активного тестирования, применяемым для верификации подобного рода систем. В статье сделан вывод о том, что инструмент для тестирования, соответствующий определенному набору требований, является по своей сути системой, применимой при промышленной эксплуатации трейдинговых систем.
Полученные нами результаты обосновали оправданность финансирования соз-
4
дания инструментов для тестирования, основанных на описанных выше методах и принципах. В рамках проектов компании Exactpro Systems, LLC разрабатываются система мониторинга и контроля финансовых рынков и система поддержки алгоритмической торговли. Обе системы имеют двойное назначение и могут использоваться и как инструмент для тестирования, и как самостоятельный элемент промышленной
трейдинговой инфраструктуры [26].
Выше были рассмотрены также дополнительные возможности по использованию методов мутационного тестирования на системном уровне для анализа и расширения полноты покрытия функциональными и нефункциональными тестами. Указанные возможности открываются при включении инструментов тестирования в состав трей-динговой платформы.
СПИСОК ЛИТЕРАТУРЫ
1. The Future of Computer Trading in Financial Markets. Final Project Report. Foresight. The Government Office for Science, London [электронный ресурс] / URL: http://www.bis.gov.uk/ assets/foresight/docs/computer-trading/12-1086-future-of-computer-trading-in-financial-markets-report.pdf
2. Bloomfield R., Wetherilt A. Computer trading and systemic risk: a nuclear perspective. Foresight. The Government Office for Science, London [электронный ресурс] / URL: http:// www.bis.gov.uk/assets/foresight/docs/computer-trading/12-1059-dr26-computer-trading-and-systemic-risk-nuclear-perspective.pdf (дата обращения 02.10.2012)
3. Commission Roundtable on Technology and Trading: Promoting Stability in Today's Markets. U.S. Securities and Exchange, 2012 [электронный ресурс] / URL: http://www.sec.gov/news/ otherwebcasts/2012/ttr100212-transcript.pdf
4. Иткин И.Л. Высоконагруженные трей-динговые системы и их тестирование. Конференция разработчиков высоконагруженных систем HighLoad++ [электронный ресурс] / URL: http://www.highload.ru/2012/abstracts/388.html
5. Penhaligan P. Equity Trading: Performance, Latency & Throughput. ExTENT Conference [электронный ресурс] / URL: http:// www.slideshare.net/extentconf/extent3-turquoise-equitytrading2012
6. Avellaneda M. Algorithmic and High-frequency trading: an overview. New York University & Finance Concepts LLC Quant Congress USA 2011 [электронный ресурс] / URL: http://www. math.nyu.edu/faculty/avellane/QuantCongres-sUSA2011AlgoTradingLAST.pdf
7. Millennium Exchange Technical [электронный ресурс] / URL: http://www.lon-donstockexchange.com/products-and-services/ technical-library/millennium-exchange-technical-specifications/millennium-exchange-technical-specifications.htm
8. Zverev A., Bobrov I., Pryadkina N. Testing of
HFT GUI. ExTENT Conference [электронный ресурс] / URL: http://www.slideshare.net/extentconf/ extent3-exactpro-testingofhftgui-12944204
9. Yu T. An observable and controllable testing framework for modern systems // Proc. of the 2013 Internat. Conf. on Software Engineering. IEEE Press, 2013.
10. Netzer R.H.B., Miller B.P. What are race conditions?: Some issues and formalizations // Letters on Programming Languages and Systems. 1992. Vol. 1. Iss. 1.
11. Zverev A., Bulda A., Bobrov I. Trading Systems: Testing at the Confluence of FT&NFT. ExTENT Conference [электронный ресурс] / URL: http://www.slideshare.net/extentconf/extent-2013-obninsk-trading-systems-testing-at-the-confluence-of-ft-nft-17082512
12. Heider W., Rabiser R., Granbacher P., Lettner D. Using regression testing to analyze the impact of changes to variability models on products // Proc. of the 16th Internat. Software Product Line Conf. 2012. Vol. 1.
13. Eurodollars on CME Globex: Implied Price Functionality [электронный ресурс] / URL: http://www.cmegroup.com/trading/interest-rates/ files/Butterflies.pdf
14. Sutton M., Greene A., Amini P. Fuzzing: Brute Force Vulnerability Discovery. Addison-Wesley Professional, 2007.
15. McGee P., Kaner C. Experiments with high volume test automation // SIGSOFT Software Engineering Notes. 2004.
16. Kaner C. An Overview of High Volume Automated Testing [электронный ресурс] / URL: http://kaner.com/?p=278
17. Teaching High Volume Automated Testing (HiVAT). 12th Workshop on Teaching Software Testing, 2013, Melbourne, Florida [электронный ресурс] / URL: http://wtst.org/
18. Cavalli R., Montes de Oca E., Mallouli W., Lallali M. Two Complementary Tools for the Formal Testing of Distributed Systems with Time Constraints // 12th 2008 IEEE/ACM Internat.
Symp. on Distributed Simulation and Real-Time Applications.
19. Diaz D., Zaki M., Theodoulidis B., Sampaio
P. A Systematic Framework for the Analysis and Development of Financial Market Monitoring Systems // Annual SRII Global Conf. 2011.
20. Иткин И., Прядкина Н., Крюков А. Анализ данных в высоконагруженных трейдин-говых системах [электронный ресурс] // Конференция АИСТ-2013 / URL: http://clubqa.ru/ blogs/?p=436
21. Fidessa Fragmentation Index [электронный ресурс] / URL: http://fragmentation.fidessa. com/
22. OATS Reporting Technical Specifications [электронный ресурс] / URL: http://www.fmra. org/web/groups/industry/@ip/@comp/@regis/ documents/appsupportdocs/p197473.pdf
23. Mateo P.R., Usaola M.P., Alemarn J.L.F.Validating Second-Order Mutation at System Level // IEEE Transactions on Softvare Engineering. 2013. Vol. 39. No. 4.
24. Mateo P.R., Usaola M.P., Offutt J. Mutation at System and Functional Levels // 3rd Internat. Conf. on Software Testing, Verification, and Validation Workshops.
25. Wang T., Wei T., Gu G., Zou W. Checksum-Aware Fuzzing Combined with Dynamic Taint Analysis and Symbolic Execution // ACM Transactions on Information and System Security. 2011. Vol. 14. No. 2. Article 15.
26. Itkin I., Matveeva A., Barch A. Test Tools Evolution. ExTENT Conference [электронный ресурс] / URL: http://www.slideshare.net/extentconf/ extent-2013-obninsk-test-tools-for-trading-systems-evolution-theory-17007184
REFERENCES
1. The Future of Computer Trading in Financial Markets, Final Project Report, Foresight, The Government Office for Science, London. Available: http://www.bis.gov.uk/assets/foresight/docs/ computer-trading/12-1086-future-of-computer-trading-in-financial-markets-report.pdf
2. Bloomfield R., Wetherilt A. Computer trading and systemic risk: a nuclear perspective, Foresight, The Government Office for Science, London. Available: http://www.bis.gov.uk/assets/ foresight/docs/computer-trading/12-1059-dr26-computer-trading-and-systemic-risk-nuclear-perspective.pdf
3. Commission Roundtable on Technology and Trading: Promoting Stability in Today's Markets. U.S. Securities and Exchange, 2012. Available: http:// www.sec.gov/news/otherwebcasts/2012/ttr100212-transcript.pdf
4. Itkin I.L. Vysokonagruzhennyye treydingovyye sistemy i ikh testirovaniye. Konferentsiya razrabot-chikov vysokonagruzhennykh sistem HighLoad++. Available: http://www.highload.ru/2012/ abstracts/388.html (rus)
5. Penhaligan P. Equity Trading: Performance, Latency & Throughput, ExTENT Conference. Available: http://www.slideshare.net/extentconf/ extent3-turquoise-equitytrading2012
6. Avellaneda M. Algorithmic and High-frequency trading: an overview, New York University & Finance Concepts LLC Quant Congress USA 2011. Available: http://www.math.nyu.edu/faculty/avel-lane/QuantCongressUSA2011AlgoTradingLAST. pdf
7. Millennium Exchange Technical Specifications. Available: http://www.londonstockexchange.com/ products-and-services/technical-library/millenni-
um-exchange-technical-specifications/millennium-exchange-technical-specifications.htm
8. Zverev A., Bobrov I., Pryadkina N. Testing of HFT GUI, ExTENT Conference. Available: http:// www.slideshare.net/extentconf/extent3-exactpro-testingofhftgui-12944204
9. Yu T. An observable and controllable testing framework for modern systems, Proceedings of the 2013 International Conference on Software Engineering Publisher, IEEE Press, 2013.
10. Netzer R.H.B., Miller B.P. What are race conditions? Some issues and formalizations, Letters on Programming Languages and Systems, 1992, Vol. 1, Iss. 1.
11. Zverev A., Bulda A., Bobrov I. Trading Systems: Testing at the Confluence of FT&NFT, ExTENT Conference. Available: http://www. slideshare.net/extentconf/extent-2013-obninsk-trading-systems-testing-at-the-confluence-of-ft-nft-17082512
12. Heider W., Rabiser R., Grbnbacher P., Lettner D. Using regression testing to analyze the impact of changes to variability models on products, Proceedings of the 16th International Software Product Line Conference, 2012, Vol. 1.
13. Eurodollars on CME Globex: Implied Price Functionality. Available: http://www.cmegroup.com/ trading/interest-rates/files/Butterflies.pdf
14. Sutton M., Greene A., Amini P. Fuzzing: Brute Force Vulnerability Discovery. Addison-Wesley Professional, 2007.
15. McGee P., Kaner C. Experiments with high volume test automation, SIGSOFT Software Engineering Notes, 2004.
16. Kaner C. An Overview of High Volume Automated Testing. Available: http://kaner.
com/?p=278
17. Teaching High Volume Automated Testing, 12th Workshop on Teaching Software Testing, 2013, Melbourne, Florida. Available: http://wtst.org/
18. Cavalli R., Montes de Oca E., Mallouli W., Lallali M. Two Complementary Tools for the Formal Testing of Distributed Systems with Time Constraints, 12th 2008 IEEE/ACM International Symposium on Distributed Simulation and Real-Time Applications.
19. Diaz D., Zaki M., Theodoulidis B., Sampaio P. A Systematic Framework for the Analysis and Development of Financial Market Monitoring Systems, Annual SRII Global Conference, 2011.
20. Itkin I., Pryadkina N., Kryukov A. Analiz dannykh v vysokonagruzhennykh treydingovykh sistemakh, Konferentsiya AIST-2013. Available: http://clubqa.ru/blogs/?p=436 (rus)
21. Fidessa Fragmentation Index. Available: http://fragmentation.fidessa.com/
22. OATS Reporting Technical Specifications.
Available: http://www.finra.org/web/groups/
industry/@ip/@comp/@regis/documents/ appsupportdocs/p197473.pdf
23. Mateo P.R., Usaola M.P., Alemarn J.L.F. Validating Second-Order Mutation at System Level, IEEE Transactions on softvare engineering, 2013, Vol. 39, No. 4.
24. Mateo P.R., Usaola M.P., Offutt J. Mutation at System and Functional Levels, 3rd International Conference on Software Testing, Verification, and Validation Workshops.
25. Wang T., Wei T., Gu G., Zou W. Checksum-Aware Fuzzing Combined with Dynamic Taint Analysis and Symbolic Execution, ACM Transactions on Information and System Security, 2011, Vol. 14, No. 2, Article 15.
26. Itkin I., Matveeva A., Barch A. Test Tools evolution, ExTENT Conference. Available: http:// www.slideshare.net/extentconf/extent-2013-obninsk-test-tools-for-trading-systems-evolution-theory-17007184
АВЕРИНА Анастасия Андреевна — аналитик ООО «ИТС-Эксперт». 115088, Россия, Москва, 2-й Южнопортовый проезд, д. 20А/4. E-mail: Anastasia.Matveeva@exactprosystems.com
AVERINA, Anastasiya A. ITS-Expert, LLC.
115088, 2nd Yuzhnoportovy proyezd, 20А/4, Moscow, Russia.
E-mail: Anastasia.Matveeva@exactprosystems.com
АНТОНОВ Николай Андреевич — аналитик Костромского государственного технологического университета.
156005, Россия, г. Кострома, ул. Дзержинского, д. 17. E-mail: nikolay.antonov@exactprosystems.com
ANTONOV, Nikolay A. Kostroma State Technological University. 156005, Dzerzhinsky Str. 17, Kostroma, Russia. E-mail: nikolay.antonov@exactprosystems.com
ИТКИН Иосиф Леонидович — генеральный директор Exactpro Systems, LLC. 4040 Civic Center Drive, Suite 200 San Rafael, CA 94903. E-mail: sasha.khodchenko@exactprosystems.com
ITKIN, Iosif I. Exactpro Systems, LLC.
4040 Civic Center Drive, Suite 200 San Rafael, CA 94903.
E-mail: sasha.khodchenko@exactprosystems.com
© Санкт-Петербургский государственный политехнический университет, 2014
