CC BY
19
УДК 004.33
СПОСОБЫ СТРУКТУРНОЙ ОРГАНИЗАЦИИ СПЕЦИАЛИЗИРОВАННЫХ СИСТЕМ С СОСРЕДОТОЧЕННОЙ И РАСПРЕДЕЛЕННОЙ ПАМЯТЬЮ
А.И. Мартышкин, Б.В. Костров
Показаны способы организации специализированных многопроцессорных систем с сосредоточенной и распределенной памятью, а также возможные варианты структур вычислительных систем, приведены выражения для определения основных темпоральных характеристик процессов записи/чтения и работы с памятью. Проводится довольно подробный структурный анализ исследуемых вычислительных систем.
Ключевые слова: параллельная вычислительная система, процессорный модуль, память, общая шина, интерфейс взаимодействия, разрядность шины, расслоение памяти.
Структура вычислительной системы (ВС) (многопроцессорной системы (МПС)) специализированного назначения с интерфейсом «общая шина» (ОШ) и общей для составляющих модулей системы памятью (рис. 1), включает в себя п одинаковых процессорных модулей (ПМ) и т блоков общей памяти (ОП), работающих под управлением контроллера [1, 2]. Блок ПМ включает процессор (ЦП) и шинный интерфейс (ШИ), соединяющий его с ОШ.
Рис. 1. Структура МПС специализированного назначения с общей шиной и общей памятью
ШИ выполняет следующие функции: администрирование захватом/освобождением ОШ; взаимодействие и информационный обмен между ПМ и ОП; вычленение и распознавание собственного адреса, который выставляется на ОШ либо контроллером памяти, либо другим устройством; буферизация (накопление) передаваемых данных; и некоторые другие.
611
Каждый ПМ имеет уникальный номер - собственный адрес. Согласно используемого протокола взаимодействия и обмена предусматривается выделение (распознавание) собственного адреса, когда в конкретный ПМ извне передается сообщение, для чего ШИ постоянно отслеживается присвоенный ему адрес. В случае обнаружения собственного адреса ПМ подключается к ОШ, производится прием информации с ОШ во входной (приемный) буфер ШИ, любо в ЦП.
В настоящей статье предположим, что обмен в подсистеме «процессор-память» осуществляется пословно или группами слов. В том случае, когда используется обмен без накопления (буферизации), т.е. контроллер памяти и ШИ представляются без высокоскоростных регистров, используют обычный цикл записи/ чтения, после которого ОП освобождается и передается для информационного обмена и взаимодействия другому ПМ [2 - 4].
Как описано в [5], время информационного обмена в таком случае будет определено выражением
1в = т + М , (1)
где т - время, необходимое на занятие ОШ; 1мс - цикл ЦП, связанный с
обращением к памяти.
В системе можно иметь всего один модуль ОП при обмене без накопления сообщений. Отмеченный факт не позволяет достичь высокой степени параллельности в работе системы по причине возникающих конфликтов, с большой вероятностью возникающих между ПМ системы в соперничестве за доступ к ОП. По этой причине потенциальная производительность таких систем низкая.
Нужно значительно увеличить пропускную способность ОШ и ОП для обеспечения параллельной работы модулей памяти. Увеличение пропускной способности ОШ можно обеспечить за счет сокращения шинного цикла, связанного с записью / чтением данных в ОП. В этом случае передаваемые данные накапливают в регистрах ШИ. В процессе записи ЦП производит инициацию обмена, передавая в буферную память ШИ адрес ячейки памяти, данные и управляющую информацию. Затем контроллер ШИ самостоятельно передает всю информацию в буфер ОП, для чего в контроллер памяти, как и в ШИ ПМ включают высокоскоростной буфер на регистровой памяти малого объема. Тогда возможно, что шинный цикл будет много меньше цикла памяти и будет возможна передача большего объема информации по ОШ. Исходя из этого возможно увеличить число модулей ОП в такое число раз, во сколько цикл памяти превосходит шинный цикл. Для определенного увеличения пропускной способности ОП зачастую расслаивают ее (применяя чередование адресов) на независимые модули ОП1-ОПП. [6, 7]. В этой ситуации время непосредственной записи определится согласно выражению
= Т+ , (2)
где 1ВР - время, необходимое для обращения к буферному регистру.
В режиме с накоплением при чтении данных ЦП из ОП необходимы два упомянутых шинных цикла [8, 9]. ПМ, который ждет для обработки поступление данных из ОП, выставляет на ОШ собственный адрес, а также адрес модуля ОП, адрес внутримодульной ячейки и необходимые управляющие сигналы. Эта информация помещается в высокоскоростную память ШИ, чей контроллер автоматически передает ее контроллеру памяти, который в свою очередь извлекает операнды из адресуемого модуля ОП и формирует кадр, состоящий из адреса ПМ-адресанта и считанных из ОП данных, для обмена с ПМ-адресантом.
Необходимое для чтения данных из ОП время определится так:
= 2(т + ^). (3)
Если программа содержит И команд на запись и g команд на чтение, тогда среднее время обмена ПМ за время выполнения программы будет
, + gtR
обм
И + g
Подставив в (4) выражения для tW и tR, получим
g + ^)
■Т + +
И + g
(4)
(5)
В таком случае совмещается во времени работа ЦП, памяти и интерфейсного оборудования. Кроме того, возрастают показатели по наращиванию системы вследствие чего может быть увеличена общая производительность ВС в целом. Пропускная способность ОШ способна изменяться, ввиду того, что она зависит от ширины шины, от которой также зависят характеристики межмодульного интерфейса [10].
Структура МПС специализированного назначения с общей памятью отображена на рис. 2 и в своем составе включает ЦП, локальную память (ЛП), подключенную на локальную шину и ШИ.
Рис. 2. Структура МПС специализированного назначения
с общей памятью
в
Функционал ШИ зависит от организации управления МПС и может включать в себя: администрирование доступа к памяти удаленного ПМ; администрирование захватом/освобождением ОШ; организацию прерываний; администрирование ЛП при доступе к ней со стороны удаленного ПМ; выделение и распознавание собственного адреса, выставленного на ОШ удаленным ПМ; накопление передаваемых данных.
Устройства управления ШИ должны обеспечивать возможность существования режима высокоимпедансного состояния для отключения ПМ от ОШ на период локальных взаимодействий ЦП и ЛП. Не занятая ОШ должна предоставляться для взаимодействия с другим ПМ системы.
Взаимодействие ПМ с удаленной памятью может быть организовано либо посредством прямого доступа, либо другим способом. Для инициирования обращения в удаленную память ПМ-источник записывает на ОШ адрес ПМ-приемника, адрес ячейки ЛП удаленного ПМ, данные и управляющую информацию, т.е. формирует кадр обмена. ШИ ПМ-приемника отслеживает собственный адрес на ОШ, затем генерирует либо сигнал «запрос прямого доступа», либо «запрос прерывания». После поступления сигнала «подтверждение доступа» ШИ производит коммутацию ОШ на локальную. После обмена ПМ-приемник переходит в исходное состояние. При такой организации ПМ допускается использование способов связи, как с накоплением данных, так и без него. В перечисленных случаях имеют место быть конфликтные ситуации при конкурировании за первоочередной доступ к памяти при запросе последней одновременно со стороны удаленного и местного ЦП. Практически полная ликвидация конфликтов достигается введением приоритетов, причем высшим приоритетом должны обладать запросы от ОШ, чтобы не нагружать ее дополнительной передачей информации о состоянии памяти удаленного ПМ. Это связано с обеспечением достаточно высокой пропускной способности ОШ, которая в большинстве случаев представляет собой «узкое место» ВС.
Для сокращения возникающих конфликтов за доступ к ЛП со стороны локального и удаленного ЦП, ее необходимо использовать с расслоением [2]. Еще большее сокращение возникающих конфликтных ситуаций достигают использованием в ПМ многоуровневой кэш-памяти. Рис. 3 демонстрирует вариант построения ПМ с кэш-памятью.
Рис. 3. Структура ПМ с кэш-памятью для МПС специализированного назначения с разделяемой распределенной памятью
Ввиду того, что при обслуживании программ ПМ большая вероятность обращений будет приходиться на кэш-память, в соответствии с принципами временной и пространственной локальности [11], загрузка ЛП будет стремиться к сокращению. Из этого следует уменьшение барьеров и сложностей при обращении к ЛП со стороны удаленных ПМ. Аналогичный способ возможно применить также к структурам с ОП (рис. 4).
Рис. 4. Структура ПМ с кэш-памятью для МПС специализированного
назначения с общей памятью
Таким образом, исходя из проведенного исследования, можно сделать вывод о том, что ОШ часто применяется для построения систем с малым количеством ПМ. Их основные преимущества - сравнительно менее сложная топология платы, меньшее количество контактов, меньшая стоимость разработки. При такой конфигурации несколько ЦП имеют одну ОШ. Одновременно с описанными выше преимуществами архитектура с ОШ имеет очевидный большой недостаток: все ЦП делят пропускную способность ОШ между собой. Именно такую конструкцию имеют вычислительные системы, построенные на ЦП компании Intel.
Список литературы
1. Байцер Б. Микроанализ производительности вычислительных систем. М.: Радио и связь, 1983. 360 с.
2. Бикташев Р. А., Князьков В.С. Многопроцессорные системы. Архитектура, топология, анализ производительности: учеб. пособие. Пенза: Изд-во Пенз. гос. ун-та, 2004. 107 с.
3. Основы теории вычислительных систем: учеб. пособие / С.А. Майоров [и др.]; под ред. С.А. Майорова. М.: Высш. шк., 1978. 408 с.
615
4. Алиев Т.И. Основы моделирования дискретных систем. СПб.: СПбГУ ИТМО, 2009. 363 с.
5. RightMark Memory Analyzer 3.8 - комплексный тест для оценки быстродействия оперативной памяти [Электронный ресурс] // RightMark Memory Analyzer 3.8 - комплексный тест для оценки быстродействия оперативной памяти - Новости - Overclockers.ru. URL: https://overclockers.ru/softnews/show/28434/Ri ghtMark_Memory_Analyzer_3. 8_-
kompleksnyj test dlya ocenki bystrodejstviya operativnoj pamyati?utm source =feed the cat (дата обращения: 05.09.2018).
6. Мартышкин А.И. Исследование подсистем памяти с буферизацией транзакций на моделях массового обслуживания // XXI век: итоги прошлого и проблемы настоящего плюс, 2011. № 3. С. 124-131.
7. Investigation of the memory subsystem of information systems by buffering transactions on the queuing models / Salnikov I.I., Babich M.Yu., Bu-taev M.M., Martyshkin A.I. // International Journal of Applied Engineering Research. 2016. Vol. 11. № 19. P. 9846-9849.
8. Мартышкин А.И. К вопросу оценки времени обслуживания транзакций при обмене данными в многопроцессорных системах на основе общей шины с разделяемой памятью // Вестник Рязанского государственного радиотехнического университета. 2016. № 56. С. 90-98.
9. Костров Б.В., Мартышкин А.И. Исследование структурной организации и оценка производительности многопроцессорных вычислительных систем с общей шиной // Известия Тульского государственного университета. Технические науки. 2018. № 2. С. 152-162.
10. Цилькер Б.Я., Орлов С.А. Организация ЭВМ и систем. 2-е изд. СПб: Питер, 2011. 688 с.
11. Таненбаум Э., Бос Х. Современные операционные системы. 4-е изд. СПб.: Питер, 2015. 1120 с.
Мартышкин Алексей Иванович, канд. техн. наук, доцент, [email protected], Россия, Пенза, Пензенский государственный технологический университет,
Костров Борис Васильевич, д-р техн. наук, профессор, заведующий кафедрой, kostrov. [email protected], Россия, Рязань, Рязанский государственный радиотехнический университет
METHODS OF STRUCTURAL ORGANIZATION OF SPECIALIZED SYSTEMS WITH CONCENTRATED AND DISTRIBUTED MEMORY
A.I. Martyshkin, B.V. Kostrov
The article shows how to organize specialized multiprocessor systems with concentrated and distributed memory. The possible variants of the structures of computing systems are shown, expressions are given for determining the main temporal characteristics of the processes of writing / reading and working with memory. A rather detailed structural analysis of the computational systems under study is carried out. In conclusion, some conclusions on the work.
Key words: parallel computing system, processor module, memory, shared bus, interaction interface, bus width, memory bundle.
Martyshkin Alexey Ivanovich, candidate of technical sciences, docent, alex-ey314@yandex. ru, Russia, Penza, Penza State Technological University,
Kostrov Boris Vasilevich, doctor of technical science, professor, head of chair, kostrov. b. v@evm. rsreu. ru, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 004.67
ЭТАПЫ СБОРА И ПРЕДСТАВЛЕНИЯ БОЛЬШИХ ДАННЫХ ДЛЯ ПОСТРОЕНИЯ СОЦИАЛЬНОГО ПРОФИЛЯ ЧЕЛОВЕКА
А.И. Мартышкин, И.И. Сальников, Д.В. Пащенко
Рассматриваются основные этапы и процесс представление больших данных для выборки информации, необходимой для построения социального профиля человека. Анализируются системы и сервисы по сбору данных, в том числе социальных сетей, предлагающие широкий спектр возможностей. Среди них есть достаточно большие системы, а также проекты, помогающие легально собирать информацию. Описаны алгоритмы системы для сбора информации из открытой социальной сети Вконтакте для эффективного решения поставленных задач. В заключении сделаны некоторые выводы по работе.
Ключевые слова: Big Data, Data science, большие данные, программное обеспечение, информационная система, структурированные и неструктурированные данные, социальный профиль человека.
Под обобщающим термином «Большие данные» (Big Data) принято понимать любые наборы данных, довольно большие и сложные для того, чтобы их можно было обработать традиционными средствами работы с данными [1, 2]. Повсеместно и широко применяемые сегодня реляционные системы управления базами данных (РСУБД) давно и признанно считаются универсальным инструментом, но их возможностей сегодня недостаточно, чтобы осуществлять обработку больших данных. В концепцию data science входит использование методов анализа огромных объемов данных и извлечения содержащейся в них полезной информации. Связь между machine learning, data science и большими данными такая же, как например, между сырой нефтью и обрабатывающими ее предприятиями. Большие данные и data science развивались на базе статистики и традиционного управления данными, но в настоящее время являются разными дисциплинами.
617
