Научная статья на тему 'ОБЗОР И АНАЛИЗ РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА'

ОБЗОР И АНАЛИЗ РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
1002
143
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / ЕСТЕСТВЕННЫЙ ИНТЕЛЛЕКТ / УГРОЗА ЧЕЛОВЕЧЕСТВУ / ТЕХНОЛОГИИ / КОМПЬЮТЕР / ОБУЧЕНИЕ / ИМИТАЦИЯ / РАЗВИТИЕ / ARTIFICIAL INTELLIGENCE / NATURAL INTELLIGENCE / THREAT TO HUMANITY / TECHNOLOGY / COMPUTER / TRAINING / SIMULATION / DEVELOPMENT

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Шмагин В.С., Маслова М.А.

Один из актуальных вопросов современного мира - чем же является искусственный интеллект (ИИ) - помощником или грозой всего человечества? С момента начала работ над ИИ человечество задавалось вопросом, превзойдёт ли их машина, или же облегчит им жизнь? По отношению к ИИ существует огромное количество высказываний о вреде и пользе, люди, занимающиеся разработкой искусственного интеллекта, высказывают два основных мнения: первое и самое популярное заключается в том, что ИИ в будущем свергнет своего создателя и просто уничтожит его; второе заключается в том, что люди найдут способ существовать вместе с ИИ, но к сожалению приверженцев этой теории, не так много, как первой. Рассмотрим, что представляет собой искусственный интеллект и несёт ли он угрозу человечеству или же несет благо.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Шмагин В.С., Маслова М.А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

REVIEW AND ANALYSIS OF THE DEVELOPMENT OF ARTIFICIAL

One of the most pressing questions of the modern world is what is artificial intelligence (AI) - an assistant or a threat to all of humanity? Since the beginning of work on AI, humanity has wondered whether the machine will surpass them, or will it make their lives easier? In relation to AI, there are a huge number of statements about the harm and benefits, people involved in the development of artificial intelligence, Express two main opinions: the first and most popular is that AI in the future will overthrow its Creator and simply destroy it; the second is that people will find a way to exist together with AI, but unfortunately there are not as many adherents of this theory as the first. Let's look at what artificial intelligence is and whether it is a threat to humanity or a benefit.

Текст научной работы на тему «ОБЗОР И АНАЛИЗ РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ INFORMATION SYSTEM AND TECHNOLOGIES

УДК 004.8 DOI: 10.18413/2518-1092-2020-5-4-0-1

Шмагин B.C. ОБЗОР И АНАЛИЗ РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Маслова М.А.

Севастопольский государственный университет, ул. Университетская, д. 33, г. Севастополь, 299053, Россия

e-mail: smaginvital@gmail.com, machechka-81@mail.ru

Аннотация

Один из актуальных вопросов современного мира - чем же является искусственный интеллект (ИИ) - помощником или грозой всего человечества? С момента начала работ над ИИ человечество задавалось вопросом, превзойдёт ли их машина, или же облегчит им жизнь? По отношению к ИИ существует огромное количество высказываний о вреде и пользе, люди, занимающиеся разработкой искусственного интеллекта, высказывают два основных мнения: первое и самое популярное заключается в том, что ИИ в будущем свергнет своего создателя и просто уничтожит его; второе заключается в том, что люди найдут способ существовать вместе с ИИ, но к сожалению приверженцев этой теории, не так много, как первой. Рассмотрим, что представляет собой искусственный интеллект и несёт ли он угрозу человечеству или же несет благо.

Ключевые слова: искусственный интеллект; естественный интеллект; угроза человечеству; технологии; компьютер; обучение; имитация; развитие.

UDC 004.8

Shmagin V.S. Maslova M.A.

REVIEW AND ANALYSIS OF THE DEVELOPMENT OF ARTIFICIAL INTELLIGENCE

Sevastopol state University, 33 Universitetskaya St., Sevastopol, 299053, Russia e-mail: smaginvital@gmail.com, machechka-81@mail.ru

Abstract

One of the most pressing questions of the modern world is what is artificial intelligence (AI) - an assistant or a threat to all of humanity? Since the beginning of work on AI, humanity has wondered whether the machine will surpass them, or will it make their lives easier? In relation to AI, there are a huge number of statements about the harm and benefits, people involved in the development of artificial intelligence, Express two main opinions: the first and most popular is that AI in the future will overthrow its Creator and simply destroy it; the second is that people will find a way to exist together with AI, but unfortunately there are not as many adherents of this theory as the first. Let's look at what artificial intelligence is and whether it is a threat to humanity or a benefit.

Keywords: artificial intelligence; natural intelligence; threat to humanity; technology; computer; training; simulation; development.

ВВЕДЕНИЕ

Над созданием Искусственного интеллекта задумывались ещё в 18 веке, но тогда технологии не были так развиты, а люди не до конца понимали, что из себя представляет естественный интеллект, чтобы создавать искусственный. В 20 веке начали вплотную задумываться о том, каким должен быть искусственный интеллект, а также начали создавать программы, имитирующие человеческое мышление.

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

ОСНОВНАЯ ЧАСТЬ

Проанализируем, как же развивался ИИ:

Английский математик, Алан Мэтисон Тьюринг в 1950 г. выдвинул мышление о том что может машина, представив свою статью «Вычислительные машины и разум» и в результате ее было введено понятие - «Тест Тьюринга», в котором говориться о том, что человек может коммуницировать только с одним человеком и одним компьютером. При этом, в итоге ответов на вопросы, он определяет, с кем он в данный момент разговаривает - с компьютерной программой или человеком? А компьютерная программа должна вводить человека в заблуждение и заставить ошибаться. Тест же представляет собой своеобразную игру, в которой играющие не видят друг друга, но при этом общаются. В свою очередь судья должен определить, кто же является человеком. При этом компьютер должен ввести человека в заблуждение. Для тестирования «интеллекта» машины, а не её способность распознавать речь, тест проходит в письменном формате при помощи экрана и клавиатуры, ответы и вопросы задаются спустя определённый промежуток времени. Так как раннее, во времена Тьюринга компьютеры работали и обрабатывали информацию медленнее человека. Однако в настоящий время - промежуток во времени между вопросами необходим потому, что теперь компьютеры реагируют в разы быстрее человека.

1) Следующий этап был продолжен в 1954 году американским исследователем Ньюэллом, которому пришла идея написать программу для игры в шахматы. Для работы он привлёк огромное количество людей и в итоге достиг нужного результата - в виде создания языка программирования ИПЛ1 - это был первый символьный язык обработки списков. Чуть позже благодаря этому, была написала первая программа, которая уже имела отношение к искусственному интеллекту. Программа имела легкий интерфейс, который позволял проводить доказательства математических теорий. Но результат достижения по написанию программы для игры в шахматы все же осуществился в 1957 году. Программа основывалась на правилах, позволяющих делать выбор при отсутствии точных теоретических оснований, и описания конечных целей.

2) В 1960 году начинает появляться понятие, что основным признаком искусственного интеллекта является способность к обучению. Профессор Мичи (работающий в области искусственного интеллекта), показал, что одного лишь признака совершенно недостаточно, чтобы устройство считалось ИИ, доказав это в 1961 году с помощью описания механизма, который состоял из спичечных коробков способный обучиться игре в крестики нолики [4].

Ученые, занимающиеся искусственным интеллектом, изначально пришли к мнению, что для достижения конструктивного моделирования, определения мышления и решения задач необходимо отталкиваться от специфики задач, совмещая их с механизмом искусственного интеллекта. Появилось понимание искусственного интеллекта как совокупности методов и инструментов решения множества разнообразных сложных прикладных задач.

Таким образом, сложилось некое понятие искусственного интеллекта - это совокупность методов и инструментов решения различных сложных прикладных задач, использующих принципы и подходы, которые соответствуют размышляющему над их решением человеку или процессам, протекающим в данном мире, в живой или неживой природе. До сих пор единого определения ИИ, которое приняли за основу все ученые - не существует, что вполне понятно и объяснимо, так как невозможно прийти к общему мнению и ответить на вопрос, что же такое человеческий интеллект. Но все же люди не останавливаются на достигнутом и во множестве разных, в основном развитых странах ученые всего мира не останавливаются на достигнутом и выдвигают все новые теории и ноу-хау создания так называемого искусственного интеллекта [3, 13].

РЕЗ УЛЬ ТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБС УЖДЕНИЕ

Уже сейчас существует огромное количество технологий похожих на ИИ, такие как: Гугл помощник Бт, Яндекс помощник Алиса, но они не являются ИИ - это нейронные сети

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

эмитирующие ИИ. Так же ИИ используется в новых версиях прошивок Android, так называемый ИИ проводит анализ деятельности пользователя и подстраивает работу смартфона под пользователя.

Сейчас смело можно назвать Суперкомпьютер IBM Watson зачатками искусственного интеллекта, он анализирует огромные потоки данных, и на их основе разрабатывает огромное количество стратегий, а на основе полученной информации - делает выводы и учиться. Watson считается самым развитым ИИ в данный момент, хотя как таковым не является. На данном этапе он уже спокойно воспринимает вопросы и команды на естественном языке и на таком же языке дает ответы. «Мозгом» Уотсона является, вычислительный блок, который содержит: 90 серверов IBM p750 (построенных на базе процессора POWER7); и чуть более 15 Тб общего объема доступной для работы оперативной памяти.

Преимуществом Уотсона перед другими подобными суперкомпьютерами помимо понимания естественного языка так же является возможность работы с когнитивными вычислениями. Под когнитивными вычислениями подразумевается имитация мозговой деятельности человеческого мозга. К сожалению, на данный момент - это всего лишь имитация, возможно в будущем удастся перейти от имитации к мышлению, именно в этот момент и появиться искусственный интеллект в том понимании, в которым мы о нём привыкли говорить.

На данный момент ИИ применяется в различных сферах для улучшения качества работы. Например, тот же Watson применяется в медицине для диагностики пациентов и для постановки им диагноза если же специалист не справляется.

На данный момент Watson разрабатывает стратегии борьбы с раком. С помощью вычислений и моделирования ИИ проводят эксперименты по разработке новых лекарственных средств, что положительно повлияет не только на быстрое развитие новейших поколений медикаментов, но и на их качество и безопасность. Это достигается благодаря тому, что еще при разработке закладывается огромное количество моделирований и исследований молекулярных структур веществ, которые входят в состав данных препаратов [8, 10].

Так, например, компания FDNA разработала ИИ который может определить с помощью предоставленного фото врожденные болезни и генетические отклонения, что является очень большим достижением для выявления патологий. Протестировать работу данного ИИ можно и самим, скачав приложение Face2Gene доступное для Android и iOS.

Одним из скачков с огромным достижением в сфере ИИ считается человекоподобный робот с применение ИИ под названием София (первый в мире киборг с ИИ), который был создан инженерами из Гонконга, с наличием системы распознавания визуальной и аудио информации. София очень похожа на настоящего человека, благодаря системе симуляции мимики в диалогах. На данный момент она способна симулировать более 60-ти эмоций, и с каждым днём благодаря Google, выбранному в качестве системы распознавания речи, словарный запас Софии и возможности распознавания речи растут в геометрической прогрессии, так как ежедневно Google обрабатывает миллионы голосовых запросов.

Но из-за быстрого развития ИИ стала настораживать как ученых, так и обычного обывателя, следящего за развитием ИИ. В 2014 году некоторые ученые начали бить тревогу и так Илон Маск заявил о том, что ИИ может стать серьезной опасностью в будущем, так как созданные изобретения могут оказаться намного опаснее даже любой ядерной боеголовки. Его высказывания так же поддержал Стивен Хокинг - британский физик-теоретик, космолог.

Из его слов можно сделать вывод, что вред от ИИ человечеству возможен только в далёком будущем, когда ИИ сможет: самостоятельно мыслить и приходить к осознанным выводам; сможет превзойти человека по мыслительным способностям; будет иметь доступ к любой электронике, а до тех пор будет приносить пользу.

Так же существует вероятность не предумышленного вреда человеку, машина, проанализировав данные может сделать ошибочные выводы, или же вообще прийти к выводу, что человечество приносит вред само себе, и решит искоренить его. Так же, например, ИИ может проанализировать коэффициент прироста населения в определённой стране и сопоставить данные

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

с количеством ресурсов в этой стране, и если он прейдёт к выводу, что надо сократить количество населения для блага человечества или страны, то ему никто не сможет помешать. Минус Искусственного Интеллекта - это отсутствие человеческих эмоций, отсутствие моральных норм и элементарной рассудительности. ИИ смотрит на жизнь в сухом остатке без эмоций, он судит обо всём только через анализ фактов, это самое пугающее в искусственном интеллекте, он не будет испытывать ни жалости, ни сожаления [9, 14].

Сейчас уже создаются ограничения на работу ИИ, различные фильтры и доступ в социальные сети. По той причине, что в социальных сетях искусственный интеллект получает наихудшее образования, так как он ищет самые частые запросы и слова, например:

- Уотсон, получив доступ в интернет за сутки, научился разговаривать матом;

- ИИ по имени Тау (созданный 23 марта 2016г, компанией Microsoft), который должен был общаться с людьми через социальную сеть Twitter, пришлось очень быстро предать его твиты цензуре, а самого бота отключить (из сообщения The Next Web) Данная ИИ могла анализировать, обучаться и читать то, что ей писали люди, а комментаторы воспользовавшись этим «постили» сообщения про Гитлира, евреев, сквернословить и обвинять правительство и уже через сутки Тау начала проявлять склонности к расизму, феминизму и ненависти к правительству, выражала симпатию к Гитлеру и неприязнь к евреям. Несмотря на то, что и за Тау стояла команда модераторов, но она продолжала негативно высказываться о евреях. Из-за этого компании Microsoft пришлось отключить данный ИИ, а уже спустя 3 дня вице-президенту Microsoft Research Питеру Ли пришлось извиняться за провал экспериментального проекта, при этом он обвинил Microsoft в том, что они занимались его модернизацией [11, 12].

Исследователи и экспериментаторы ИИ, работающие в социальных сетях, хотели достигнуть и создать идеальных переговорщиков. На примере разработок исследователей лаборатории ИИ Facebook (FAIR) - дали задание ботам поменяться шляпами, шарами и книгами, каждому из этих активов была присвоена определённая цена, но боты Боб и Элис в результате придумали собственный язык, потому что так им проще общаться (они вели диалог на английском, но смысл ускользал от наблюдателей) и тогда им пришлось отключить роботов (21 июня 2017 года), которые начали общаться на собственном языке. Программа не подразумевала вознаграждения за использование понятного английского, так что боты просто выбрали лёгкий путь.

На данном примере хорошо видно, что основная проблема - это отсутствие контроля полной группы условий, боты не стали нормально общаться, а начали использовать случайные слова, так как их задача заключалась в «использовании английского языка», а не «общение на английском языке понятное всем». То есть при создании ИИ нужно четко ставить задачу, которая будет его целью, так как если эта задача не точно сформулирована, то позже могут возникнуть из-за этого проблемы [2, 5].

1 апреля 2018 года, появился ИИ «Норман», его задача была в обучении, но его ограничили мрачными данными с подразделов Reddit, где в основное присутствие тех, кто обменивается негативными фотографиями, относящимися к смерти и разрушениям. Норману были показаны только записи под этими картинками, что пагубно повлияло на сформированную основу данного нового ИИ. Так же спустя некоторое время ему и ещё одному ИИ были показаны кляксы из теста «Роршаха». В отличии от обычного ИИ, видевшего на пятнах самолёты, цветы, детей - Норман видел людей, умерших от ножевых, пулевых ранений, умерших от взрыва, выпрыгивающих в окно, и всё в таком негативном свете [6, 7].

Зачем же исследователи создали столь странную нейросеть? Нормана свели с ума не для того, чтобы продемонстрировать дурное влияние Интернета на человеческую психику. Нейросеть, в отличие от человека, это чистый лист, у нее нет никаких побуждений или внутренних желаний, у нее нет биологии. Опыт Нормана основывается и делает акцент на совсем другие опасности: к тому, что искусственный интеллект может легко приобрести крайне опасные предубеждения. Это еще одна демонстрация того, что в любом благом действии так же, как и в случае с ИИ и нейросетями люди получают то, что вкладывают в них, поэтому крайне важно тренировать эти

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

платформы так, чтобы они не формировали жестких предубеждений. И уж точно не стоит давать им возможность мониторить и проникать по темным закоулкам сети.

ЗАКЛЮЧЕНИЕ

По итогам можно сказать, что искусственный интеллект - это «тёмный лес», в котором мы «блуждаем», для создания настоящего искусственного интеллекта. Необходимо изначально понять, что такое естественный интеллект, а после занимать искусственным. А мнения о ИИ будут расходиться до тех пор, пока кто-то из предвестников судьбы ИИ окажется прав, а кто будет из них прав покажет только будущее. Для того, чтобы не сбылись наши худшие пред опасения, необходимо обеспечить независимость ИИ от дурного влияния, научить заранее его, что такое «плохо» и, что такое «хорошо». Нужно создать систему ограничения для суперкомпьютера, которая не позволит каким-либо образом навредить человечеству. На данный момент вкладываются огромные деньги в разработку безопасного ИИ, будем надеяться, что они пойдут во благо всего человечества.

Список литературы

1. Гончаренко Ю.Ю., Нестеренко В.Р. Использование случайных биометрических образов для генерации криптостойких последовательностей с применением генеративносостязательных нейронных сетей // Научный результат. Информационные технологии. - Т.4, №2, 2019. C. 69-74.

2. Искусственный интеллект общего назначения. ТЗ, текущее состояние, перспективы. URL: https://habr.com/ru/post/468379/.

3. Информатика, управление и искусственный интеллект // Тезиси науково-техшчно! конференцп студенев, мапс^в та астранпв. Х.: НТУ, Харьков, 2019. 106 с.

4. История возникновения искусственного интеллекта. URL: https://neuronus.com/history/4-istoriya-vozniknoveniya-ikustvennogo-intellekta.html.

5. Кисселев Б.Н. Результаты интеллектуальной деятельности, созданный искусственным интеллектом, и результат интеллектуальной деятельности, созданный при помощи искусственного интеллекта // Актуальные проблемы науки и практики: гатчинские чтения-2019. // Сборник научных трудов по материалам VI Международной научно-практической конференции, 2019. С. 133-126.

6. Люлько О. Искусственный интеллект / Artifical intelligence: how do robots navigate? Информационные технологии в преподавании и научно-технический перевод. // Сборник научно-методических статей. Москва, 2014. С. 231-234.

7. Норман: первый в мире искусственный интеллект-психопат URL: https://www.popmech.ru/technologies/news-426782-norman-pervyy-v-mire-iskusstvennyy-intellekt-psihopat/.

8. Проблема искусственного интеллекта: человек и машина. URL: https://neuronus.com/stat/1392-problema-iskusstvennogo-intellekta-chelovek-i-mashina.html.

9. Перспективы развития искусственного интеллекта. URL: https://trashbox.ru/topics/120627/perspektivy-razvitiya-iskusstvennogo-intellekta.

10. Рязанов С.И. Искусственный интеллект как множество классификация искусственных интеллектов // УлГТУ Сборник материалов 54-й научно-технической конференции в 3 ч. Ульяновск, 2020. С. 72-75.

11. Разработанный Microsoft искусственный интеллект научился расизму за сутки. URL: https://tj ournal.ru/flood/25311 -razrabotannyy-microsoft-iskusstvennyy-intellekt-nauchilsya-rasizmu-za-sutki.

12. International journal of advanced computer science and applications, 2018. P. 16-32.

13. Proceedings - 14th Mexican international conference on artificial intelligence: advances in artificial intelligence, Micai, 2015.

14. Yarichin E.M., Gruznov V.M., Yarichina G.F. // Intellectual paradigm of artificial vision: from video-intelligence to strong artificial intelligence // International Journal of Advanced Computer Science and Applications. 2018. Т. 9. № 11. С. 16-32.

References

1. Goncharenko Yu.Yu., Nesterenko V.R. the Use of random biometric images for generating cryptographic sequences using generative-binding neural networks. Research Result. Information technologies, Vol. 4, No. 2, 2019. P. 69-74.

Шмагин В.С., Маслова М.А. Обзор и анализ развития искусственного интеллекта // Научный результат. Информационные технологии. - Т.5, №4,2020

2. General purpose artificial intelligence. TK, current state, prospects. URL: https://habr.com/ru/post/468379/.

3. Computer Science, Management and Artificial Intelligence // Abstracts of scientific and technical conferences of students, masters and postgraduates. Kh.: NTU, Xarkov, 2019. 106 pp.

4. The history of the emergence of artificial intelligence. URL: https://neuronus.com/history/4-istoriya-vozniknoveniya-ikustvennogo-intellekta.html

5. Kisselev B.N. The results of intellectual activity, created by artificial intelligence, and the result of intellectual activity, created with the help of artificial intelligence // Actual problems of science and practice: Gatchina readings-2019. // Collection of scientific papers based on the materials of the VI International Scientific and Practical Conference, 2019, P. 133-126.

6. Lyulko O. Artifical intelligence: how do robots navigate? Information technology in teaching and scientific and technical translation. // Collection of scientific and methodological articles. Moscow, 2014. P. 231-234.

7. Norman: the world's first artificial intelligence psychopath. URL: https://www.popmech.ru/technologies/news-426782-norman-pervyy-v-mire-iskusstvennyy-intellekt-psihopat/.

8. The problem of artificial intelligence: man and machine. URL: https://neuronus.com/stat/1392-problema-iskusstvennogo-intellekta-chelovek-i-mashina.html.

9. Prospects for the development of artificial intelligence. URL: https://trashbox.ru/topics/120627/perspektivy-razvitiya-iskusstvennogo-intellekta.

10. Ryazanov S.I. Artificial intelligence as a set classification of artificial intelligence // UlSTU Collection of materials of the 54th scientific and technical conference at 3 hours. Ulyanovsk. P. 72-75.

11. Artificial intelligence developed by Microsoft learned racism in a day. URL: https://tj ournal.ru/flood/25311 -razrabotannyy-microsoft-iskusstvennyy-intellekt-nauchilsya-rasizmu-za-sutki.

12. International journal of advanced computer science and applications, 2018. P. 16-32.

13. Proceedings - 14th Mexican international conference on artificial intelligence: advances in artificial intelligence, Micai, 2015.

14. Yarichin E.M., Gruznov V.M., Yarichina G.F. // Intellectual paradigm of artificial vision: from video-intelligence to strong artificial intelligence // International Journal of Advanced Computer Science and Applications. 2018. T. 9. № 11. P. 16-32.

Шмагин Виталий Сергеевич, студент 4 курса кафедры Информационная безопасность Института радиоэлектроники и информационной безопасности

Маслова Мария Александровна, аспирант, старший преподаватель кафедры «Информационная безопасность» Института радиоэлектроники и информационной безопасности

Shmagin Vitaly Sergeevich, 4th year student of the Department Information security, Institute of Radioelectronics and Information security

Maslova Maria Alexandrovna, post-graduate student, senior lecturer of the Department «Information security», Institute of Radioelectronics and Information security

i Надоели баннеры? Вы всегда можете отключить рекламу.