IX Международная студенческая научная конференция Студенческий научный форум - 2017

Введение

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Актуальность исследований в этом направлении подтверждается массой различных применений результатов достигнутых в данном технологическом направлении. С помощью нейросетей можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту. В то время как на западе применение НС уже достаточно обширно, однако в России эта технология еще в некоторой степени воспринимается как экзотика.

Целью данной работы является - раскрытие темы расширенного машинного обучения как одного из основных технологических трендов современности и выявление основных компаний, принимающих участие в развитии данного направления.

Для достижения цели были поставлены определенные задачи:

• раскрытие основных технологических трендов ближайшего пятилетия;

• систематизация основной информации о технологии машинного обучения (искусственные нейросети);

• выделение основных компаний, принимающих участие в развитии искусственных нейросетей.

1. Основные технологические тренды 2016-2020 годов

Аналитики портала Gartner оценили современные инновации и уточнили, какие технологии на пике развития, какие будут востребованы в самом ближайшем будущем, а какие постепенно сходят на «нет».

Видение тенденций они отразили графически с помощью своеобразного «цикла зрелости» (Hype Cycle for Emerging Technologies, 2015).

Рис. 1. Цикл зрелости

На пике развития — Интернет Вещей (Internet of Things, IoT) и Автономно управляемый Автомобиль (Autonomous Vehicles). По оценкам Gartner к 2018 году в мире будет около 6 млрд. подключенных к глобальной сети устройств. А вот Большие Данные (Big Data), как ведущий тренд последних нескольких лет, потеряли приоритетное значение. Это связано с тем, что многие сегодняшние технологии, «соприкасающиеся» с Большими Данными, становятся повседневностью.

Кроме того, по объемам инвестиций и проводимым в мире научным исследованиям, на пике развития находятся: решения для визуализации и самостоятельного анализа (Advanced Analytics with Self-Service Delivery), быстрый перевод в режиме on-line с одного языка на другой (Speech-to-Speech Translation), машинное обучение (Machine Learning). Эксперты Gartner ожидают, что в недалеком будущем будут востребованы решения по хранению данных и параллельному доступу к ним (NoSQL Database), системы по предварительной обработке потоков информации (Marshalling) и средства интеллектуального анализа данных (Business Intelligence и Data Mining), которые уже сегодня выходят на новый технологический уровень развития.

Относительно перспектив, аналитики Gartner определили 10 Технологических трендов

1.  
   1. Сетевые устройства (The Device Mesh)

Сетевые устройства-терминалы, которые соединят в едином информационном пространстве гаджеты используемые человеком такие, как смартфоны, потребительские и домашние электронные устройства, мобильные персональные компьютеры, встроенные автомобильные устройства, транспортную инфраструктуру и экологические датчики. Подключенные, например, через GPS или GLONASS в сеть Интернета вещей (IOT).

Посредством единой сети конечные пользователи получают оперативный доступ к приложениям и полезной информации. Чтобы взаимодействовать через сеть с другими людьми, социальными сообществами и группами, правительственными учреждениями, использовать в работе.

1.  
   1. Интерфейс по единому взаимодействию (Ambient User Experience)

К 2018 году прогнозируется работа через сеть не только отдельных мобильных устройств, но и заводов, и производств. Способность создавать общие правила и поддерживать единый интерфейс взаимодействия станет важным фактором дифференциации поставщиков программного обеспечения и предприятий.

1.  
   1. Материалы для 3-х мерной печати (3D Printing Materials)

Развитие технологий 3D-печати привело сначала к росту количества, а затем к повышению качества и к снижению стоимости применяемых материалов, используемых для этой цели. Включая сплавы никеля, углеродное волокно, стекло, электропроводящие чернила, фармацевтические и биологические материалы. Поэтому дальнейший растущий пользовательский спрос будет способствовать появлению новых и новых материалов.

Так скоро 3D-принтеры найдут практическое применение в новых областях, таких как аэрокосмическая промышленность, медицина, автомобилестроение, энергетика и военно-промышленный комплекс. Прогнозируется, что в период до 2019 года среднегодовой рост поставок 3D-принтеров для предприятий составит 64%.

1.  
   1. Информацияобовсем (Information of Everything)

Существующие вычислительные системы обрабатывают данные в виде цифр, текста, аудио или видео. Появление новых типов, передаваемых и принимаемых данных, например, сенсорной и контекстной информации, приведет к появлению новых методов обработки данных и к объединению новых источников.

Сегодня, такие источники информации изолированы друг от друга, не отличаются полнотой представления данных, иногда вовсе недоступны для общего взаимодействия. Новые технологические достижения, основанные на методах семантического анализа и построении графовых баз данных, наряду с другими новыми методами анализа и классификации данных, помогут упорядочить хаотичность «Информации обо всем» или, так называемой, информационной вселенной.

1.  
   1. Расширенное машинное обучение (Advanced Machine Learning)

Расширенное машинное обучение и глубокие нейронные сети (deep neural nets — DNS) станут следующим шагом классических вычислений и управления информацией. Следовательно, основой для создания систем, которые смогут автономно научиться воспринимать мир, т.е. работать самостоятельно, без непосредственного участия человека. Бурный рост источников данных и сложность обрабатываемой информации сделает производимые «по старинке» классификацию и анализ невозможными и экономически невыгодными. Поэтому DNS позволят автоматизировать такие задачи и решить проблемы, связанные с возрастающим объемом сложной для обработки информацией.

1.  
   1. Автономныеагентыивещи (Autonomous Agents and Things)

Машинное обучение приведет к появлению спектра умных машин и связанных с ними вещей, в том числе роботов, автономных транспортных средств, виртуальных личных помощников (ассистентов) и умных (смарт) консультантов-советников, которые будут действовать в автономном (или, по крайней мере, полуавтономное) режиме. В ближайшее время будет наблюдаться прогресс в разработке программного обеспечения для таких смарт-машин. И не последнюю роль при этом будет играть удобный, простой и понятный пользовательский интерфейс. Предшественниками автономных агентов сегодня можно считать Google Now, Microsoft Cortana и Apple Siri. Так, по оценкам Gartner к 2020 году автономные программные агенты, не нуждающиеся в личном управлении человеком, будут участвовать в 5% экономических транзакций, а 40% взаимодействий с мобильными устройствами осуществляться через «умных» помощников.

1.  
   1. Адаптивная архитектура безопасности (Adaptive Security Architecture)

Опоры на круговую оборону и использование политик безопасности уже не достаточное условием защиты. Особенно для организаций использующих облачные услуги или сервисы, открытые интерфейсы для своих клиентов и партнеров. ИТ-руководители должны будут по-прежнему сосредотачивать внимание на выявление внешних угроз, но кроме текущих мер по безопасности, необходимо обратиться к более сложным адаптивным методикам, включая анализ поведения пользователей, сетевых сообществ и использовать их на практике. По оценкам Gartner к 2020 году 95% проблем с безопасностью будут вызваны действиями клиентов, а не поставщиков сервисов и услуг.

1.  
   1. Улучшеннаясистемнаяархитектура (Advanced System Architecture)

Цифровые сети устройств и умные машины постоянно выдвигают требования по интенсификации создаваемых вычислительных архитектур для того, чтобы сделать их взаимодействие жизнеспособным и выгодными для организаций. Как результат подобных исследований и разработок, появятся эффективные нейроморфные архитектуры. Они будут базироваться на программируемых вентильных матрицах (field-programmable gate arrays — FPGA) и графических ускорителях (graphics processing unit — GPU), которые позволят работать на скоростях больших, чем терафлоп, причем с высокой энергетической эффективностью.

1.  
   1. Сетевые приложения и сервисная архитектура (Mesh App and Service Architecture)

Монолитные линейные разработки приложений (например, трехуровневая архитектура) будут уступать место более гибкой архитектуре приложений, основанной на программно-конфигурируемых сервисах. Такой подход приведет к росту производительности веб-масштаба, гибкости и будет способствовать быстроте функционирования. Например, микро-сервисная архитектура явится новым образцом для построения распределенных приложений, поддерживая гибкую доставку данных и предоставляя масштабируемость развертывания, как на локальных корпоративных компьютерах, так и в облаке.

1.  
   1. Платформы для интернета вещей (Internet of Things Platforms)

Платформы для интернета вещей уже сегодня дополняют сетевые приложения и сервисную архитектуру. Поэтому управление, безопасность, интеграция с другими технологиями и стандартами для интернета вещей формируют базовый набор возможностей для построения и управления таких платформ. Тем не менее, ожидается, что первый стандарт для платформы IoT может появиться не ранее 2018 года. Вот почему на 2016 год исследователи Gartner определяют интернет вещей, включая разработку соответствующих платформ, как один из важнейших технологических трендов. [1]

1. Технологический тренд – расширенного машинного обучения

Первая половина 2016 года ознаменовалась множеством разработок в сфере нейронных сетей. Демонстрацию своих алгоритмов производили Microsoft (ряд сервисов для распознавания изображений), Google (сеть-игрок в го AlphaGo), стартапы Prisma, MSQRD, и другие. Что представляют собой нейронные сети, какая в них необходимость и по какой причине они покорили планету именно в это время, а не годами раньше или позже, сколько денег можно на них заработать и кто входит в состав основных игроков рынка?

1.  
   1. Что представляют собой нейронные сети и какие они могут решать задачи

Нейросети являются одним из направлений в разработке концепций искусственного интеллекта. Идея состоит в том, чтобы как можно точнее смоделировать деятельность нервной системы человека, а именно - её способности к исправлению ошибок и обучению. В этом заключается главная особенность каждой нейронной сети — она обладает способностью к самостоятельному обучению и может действовать, извлекая уроки из предыдущего опыта, совершенствуясь и с каждым разом уменьшая количество ошибок.

Нейронная сеть не только моделирует деятельность, но и равняется на структуру человеческой нервной системы. Такая сеть включает в себя большое количество индивидуальных вычислительных элементов («нейронов»). Преимущественно каждый «нейрон» можно отнести к определённому пласту сети. Входные данные поэтапно обрабатываются на всех пластах сети. Сеть оперирует параметрами каждого «нейрона», ей известен порядок деятельности всей системы. Она обладает способностью менять этот порядок исходя из результатов, которые были получены на предыдущем собрании входных данных.

Андрей Калинин, являющийся в Mail.Ru Group руководителем направления «Поиск Mail.ru», отмечает способность нейронных сетей к решению таких же задач, как и других алгоритмов обучения машин, разница состоит только в подходе к обучению.

Все задачи, решение которых по силам нейронным сетям, тем или иным образом связаны с обучением. К основным сферам применения нейронных сетей можно отнести:

• анализ данных,

• принятие решений,

• прогнозирование,

• оптимизацию,

• идентификацию образов.

Влад Шершульский, директор программ технологического сотрудничества Microsoft в России, отмечает, что в настоящий момент нейросети приобрели повсеместное использование. К примеру, многие большие интернет-сайты пользуются ими, чтобы реакцию на действия пользователей можно было привести в более естественный и полезный своей аудитории формат. Нейросети положены в основу большинства передовых методик идентификации и обработки картинок, а также идентификации и синтеза речи. Они применимы в некоторых системах навигации, как в промышленных роботах, так и в беспилотных автомобилях. Алгоритмы на базе нейросетей предохраняют информационные системы от нападок злоумышленников и способствуют выявлению незаконного контента в сети.

По мнению Влада Шершульского, в недалёкой перспективе (5-10 лет) нейронные сети приобретут ещё более широкое использование.

Представьте, к примеру, сельскохозяйственный комбайн, исполнительные устройства которого оснащены множеством видеокамер.

Он производит 5 тысяч фотографий в минуту каждого растения по траектории своего движения и, пользуясь нейросетью, анализирует — не сорняк ли это, не поражено ли оно вредителями или болезнью. В итоге каждое растение подвергается индивидуальной обработке. Фантастика? Уже не совсем. А лет через пять может стать нормой.

Михаил Бурцев - заведующий лабораторией нейросистем и глубокого обучения Центра живых систем МФТИ, приводит вероятную карту прогресса нейросетей на 2016-2018 годы:

• голосовые интерфейсы взаимодействия для интернета вещей;

• системы идентификации и классификации изображённых объектов;

• системы обнаружения неполадок (в том числе, прогнозирующие время технического обслуживания), кибер-физических угроз, аномалий;

• системы мониторинга качества предоставления услуг в колл-центрах;

• системы мониторинга и интеллектуальной безопасности;

• замена части обязанностей операторов колл-центров ботами;

• системы видеоаналитики;

• интеллектуальные, самообучающиеся системы руководства производственными процессами и механизмами (в том числе, робототехнические);

• самообучающиеся системы, повышающие качество управления материальными потоками или рационализирующие расположение объектов (в транспорте, на складах);

• возникновение персональных ассистентов или ботов-консультантов технической поддержки, по функциональности близких к человеку;

• возникновение систем универсального перевода «на лету» для персонального использования и конференций.

По мнению Григория Бакунова, директора по распространению технологий «Яндекса», в ближайшие пять лет основой для популяризации нейросетей станут способности таких систем к принятию разнообразных решений. Главное, что в настоящее время делают нейронные сети для людей, — избавляют их от излишних принятий решений. Так что появляется возможность использовать их практически всюду, где живыми людьми принимаются не слишком интеллектуальные решения. В последующие пять лет будет использоваться именно эта способность, использование которой сможет принятие решений человеком заменить работой простого автомата. [3]

1.  
   1. Почему именно сейчас нейронные сети приобрели такую популярность

Учёные разрабатывают искусственные нейронные сети более 70 лет. Реализацию первой попытки формализовать нейросеть относят к 1943 году. В то время два американских учёных Уолтер Питтс и Уоррен Мак-Каллок представили публикацию о логическом исчислении нервной активности и человеческих идей.

Однако, по словам Андрея Калинина из Mail.Ru Group до недавнего времени скорость функционирования нейросетей была слишком низкой для того, чтобы у них была возможность приобрести широкое распространение. По этой причине такие системы по большей части направлялись на исследования, связанные с компьютерным зрением, а в остальных сферах были задействованы другие алгоритмы машинного обучения.

Обучение нейронной сети является длительной и трудоёмкой частью процесса её разработки. Для приведения нейронной сети к способности корректного решения поставленных задач, необходимо «прогнать» её работу на десятках миллионов наборов входных данных. Собственно появлением разнообразных механизмов ускоренного обучения и объясняют распространение нейросетей Григорий Бакунов и Андрей Калинин.

Главное, что сейчас произошло, как сообщает Бакунов, это появились различные уловки, позволяющих производить нейронные сети, гораздо менее подверженные переобучению.

Во-первых, замечает Калинин, общий доступ открылся большому массиву размеченных изображений (ImageNet), на которых появилась возможность обучаться. Во-вторых, наличие современных видеокарт обеспечивает возможность обучения нейросетей в сотни раз быстрее и их использование. В-третьих, появились готовые, распознающие образы предобученные нейросети, на базе которых можно создавать свои приложения, не тратя силы на длительную подготовку нейронной сети к работе. Всё это, по словам Калинина, обеспечивает очень мощный прогресс нейронных сетей именно в сфере распознавания образов.

1.  
   1. Каковы объемы рынка нейронных сетей

Как утверждает Григорий Бакунов, директор по распространению технологий «Яндекса», величину рынка очень легко вычислить. Для этого берём любую сферу деятельности, в которой эксплуатируется низкоквалифицированный труд, — к примеру, работу операторов колл-центров — и просто отнимаем все людские ресурсы. Речь идет, по его словам, о многомиллиардном рынке даже в пределах отдельной страны. Можно легко понять, какое количество людей во всём мире задействовано на низкоквалифицированных работах. Так что, даже выражаясь очень абстрактно, скорей всего можно говорить о стомиллиардном рынке во всем мире.

Больше половины профессий, по некоторым оценкам, будет автоматизировано, отмечает Андрей Калинин из Mail.Ru Group. Это и составляет максимальный объём, на который сможет увеличиться рынок алгоритмов машинного обучения (и нейронных сетей в частности).

Следующим шагом в автоматизации любых действий и в разработке какого-либо программного обеспечения являются алгоритмы машинного обучения. Из этого следует, что рынок как минимум соответствует всему рынку программного обеспечения а, скорей всего, даже превосходит его, так как становится возможным изготовление новых интеллектуальных решений, недоступных старому программному обеспечению, продолжает Андрей Калинин, руководитель направления «Поиск Mail.ru» в Mail.Ru Group.

Зачем разработчики нейронных сетей производят для массового рынка мобильные приложения

За несколько последних месяцев рынок пополнился сразу на несколько ставших популярными развлекательных проектов, применяющих нейронные сети — это и российские приложения для обработки фотографий Prisma (в июне получил инвестиции от Mail.Ru Group), и Mlvch, и выкупленный социальной сетью Facebook популярный видеосервис MSQRD, и другие.

Демонстрировали навыки своих нейронных сетей, следующие компании:

Яндекс. В мае командой был создан проект LikeMo.net для рисования в манере известных художников, в июне в приложение «Авто.ру» командой встроен сервис для распознавания автомашин на снимках; а также компания представила музыкальный альбом, записанный нейросетями;

Microsoft. Определяющий возраст человека на фотографии сервис HowOld, распознающий изображения на фотографиях и автоматически генерирующий подписи к ним проект CaptionBot; проект WhatDog, определяющий породу собаки по снимкам и так далее;

Google. в марте 2016 года корпорацией продано на аукционе 29 нарисованных нейросетями картин, сервис AlphaGo выиграл в го у чемпиона, и так далее.

Подобные развлекательные сервисы скорей всего производятся не для решения глобальных задач, ставку на которые ставят нейросети, а для демонстрации навыков нейронной сети и осуществления её обучения.

Характерной особенностью нашего поведения как биологического вида, по мнению Влада Шершульского из Microsoft, являются игры. С одной стороны, посредством игровых ситуаций можно смоделировать почти все типовые сценарии человеческого поведения, с другой стороны — и создатели игр и, в особенности, игроки могут вдоволь насладиться игровым процессом. Существует и аспект сугубо утилитарный. Разумно спроектированная игра не только приносит игрокам удовлетворение: она обучает в процессе игры нейросетевой алгоритм. Ведь нейросети, по его словам, как раз и базируются на обучении посредством примеров.

Григорий Бакунов из «Яндекса» утверждает, что это делается в первую очередь для того, чтобы продемонстрировать возможности технологии. На самом деле, другой причины, нет. Если говорить о Prisma, то ясно, с какой целью они это делали. Создатели разработали некоторый пайплайн, который обеспечивает их работу с картинками. Они избрали для себя достаточно простой способ создания стилизаций для демонстрации этой работы. Почему бы и нет? Это всего лишь демонстрация работы алгоритмов, высказывает он своё мнение.

Андрей Калинин из Mail.Ru Group придерживается другой точки зрения. Конечно, по мнению публики, это - эффектно. С другой стороны, Андрей сомневается, что развлекательные продукты не найдут применения в более полезных сферах жизнедеятельности. К примеру, весьма актуальной для целого ряда индустрий является задача по стилизации образов. Это и мультипликация, и компьютерные игры, и дизайн — и это лишь несколько примеров. Использование нейронных сетей в полной мере, по его мнению, может значительно оптимизировать стоимость и способы создания для них контента. [2]

1.  
   1. Основные «игроки» на рынке нейронных сетей

Как утверждает Андрей Калинин, большинство представленных на рынке нейросетей по большому счёту мало чем друг от друга отличаются. У всех примерно равнозначные технологии. Но использование нейросетей, по его словам, это удовольствие, позволить которое могут себе далеко не все. Для самостоятельного обучения нейронной сети и произведения на ней множества экспериментов необходимы парк машин, оснащённых дорогими видеокартами и большие обучающие множества. Разумеется, что у крупных компаний такие возможности есть, говорит он.

К числу основных игроков на рынке нейросетей Калинин причисляет Google с её подразделением Google DeepMind, создавшее сеть Google Brain и AlphaGo. Microsoft также в этой сфере имеет собственные разработки. Разработки ведутся лабораторией Microsoft Research. Кроме того занимаются созданием нейронных сетей в Facebook (подразделение Facebook AI Research), IBM, Baidu (Baidu Institute of Deep Learning) и другие. Технические университеты по всему миру также проводят множество разработок.

1.  
   1. С какой целью создаются мобильные приложения для массового рынка

Как отмечает Григорий Бакунов, директор по распространению технологий «Яндекса», интересные разработки в сфере нейронных сетей попадаются и среди стартапов. Можно, к примеру, упомянуть компанию ClarifAI. Это созданный выходцами из Google небольшой стартап. Сейчас, пожалуй, у них лучше всех в мире, получается, определять содержание картинки. Кроме того, к числу таких стартапов можно отнести и Prisma, и MSQRD и другие.

Разработками в сфере нейронных сетей в России занимаются не только стартапы, но и крупные технологические компании, к примеру, холдинг Mail.Ru Group использует нейросети для того, чтобы обрабатывать и классифицировать тексты в «Поиске», а также для анализа изображений. Кроме того, компанией проводятся экспериментальные разработки, связанные с диалоговыми системами и ботами.

Разработкой собственных нейросетей занят в том числе и «Яндекс». Такие сети в основном уже используется при работе со звуком, с изображениями, однако команда Яндекса исследует их возможности и в других сферах. В настоящий момент много экспериментов ставится в использовании нейронных сетей в работе с текстом. Помимо этого, разработки производятся в университетах: в «Сколтехе», ВШЭ, МГУ, МФТИ, и других.

Заключение

Развитие нейронных сетей вызвало немало энтузиазма и критики. Некоторые сравнительные исследования оказались оптимистичными, другие - пессимистичными. Для многих задач, таких как распознавание образов, пока не создано доминирующих подходов. Нужно пытаться понять возможности, предпосылки и область применения различных подходов и максимально использовать их дополнительные преимущества для дальнейшего развития интеллектуальных систем.

Множество надежд в отношении нейронных сетей сегодня связывают именно с аппаратными реализациями, но пока время их массового выхода на рынок, видимо, еще не пришло. Они или выпускаются в составе специализированных устройств, или достаточно дороги, а зачастую и то и другое. На их разработку тратится значительное время, за которое программные реализации на самых последних компьютерах оказываются лишь на порядок менее производительными, что делает использование нейропроцессоров нерентабельным. Но все это только вопрос времени — нейронным сетям предстоит пройти тот же путь, по которому еще совсем недавно развивались компьютеры, увеличивая свои возможности и производительность, захватывая новые сферы применения по мере возникновения новых задач и развития технической основы для их разработки.

Сегодня нейронные сети используются для работы в относительно узких областях, и неизвестно, доверят ли им когда-нибудь решение вопросов, которые требуют понимания социального контекста. Между тем нейронные сети уверенно продолжают проникать в нашу жизнь, и примеров тому немало.

Список литературы

1. В. Шкель. Статья: «Gartner определила пиковые технологии 2015 года, назвала десятку важнейших технологий следующего года и сделала прогноз до 2020 года включительно» [Электронный ресурс]. Режим доступа: https://www.kv.by/content/339728-v-shkel-gartner-opredelila-pikovye-tekhnologii-2015-goda-nazvala-desyatku-vazhneishik

2. Статья: «Кому и зачем нужны нейронные сети, и какую они могут принести прибыль» [Электронный ресурс]. Режим доступа: https://vc.ru/p/neural-networks

3. Статья: «Что такое искусственные нейронные сети?» [Электронный ресурс]. Режим доступа: https://habrahabr.ru/post/134998/

Код для цитирования: Скопировать