X Международная студенческая научная конференция Студенческий научный форум - 2018

Введение

Технология LSD-SLAM - подход к локализации и сопоставлению на основе ключевого кадра, который основывается на следующих этапах [1]:

• движение камеры отслеживается в направлении опорного ключевого кадра на карте. Новые ключевые кадры генерируются, если камера слишком далеко отошла от существующих ключевых кадров;

• глубина (расстояние) в текущем эталонном ключевом кадре оценивается из стерео соответствий на основе отслеживаемого движения (временное стерео) [2];

• позиции ключевых кадров выполнены глобально согласованными с помощью взаимного прямого выравнивания изображений и оптимизации алгоритма графического позиционирования.

Для реализации требуется персональный компьютер на базе операционной системы Ubuntu, веб-камера, дополнительные программные пакеты.

В Stereo LSD-SLAM глубина в ключевых кадрах дополнительно оценивается непосредственно из статического стерео. Существует целый ряд преимуществ этого подхода: полагаться исключительно на временные или исключительно на статическую стереосистему. Статическая стереосистема позволяет оценивать абсолютный масштаб мира и не зависит от движения камеры. Тем не менее, статическое стерео ограничено постоянной базой (с во многих случаях фиксированным направлением), что эффективно ограничивает производительность до определенного диапазона [3].

Рисунок 1. Работа SLAM.

Временная стереосистема не ограничивает производительность до определенного диапазона. Один и тот же датчик может использоваться в очень малых и очень больших средах и легко перемещаться между ними. С другой стороны, он не обеспечивает масштабирование и требует передвижения камеры [4]. Дополнительным преимуществом сочетания временной и статической стереосистемы является то, что доступно несколько базовых направлений: в то время как статическое стерео обычно имеет горизонтальную базовую линию, что не позволяет оценить глубину вдоль горизонтальных кромок, временное стерео позволяет завершить карту глубины, обеспечивая другое движение направления [5].

Основные принципы реализации метода (алгоритма):

•обобщение LSD-SLAM на стереокамере, комбинируя временное и статическое стерео в прямом, режиме SLAM в режиме реального времени.

• моделирование изменения освещения при прямом выравнивании изображений, что повышает надёжность метода.

• систематическая оценка двух базовых наборов данных из полученных изображений.

Рисунок 2. Графическая реализация алгоритма SLAM на собственном примере.

Простая модель обучения на основе движения Визуальное моделирование подвижного объекта-наблюдателя производится с помощью свёрточной нейронной сети (CNN) [6]. Объект оптимизирует его визуальные представления, минимизируя ошибку преобразований камеры, полученной при его передвижении на основе предсказания. Выполнение этой задачи эквивалентно обучению нейронной сети с двумя потоками, принимающей два изображения в качестве входных данных и предсказывает перемещение, чему объект подвергался, когда он перемещался между по X и Y, из которых два изображения были получены. Чтобы узнать полезные визуальные представления, агент постоянно выполняет эту задачу (в зависимости от окружающей обстановки) [7].

Рассматриваются разные варианты предварительной оценки для оценки полезности изученных функций. Перфекционирование - процесс оптимизации значений случайно инициализированной нейронной сети для вспомогательной задачи, которая не совпадает с целевым преобразованием камеры из пар изображений. Рисунок 3: Изучение перемещения для контроля визуальных функций. Мобильный объект, оборудованный визуальными датчиками, получает последовательность изображений в качестве входных данных во время движения.

Движение объекта эквивалентно перемещению камеры. Перемещение ставится, как проблема прогнозирования [8].

Рисунок 4. Программная реализация.

Рисунок 5. Графический анализ движения с помощью прогаммы «SLAM Tuning».

Микрокомпьютер RaspberryPi3

Микрокомпьютер Raspberry Pi3 считается хорошим аппаратным устройством для реализации конечного продукта ввиду своих небольших размеров и быстродействия [9].

Что представляет из себя Raspberry Pi 3 Model B в техническом плане:

SoC: Broadcom BCM2837

Процессор: ARM Cortex-A53 (4 ядра)

Графический процессор: Broadcom VideoCore IV

Оперативная память: 1Гб LDDR2

Встроенные адаптеры: 10/100Мбит Ethernet,

Bluetooth 4.1 LE, Wi-Fi 802.11n

Рисунок 6. Микрокомпьютер Raspberry Pi3.

Для разработки рекомендуется использовать пакеты Keras, Theano. Взаимодействие с ними пользователя происходит через систему Linux (Ubuntu). Персональный компьютер – база для разработки алгоритма, который в будущем предстоит транспортировать в память микрокомпьютера.

Заключение

Исследование показало, что базовая реализация алгоритма SLAM возможна при использовании среднестатистического оборудования. В дальнейшем, считается целесообразным использовать аппаратуру с большей вычислительной способностью.

Списоклитературы

1. Davison A.J. Real(time simultaneous localisation and mapping with a

2. Володин, Ю.И. Телевизионная система объемного зрения для управления движением мобильного робота: дис…. канд. техн. наук: 05.02.05: защищена 04.06.11 / Володин Юрий Сергеевич. – Москва, 2011. – 209 с. 3. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition // Proceedings of the IEEE, 86(11): 2278–2324, 4. RoboMe [Электронный ресурс] // URL: http://robome.ru/tehnicheskoe_zrenie (дата обращения: 11.12.2017) 5. Петрова Т.В. Машинное зрение. Математические машины и системы. – 2009. - №4, с. 18 6. «Хабрахабр. Vision-based SLAM: монокулярный SLAM» Режим доступа: https://habrahabr.ru/company/singularis/blog/277537/ (дата обращения 14.12.2017г.)

7. Thrun S., Montemerlo M., Koller D., Wegbreit B., Nieto J., Nebot E. FastSLAM: an efficient solution to the simultaneous localization and mapping problem with unknown data association. Journal of Machine Learning Research, 2004

8. Круглов В. В., Борисов В. В. – Искусственные нейронные сети. Теория и практика – 2-е изд., стереотип. – М.: Горячая линия-Телеком, 2002. – 382 с.

9. «Raspberry Pi 3. Обзор и начало работы» Режим доступа: http://dmitrysnotes.ru/raspberry-pi-3-obzor-i-nachalo-raboty/ (дата обращения: 19.12.2017)

Код для цитирования: Скопировать