X Международная студенческая научная конференция Студенческий научный форум - 2018

В статье проведен анализ существующих разработок и инноваций по распознаванию эмоций с применением нейронных сетей, находящихся в открытом доступе, в рамках курсового проекта по дисциплине «ML.ОТС». Научный руководитель – Буянов Б.Я.

Эмоции играют очень большую роль в повседневной жизни и определение выражения лица или эмоционального состояния человека обретает все более высокую важность и может использоваться при решении множества задач:

Проведение психологической диагностики;

Обнаружение обмана;

В средствах принятия решений;

Оценка и тестирование рекламных роликов или нового продукта по эмоциональной реакции фокус-группы;

Мониторинг стресса и усталости;

Определение агрессивно и негативно настроенных людей.

Таким образом машинное понимание мимики и эмоций было бы очень полезно для совершенно разных областей.

Использование автоматизированных программных средств для распознавания эмоций является эффективным решением данных задач.

Целью данной статьи является анализ работы приложений по распознаванию эмоций с использованием нейронных сетей на примере на примере Microsoft Cognitive Emotion и eMotion Software.

СКЛиД и распознавание эмоций

Эмоции - естественный физиологический ответ человеческого организма на воздействия внутренних и внешних раздражителей, связанные с удовлетворением или неудовлетворением потребностей.

Выделяют семь базовых видов эмоций: радость, печаль, презрение, отвращение, удивление, страх, злость, а также нейтральное состояние [1].

Существует система кодирования лицевых движений (СКЛиД, Facial Action Coding System, FACS), которая представляет собой систему для классификации выражений лица человека, разработанную специалистом в области психологии эмоций Полом Экманом [2].

Исследователи добились определённых успехов в использовании компьютеров для автоматической идентификации кодов СКЛиД, и тем самым быстрого определения типов эмоций [2].

Для выделения признаков лица используют двигательные единицы (ДЕ, Action Units, AU), которые представляют собой основные движения, совершаемые отдельными мышцами или группой мышц [2]. Коды ДЕ представлены ниже [3]:

1 – Приподнята внутренняя бровь;

2 – Приподнята внешняя бровь;

4 – Опущена бровь;

5 – Приподнято верхнее веко;

6 – Приподнята щека;

7 – Натянуты веки;

8 – Губы навстречу друг другу;

9 – Сморщен нос;

10 – Приподнята верхняя губа;

11 – Углублена носогубная складка;

12 – Приподнят уголок губы;

13 – Остро приподнят уголок губы;

14 – Ямочка на щеке;

15 – Опущен уголок губы;

16 – Опущена нижняя губа;

17 – Приподнят подбородок;

18 – Сморщены губы;

20 – Растянуты губы;

22 – Губы воронкой;

23 – Натянуты губы;

24 – Губы сжаты;

25 – Губы разведены;

26 – Опущена челюсть;

27 – Широко открыт рот;

54 – Голова вниз;

64 – Глаза вниз;

Далее все ДЕ объединяются в СКЛиД. В таблице 1 представлена эмоциональная СКЛиД, в которой отображены коды ДЕ и прототипы лица соответствующих эмоций. Для обозначения интенсивности задействования ДЕ к номеру ДЕ добавляют латинские буквы от A до E, в зависимости от минимальной – максимальной интенсивности движения [2, 4].

А - Слабо различимое;

B – Незначительное;

С - Заметное или ярко выраженное;

D - Сильное или крайне заметное;

E – Предельное;

Таблица 1

Эмоциональная система кодирования лицевых движений [2, 4]

Эмоция	Прототип
Удивление	1+2+5B+26; 1+2+5B+27;
Страх	1+2+4+5*+20*+25, 26, или 27; 1+2+4+5*+25, 26, или 27;
Радость	6+12*; 12C/D;
Печаль	1+4+11+15B с/без 54+64; 1+4+15* с/без 54+64; 6+15* с/без 54+64;
Отвращение	9; 9+16+15+26; 9+17; 10*; 10*+16+25, 26; 10+17;
Презрение	9 или одностороннее 10; 12; 14;
Злость	4+5*+7+10*+22+23+25, 26; 4+5*+7+10*+23+25, 26; 4+5*+7+23+25, 26; 4+5*+7+17+23, 24; 4+5*+7+23, 24;

Программа eMotion Software

Компьютерная программная система, способная автоматически анализировать в режиме реального времени выражения лиц людей в видеороликах. Распознаются эмоциональные категории, такие как радость, удивление, грусть, страх, гнев и отвращение. Система работает в режиме реального времени на ПК и веб-камере. Кроме того, она нечувствительна к изменениям освещения, движениям головы, частичной окклюзии лица (например, временно перемещая руку перед лицом) [5].

Программа MicrosoftCognitiveEmotion

Microsoft Cognitive Emotion – приложение для распознавания эмоций от одной из ведущих IT-компаний в мире. Имеет возможность подачи на вход, как фото, так и видео материалов. Данный продукт использует возможности Microsoft Cognitive Face для распознавания человеческого лица, который на выходе отображает рамку вокруг лица. Также присутствуют показатели семи основных эмоций и нейтрального состояния. Сумма всех коэффициентов равна единице [6].

Тестирование работы программ для распознавания эмоций

Протестируем рассматриваемые приложения на примере собственных изображений и видеопотока с Web - камеры.

MicrosoftCognitiveEmotion

Рассмотрим работу программы Microsoft Cognitive Emotion, на вход подав изображения.

Рис. 1. Результат распознавания эмоции «Печаль»

Рис. 2. Результат распознавания эмоции «Радость»

На рисунке 1 и 2 показаны изображения, которые были поданы на вход. После анализа был получен результат данных изображений, представляющий собой показатели для каждого вида эмоции, сумма которых в итоге равна 1. Поле, находящееся справа предоставляет пользователю информацию, содержащуюся в области, обведенную квадратом, о положении лица, т. е. координаты, и о показателях для всех видов эмоций.

eMotionSoftware

Рассмотрим работу следующей программы eMotion Software, снимая видео с Web – камеры в режиме реального времени.

Рис. 3. Результат распознавания эмоции «Печаль»

Рис. 4. Результат распознавания эмоции «Радость»

На рисунке 3 и 4 изображены результаты программы. Справа от изображения выведены 6 видов эмоций и нейтральное состояние, которые в процессе меняются в реальном времени, шкала заполнения показывает тот или иной вид эмоции. Ниже строится график изменения положительных и отрицательных эмоций.

Результаты

Результаты работы программ вынесены в таблицу 2.

Таблица 2

Результаты распознавания эмоций на рассматриваемых примерах:

Эмоция	Microsoft Cognitive Emotion [6]			eMotion Software [5]
Номер рисунка	Рис. 1	Рис. 2	Рис. 3		Рис. 4
Нейтральное состояние	0,00011	0,02174	0,00		0,00
Радость	0,00001	0,97657	0,00		0,87
Удивление	0,00008	0,00008	1,00		0,00
Злость	0,00011	0,00000	0,00		0,00
Отвращение	0,00090	0,00001	0,00		0,13
Страх	0,00008	0,00000	0,00		0,00
Грусть	0,90267	0,00045	0,00		0,00
Презрение	0,02928	0,00114	-		-

Приложение eMotion Software на рис.3 определило эмоцию «Удивление» в то время, как по таблице 1, когда опущены уголки губ, и приподнята внутренняя часть брови – это «Печаль». К тому же данное приложение не умеет распознавать эмоцию «Презрение». Приложение от Microsoft лучше справилось с данной задачей, но, к сожалению, данное приложение работает только с изображениями и записанными видео.

Таким образом было принято решение о разработке своего программного обеспечения по распознаванию эмоционального состояния человека на микрокомпьютере Ruspberry Pi 3 с подключенной к нему камерой, которая будет считывать изображение в режиме реального времени.

Список литературы

https://ru.wikipedia.org/wiki/Эмоция.

https://ru-m.wiki.ng/wiki/Система_кодирования_лицевых_движений.

http://web.cs.wpi.edu/~matt/courses/cs563/talks/face_anim/ekman.html - Эмоциональная система кодирования лицевых движений.

Ekman P., Friesen W.V., Hager J.C. – Facial Acton Coding System. The Manual. Research Nexus division of Network Information Research Corporation Publ., 2002.

http://www.visual-recognition.nl/eMotion.html - программа eMotion Software.

https://azure.microsoft.com/en-us/services/cognitive-services/emotion/ - программа Microsoft Cognitive Emotion.

Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица. Инженерный журнал: наука и инновации, 2016, вып. 9.

https://www.microsoft.com/cognitive-services - официальный сайт сервисов компании Microsoft.

Код для цитирования: Скопировать