VIII Международная студенческая научная конференция Студенческий научный форум - 2016

ВВЕДЕНИЕ

 

Люди взаимодействуют с мультимедиа каждый день: чтение книг, просмотр телевидения, прослушивание музыки. Мы организуем и структурируем мультимедиа, чтобы потом воспользоваться ими снова. Мы создаем фотоальбомы наших праздников, мы храним любимые издания журналов в коробках, и используем видеомагнитофон для записи интересных нам телевизионных программ. Как правило, эти мультимедийные коллекции в конечном итоге пылятся в старых обувных коробках в кладовке, гарантируя

удовольствие и хорошее настроение, когда мы вновь откроем эту коробку много лет спустя.

За последние несколько десятилетий цифровые СМИ значительно распространились. С момента введения мультимедиа в персональные компьютеры, она стала общедоступной. Теперь можно легко и быстро оцифровать часть мультимедийных данных вокруг нас. Основным преимуществом оцифрованных данных от хранения данных в обувной коробке в том, что оцифрованными данными можно легко поделиться с другими людьми [4].

Таким образом, можно сказать, что этот удивительный прогресс стал возможным благодаря трем факторам:

- Во-первых, использование персональных компьютеров становится широко распространенным и их вычислительная мощность значительно увеличилась. Кроме того, мы сами, чуть ли не ежедневно, создаем мультимедийные данные с помощью устройств с высоким разрешением (цифровые камеры, сканеры, мониторы, принтеры).

- Во-вторых, высокоскоростная всемирная сеть Интернет в наше время стала широкодоступна, и есть практически в каждом доме, не говоря даже о различных крупных предприятиях и офисах. Следовательно, программное обеспечение для управления мультимедийными данными теперь доступно каждому, а его интерфейс достаточно прост, чтобы его поняли даже пользователи, далекие от мира высоких технологий.

- Наконец, некоторые давно существующие приложения и, практически, все приложения, создающиеся в настоящее время просто невозможно представить без мультимедийных данных [2].

В результате, мультимедиа не может остаться незамеченной в сегодняшнем мире Высоких технологий. Новые средства массовой информации, в том числе приложения Web 2.0, такие как социальные сети, блоги, wiki, YouTube, и подкастинг стали очень распространенны и становятся неотъемлемой частью нашей жизни.

Поэтому, сегодняшние мультимедийные базы данных представляют собой, разумеется, гораздо больше, чем просто текст и цифры - они включают в себя изображения, звуки, видео или другие документы, отсканированные или загруженные с Интернета [1].

Мультимедийные базы данных могут обеспечить более эффективное распространение информации при минимальных затратах средств и энергии в таких областях, как:

1.  Мультимедийные образовательные сервисы:

- Удаленное обучение;

- Учебные материалы;

- Архивы аудио-/видеоматериалов (для образования);

- Возможность предварительного просмотра.

2.  Видео по требованию:

- Выбор видеоматериала (фильма), возможно с помощью

запросов;

- Возможность предварительного просмотра; перемотка вперед/назад;

- Высокая пропускная способность;

- Простой способ оплаты;

- В ближайшем будущем, но еще не сегодня.

3. Экспертные системы:

- Ремонт машины: автоматические помощники в выполнении различных авто-работ; просмотр демонстрационного видео нагляднее и удобнее чтения руководств по ремонту;

- Медицина: стандартные хирургические операции.

4. Туристические компании (агентства путешествий):

- Интеллектуальный мультимедийный тур-агент;

- Пользователь задает параметры желаемого путешествия/отдыха;

- Система возвращает маршруты и места, удовлетворяющие требованиям;

- Система генерирует мультимедийные презентации возможных вариантов путешествия;

- Требования пользователя строго определяют содержимое презентации;

- После выбора путешествия (маршрута, места), система предлагает план поездки, отели, кемпинги, столовые;

- Система запрашивает системы бронирования билетов (авиа, железнодорожные), отелей и списывает получившуюся стоимость со счета пользователя.

5.  Электронная коммерция:

- Онлайн информация о продуктах/услугах: картинки, разъяснения, наличие;

- Возможность выполнять запросы;

- Удобные системы оплаты онлайн (кредитные карточки, интернет-валюты).

6. Медицинские информационные системы:

- Медицинские карты (записи) пациентов, содержащие изображения с рентгеновских, ультразвуковых и других обследований;

- Строгая конфиденциальность информации;

- Использование для диагностики, наблюдения, исследовательских целей;

- Автоматизированные методы: например, методы распознавания образов.

 

Цель данного исследования заключается в рассмотрении плюсов и минусов мультимедийных баз данных, примеров их использования и структуризации [6].

 

1.  ЧТО ТАКОЕ МУЛЬТИМЕДИЙНЫЕ БАЗЫ ДАННЫХ

 

Сегодня, с увеличением доступности цифровой информации, общепринятым определением мультимедиа считается сочетание различных средств массовой информации, представленной в виде картинок, звуков, видео, анимации, используемые для представления информации пользователю с компьютера.

В связи с растущей популярностью компьютера и Интернета, кажется, что термин «мультимедиа» в настоящее время прочно связан непосредственно с информационными технологиями [1]. Хотя этот термин не всегда относился к компьютерам. 

Слово «мультимедиа» (multimedia) стало популярным в компьютерной области в 90-е гг. Точного его перевода с английского языка на русский не существует, сравнительно близки следующие варианты: «многосредность» или «множество сред» [5].

Мультимедийная база данных представляет собой совокупность взаимосвязанных мультимедийных данных, которые включают в себя один или более первичных средств массовой информации, таких как:

- Текст;

- Графика: эскизы и иллюстрации, чертежи, 3D объекты;

- Изображения: цветные и черно-белые картинки, фотографии, карты;

- Анимированные объекты: анимированные изображения или графические объекты;

- Видео: последовательность изображений (кадров), как правило, записей событий реальной жизни (запись производится с помощью видеоаппаратуры);

- Аудио: звуковые технологии (запись производится с помощью звукозаписывающей аппаратуры);

- Комплексные мультимедиа: сочетание двух или более из указанных выше типов данных.

Мультимедийная база данных содержит один или несколько типов мультимедийных данных. Эти типы данных широко подразделяются на три класса: 

- Статические СМИ - не зависимы от времени, постоянны, не интерактивны, например изображения или графический объект. 

- Динамические СМИ - зависят от времени, движущихся, интерактивные, например аудио-, видео и анимация. 

- Многомерные (трёхмерные (3D), четырёхмерные (4D)) СМИ - 3D игры, изображения, видео. Например, виртуальная реальность, 5D- , 7D- фильмы [5].

1.1 МУЛЬТИМЕДИЙНЫЕ ТИПЫ ДАННЫХ

Мультимедийные типы данных: 

- Текст;

- Графика;

- Звук;

- Видео.

Рассмотрим каждый из типов подробнее.

1. Текст:

-Присутствует в большинстве мультимедийных приложений; дополняет/поясняет нетекстовые форматы данных;

- Визуальное разнообразие достигается шрифтами;

- Самый компактный (при хранении) тип данных.

2. Аудио: 

- Все более популярный тип данных;

- Множество форматов (wav, cd, mp3, au, aiff, qt, ra, wmа);

- Оцифрованное аудио имеет относительно большой размер (одна секунда занимает десятки килобайт);

- Используется сжатие (коэффициент сжатия mp3 - 12:1);

- Более компактное представление аудио-данных: синтезируемая музыка в формате MIDI, MPEG-4SA (Structured Audio).

3. Статичные растровые изображения:

- Черно-белые/градации серого/цветные;

- Одностраничное изображение в хорошем разрешении занимает несколько мегабайт;

- Множество графических форматов (bmp, gif, tiff, jpeg, pcx, png);

- Формат JPEG (текущая версия - JPEG-2000): коэффициент сжатия обычно больше 10.

4. Цифровое видео: 

- Последовательность кадров (фреймов) (= статичных изображений);

- Требует много дискового пространства;

- Коэффициент сжатия более высокий, чем у статичных изображений (мало отличий между последовательными фреймами);

- Скорость компрессии/декомпрессии и передачи должна быть не менее 20-30 фреймов в секунду;

- Анимационное видео более компактно (синтезированные изображения, использование стандартных шаблонов);

- MPEG-4: объектно-базирующееся представление, специальные методы.

5. Векторная графика: 

- Двух- или трехмерные рисунки/чертежи, модели, карты;

- Относительно компактный размер: преимущественно состоит из объектов, а не пикселей;

- Параметры (мета) объектов: масштаб, ориентация, вращение;

- Типичные приложения: автоматизированное проектирование и изготовление чертежей, географические информационные системы (ГИСы).

6. Интегрированные документы (текст и изображения): 

- Могут создаваться современными текстовыми редакторами.

7. Интегрированные аудио и видео: 

-  Структуры чередования (interleaved structures), задающие временные последовательности для воспроизведения аудио и видео-потоков;

- Форматы: AVI (Audio Video Interleave by Microsoft), ASF (Microsoft), QuickTime (Apple), RM (RealMedia).

8. Универсальные интегрированные мультимедийные презентации: 

- MS PowerPoint, Macromedia Director, SMIL.

9. Гипермедиа: 

- Нелинейное представление мультимедийных данных (содержит гиперссылки) [6].

2.  ОСОБЕННОСТИ МУЛЬТИМЕДИЙНЫХ БАЗ ДАННЫХ

- Отсутствие структуры: мультимедийные данные часто являются неструктурированными, поэтому их трудно найти в документе или извлекать с помощью приложения, управляющего клиентскими базами.

- Временный и пространственный: различные типы мультимедийных данных имеют различные требования. Пространственные данные сами по себе являются трудными для анализа, и для создания эффективных пространственно-временных систем необходимы специальные алгоритмы [1].

- Большой объем данных: обычно, мультимедиа занимают достаточно много места, (например видео), следовательно, мультимедийные данные часто требуют большего по объему запоминающего устройства, что не всегда удобно. Как уже упоминалось, мультимедийные данные состоят из текста, изображений, графики, видео, аудио. Существует подавляющее количество форматов для представления различных типов данных. Такими форматами являются TIFF,BMP, PPT, IVUE, FPX, JPEG, MPEG, AVI, MID, WAV, DOC, GIF, PNG, EPS. Из-за ограничения на преобразование из одного формата в другой, использование данных в определенном формате будет также ограничено. Помимо того, что разные объекты мультимедиа с разными форматами весят так же по-разному. Так, изображение jpeg размером 1024 на 800 пикселей с глубиной цвета в 24 бита без сжатия занимает при хранении более 3 Мбайт. Десятиминутная последовательность изображений (кадров) avi, записанная с частотой 30 кадров в секунду и имеющая также размер 1024 на 800 и глубину цвета 24 бита, займет около 38000 Мбайт [3].

- Логистика: нестандартные носители могут осложнить обработку. Например, мультимедийное приложение баз данных требует использования алгоритмов сжатия.

-Перегрузка информацией: обилие различных данных могут запутать и загрузить пользователя и базу данных лишней, возможно, ненужной информацией. Особенно чревато это для мультимедийного представления данных, так как очень часто пользователь перегружает базы данных изображениями, различными кнопками [1].

3.  ПОИСК ДАННЫХ

В мультимедийном представлении информации, как уже говорилось, возникает проблема разработки новых средств для просмотра, поиска, визуализации содержимого мультимедийных баз данных, но существует два самых часто используемых подхода для представления и поиска контента мультимедийных данных:

- Ключевое слово: мультимедийный контент описывается пользователю через аннотации.

- Подход на основе функций: для представления и извлечения мультимедийных данных может быть использован набор функций. Многие мультимедийные базы данных позволяют пользователям запрашивать базу данных, указав ключевые слова и / или характеристики изображения. Например: общая информация, как цвет, текстура, форма, положение, или конкретные приложения, такие как «отпечатки пальцев» или, более конкретное, к примеру «МРТ головного мозга» [1].

Но не все так гладко. Главный минус в том, что запрос в мультимедийных базах данных может включать различные типы данных, ключевые слова, атрибуты, содержание, или даже контекстную информацию. 

У каждого пользователя при виде какого-либо мультимедийного объекта возникают различные ассоциации и варианты запросов, следовательно мультимедиа запрос может одновременно включать несколько реплик. Отсюда можно сделать вывод, что запросы, как правило, неточны [6].

Из-за этого и сложность обеспечения точных совпадений между мультимедийными элементами данных, отчего поиск, как правило, включает в себя сравнение элементов данных или только частичное соответствие (вместо точного). Поэтому, чтобы отыскать какую-либо информацию в мультимедийной составляющей баз данных пользователю придется изрядно постараться.

Например, курс лекций может содержать десятки часов видеоматериала. Естественно, хотелось бы иметь способы быстрого просмотра, чтобы решить, стоит ли этот курс заказывать, или чтобы отыскать в нем, скажем, десятиминутный или часовой фрагмент по интересующей теме. Нужны соответствующие методы доступа, и здесь возможны самые разные подходы - это могут быть наборы ключевых кадров, текстовые индексы, средства поиска сегментов, обладающих заданными характеристиками.

Еще один пример - снимки, полученные со спутников. Как правило, их объем велик, и передача множества снимков, среди которых пользователь будет искать нужные ему, требует слишком много времени. Здесь может помочь выборка фрагментов, содержащих существенные элементы исходных снимков. В результате человек получает возможность быстро просмотреть большое число изображений и отобрать то, что его интересует, например снимки вулканических выбросов [6].

 

4.  ТРЕБОВАНИЯ, ПРЕДЪЯВЛЯЕМЫЕ К МУЛЬТИМЕДИЙНЫМ СУБД

 

Функции мультимедийного СУБД в основном напоминают традиционной СУБД. Однако, природа мультимедийной информации предъявляет новые требования, обеспечивающие безопасную и удобную работу с мультимедийными базами данных. К таким требованиям относятся:

- Интеграция - возможность избежать дублирования данных для обращения к ним из различных программ.

- Независимость данных - отделение функций СУБД и администрирования от прикладных программ.

- Управление одновременным доступом - обеспечение непротиворечивости данных в БД мультимедиа с помощью правил, регулирующих порядок выполнения параллельных транзакций.

- Сохранение текущего состояния между сеансами - способность объектов данных продолжать существовать (сохранять текущее состояние) на протяжении ряда различных транзакций и сеансов работы программы.

- Защищенность - ограничение от несанкционированного доступа к хранимым данным и их модификации.

- Контроль целостности - обеспечение непротиворечивости состояния БД в процессе обработки транзакций путем наложения на них определенных ограничений.

- Восстановление - методы, служащие гарантией того, что неудачно завершившиеся транзакции не повлияют на постоянно хранимые данные.

- Поддержка обработки запросов - распространение механизмов обработки запросов на мультимедиа - данные.

- Управление версиями - организация хранения различных версий объектов и управление ими. Данная возможность может потребоваться для некоторых приложений [3].

 

5. ПРИМЕРЫ

Рассмотрим простейший пример использования мультимедийных баз данных.

Представьте себе журналиста, пишущего статью о вождении в состоянии алкогольного опьянения. Прежде, чем журналист может приступить к написанию самой статьи, он должен собрать различные бумаги, новости, статьи о недавних авариях, произошедших по вине пьяного водителя, научные доклады, статистику, телевизионные ролики и интервью с полицейскими и медицинскими экспертами.

После того, как статья будет написана, журналист должен будет прикрепить к ней иллюстрации, одну или две фотографии. Он просматривает архивы и каталоги, и печатает некоторые из фотографий, которые ему покажутся уместными. После этих шагов, журналист выбирает "лучшее" из всех фото и, наконец, размещает его в своей публикации. 

Без существования интернета журналисту придется не раз ездить по различным местам для поиска информации, перебирать множество бумаг, архивов, сводок, подшивок газет. Все это занимает очень много времени и сил. Но задача в разы упрощается с базами данных. В них информация упорядочена, отсортирована и сгруппирована. Сейчас в полицейских участках, в архивах есть электронные картотеки, базы данных, в которых нужную информацию можно найти за считанные минуты. И, разумеется, в таких базах данных всегда найдется нужная фотография и другие необходимые мультимедиа файлы. [4]

5.1 ВОЗМОЖНЫЙ СЦЕНАРИЙ ИСПОЛЬЗОВАНИЯ МУЛЬТИМЕДИЙНОЙ БАЗЫ ДАННЫХ

ФСКН РФ (Федеральная служба РФ по контролю за оборотом наркотиков) ведет расследование широкомасштабной торговли наркотиками на территории какого-то округа РФ.

Для сбора данных используются следующие устройства:

- Камеры видео-наблюдения (записывают происходящее в определенных местах); 50-100 камер; миллионы фреймов с каждой камеры; огромное количество видео данных должно быть приведено в порядок и проиндексировано

- Устройства прослушивания телефонов (записывают телефонные разговоры в течение длительного периода времени); распознавание и организация записей - очень существенная работа.

- Фотокамеры (делающие фотографии, то есть статичные изображения); фото - изображения должны быть оцифрованы и заархивированы для дальнейшего поиска и извлечения информации

- Помимо этого работают со следующими текстовыми данными: документы: письма, приказы, счета, соглашения.

- Структурированные реляционные данные: телефоны, адреса, имена, банковские транзакции.

- Географическая информация: карты, рельефы местности, маршруты.

В расследовании используется вся эта информация вместе (= мультимедиа).

Возможные запросы:

1. Текстовый запрос:

- Найти все документы (из милицейских архивов, архивов газет, заявлений свидетелей, банковских транзакций), в которых подозреваемое лицо/компания косвенно или прямо совершила какие-либо операции с компанией АБВ. Документы должны индексироваться на основе семантического значения ключевых слов.

2. Запрос по изображению: 

- По имеющейся фотографии человека найти другие фотографии с этим же человеком.

3. Аудио-запрос: 

- Определить говорящего по записи. Потребуются специальные методы обработки звука; основная идея: характеристический вектор (feature vector) - характеристика речи.

4. Видео - запрос: 

- Найти видео сцены в которых подозреваемые совершают определенные действия (например, встречаются). Требуются специальные методы индексирования.

5. Простой гетерогенный (мультимедийный) запрос: 

- Найти людей, подозреваемых в преступлении И переведших (или получивших) деньги на счета компании АБС.

6. Другой гетерогенный запрос: 

- Найти людей, сфотографированных с господином Х. И подозреваемых в преступлении И переведших деньги на счета компании АБС. 

7. Сложный гетерогенный запрос: 

- Найти людей, которые были в контакте с господином Х. И подозреваемых в преступлении И переведших деньги на счета компании АБС. [6] 

6. ИСТОРИЯ РАЗВИТИЯ МУЛЬТИМЕДИА

В строгом смысле слова, мультимедиа означает «больше, чем один носитель». Другими словами, телевизионные программы, фильмы, даже иллюстрации в книгах являются примерами мультимедиа, так как все они используют комбинации текста, изображений, звуков и движения.

В реальном мире, однако, когда большинство людей говорят о мультимедиа, они говорят именно о компьютерных мультимедиа. Слово стало представлять сферу компьютерной графики, видео игр, пестрящих картинками презентаций и целый мир других возможностей. 

Когда же все началось? Это трудно сказать, но одним из самых ранних и самых известных примеров мультимедиа являлась видео игра «Понг». Разработана в 1972 году Ноланом Бушнеллом (основатель компании под названием Atari), игра состояла из двух ракеток, которые отбивали квадратный "мяч" назад и вперед по экрану, как в теннисе. «Понг» позиционировалась как аркадная игра, и в конечном итоге оказалась во многих домах. 

Новая революция в 1976 году началась, когда друзья Стив Джобс и Стива Возняк основали стартап - компанию под названием Apple Computer. Через год они обнародовали Apple II - первый компьютер, который использовал цветную графику. Компьютерная революция стремительно развивалась: В 1981 году появился первый IBM компьютер, а в 1984 году компания Apple выпустила Macintosh, первый компьютер системы, который использовал графический пользовательский интерфейс (GUI). Макинтош также создал первую мышь, которая навсегда изменил то, как люди взаимодействуют с компьютерами. 

В 1985 году Microsoft выпустила первую версию своей операционной системы Windows. 

Инновации в операционных системах Macintosh проложили путь для молниеносных изменений в мультимедиа. Так как в ОС Windows и Mac OS обрабатывание графики и  звука выполнялись отдельными программными приложениями - разработчики хотели создать программу, которая используют мультимедиа на более мощный эффект. 

Компанией, которая сыграла важную роль в мультимедиа с самого момента ее создания, является Macromedia. В 1988 году Macromedia выпустила программу, которая позволила повседневным пользователям компьютеров создавать потрясающи    е, интерактивные мультимедийные презентации. Сегодня, Macromedia Flash большинства анимации и мультимедиа вы видите в Интернете, в то время как директор до сих пор используется для изготовления высококачественных интерактивных спектаклей. 

С каждым годом технологии улучшаются, это относится и к мультимедиа. Они становятся лучше, быстрее, интереснее [7].

7. ЗАКЛЮЧЕНИЕ

Компьютерные технологии и Интернет-ресурсы предоставляют пользователям возможность упростить работу с помощью мультимедийных баз данных. 

Растущая популярность мультимедийных источников предполагает, что не только обычные пользователи, но и педагоги должны осмыслить эти возможности новых технологий и включить их в рамках преподавания и обучения. 

Определенно, мультимедийное представление информации баз данных существенно отличаются от стандартной традиционной буквенно-цифровой базы данных, которая является «сухой», сложной, не такой познавательной и информативной. Следовательно, мультимедиа - средства нужны, чтобы существенно оживить процедуру общения пользователя с компьютером. 

Но, к сожалению, пока что возможности таких баз данных достаточны только для типичных применений. Для более серьезных горизонтов  мультимедийные базы данных должны обеспечить гораздо больше функциональности, чем просто хранение и представление информации.  К счастью, в настоящее время весьма активно ведутся исследования по различным направлениям, что позволяет надеяться на появление новых, более совершенных систем уже в ближайшем будущем. В частности, эти системы будут выполнять операции индексирования, выборки и просмотра непосредственно на сжатых данных, что имеет особое значение для видеоматериалов. Они будут дополнены функциями управления видеоданными, языком мультимедиа-запросов, единой инфраструктурой индексирования, пригодной для работы с различными типами мультимедиа-данных, средствами выборки изображений и видеопоследовательностей по их содержанию, а также передачи мультимедиа-информации по Internet [1].

9. ИСТОЧНИКИ ИНФОРМАЦИИ

1.  http://airccse.org/journal/jma/3111ijma01.pdа

2.  http://www.peterindia.net/MultimediaDatabase.html

3.  http://edu.dvgups.ru/METDOC/ITS/STRPRO/INFSIST_STR/UP/UP10.htm

4.  http://homepages.cwi.nl/~arjen/phd/phdthesis.pdf

5.  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.353.5639&rep=rep1&type=pdf

6.  http://www.myshared.ru/slide/440077/#

7.  https://bc065.k12.sd.us/multimedia/Introduction%20to%20Multimedia/History%20of%20Multimedia.pdf

Код для цитирования: Скопировать