Читать онлайн Мультимедиа технологии. Часть 1. Основы Мультимедиа технологий бесплатно
Введение
Предмет, цель и задачи дисциплины
Предмет изучения – основные виды современных и перспективных мультимедиа (ММ) технологий.
Цель изучения – получение знаний основ ММ технологий, построения и функционирования аппаратных и программных средств их поддержки, а также возможностей их использования в профессиональной деятельности.
Поскольку возможности ММ технологий в значительной степени определяются свойствами используемых средств вычислительной техники (ВТ), поддерживающих их приложений и программных систем (ПС), изучению соответствующих аппаратных средств и ПС в рассматриваемой дисциплине уделяется главное внимание.
Задачи изучения. В результате изучения дисциплины студенты должны:
ЗНАТЬ:
◆ назначение, функции, виды, классификацию, принципы построения и режимы функционирования различных составляющих ММ (ММ компонентов);
◆ средства взаимодействия пользователя с ММ компонентами;
◆ свойства и возможности известных и перспективных технологий ММ;
◆ возможности и особенности применения ММ технологий в профессиональной деятельности;
УМЕТЬ:
◆ квалифицированно работать на персональном компьютере в аппаратно-программной среде поддержки ММ и с ПС ММ;
◆ оптимально распределять и использовать ресурсы вычислительного комплекса для ресурсоемких средств и технологий поддержки ММ;
◆ эффективно организовать процессы разработки ММ компонентов, электронных информационных и образовательных ресурсов и программных средств компьютерного обучения;
ИМЕТЬ ПРЕДСТАВЛЕНИЕ:
◆ о возможностях перспективных ММ сред, таких как гипермедиа, экспертмедиа, виртуальная реальность, интерактивные трехмерные представления и интеллектуальные действа – игры, фильмы и т.п.;
◆ о многообразии программных средств поддержки ММ компонентов и разработки ММ информационно-образовательных ресурсов и программ.
При изучении дисциплины предполагается знание студентами основ информатики, аппаратной организации ЭВМ, персональных компьютеров (ПК) и периферийных устройств, операционных систем (ОС), компьютерных сетей, элементов компьютерной графики.
Программа курса рассчитана на 180 часов, из них: 90 часов аудиторных занятий (36 часов лекций).
Лабораторные работы в объеме 54 часа проводятся в классе IВМ-совместимых сетевых ПК в среде ОС Microsoft Windows 7/8/10, поддерживающих среду ММ и Internet. Темы лабораторных работ приведены в Приложении.
Структура дисциплины
Введение.
1. Основы мультимедиа технологий.
2. Виртуальная реальность и другие комбинированные среды.
3. Создание мультимедиа продуктов.
4. Применение мультимедиа технологий в профессиональной деятельности.
Заключение.
Представление на компьютере разнотипной и разноформатной, постоянно развивающейся и изменяющейся, как правило, достаточно сложно структурированной информации с использованием средств современных и перспективных информационных и телекоммуникационных технологий стало возможным, именно благодаря появлению в свое время специализированной технологии мультимедиа. Именно поэтому в настоящее время трудно найти область знаний, для которой не существовало бы аппаратных средств ММ, а также электронных средств ее поддержки: разнообразных информационно-образовательных ресурсов, энциклопедий, руководств, справочников и учебных пособий, сочетающих текст, статические иллюстрации различного вида (рисунки, таблицы, фотографии, слайды), видеофрагменты, анимации и другие динамические аудиовизуальные представления, связанные по смыслу между собой. Значительная часть подобных продуктов размещена в Internet, и она постоянно растет и совершенствуется. Можно констатировать факт создания и распространения развиваемых типовых информационно-образовательных гипертекстовых и ММ продуктов. Подобные развиваемые продукты может дорабатывать уже сам пользователь. Например, преподаватель может развивать и настраивать их с учетом специфики своего учебного процесса. Более того, в подобных продуктах имеются средства пополнения информационных материалов и самими пользователями.
Материал первой части учебного пособия является ярким примером того, как вчера самые передовые, уникальные и завораживающие, спорные и поначалу даже не признаваемые пользователями, экспериментальные и новаторские информационные технологии ММ сегодня становятся общепринятыми, стандартными, необходимыми. И нам все чаще кажется, что они использовались всегда, мы часто забываем, какой путь прошли их разработчики для того, чтобы эти технологии стали всеобщим достоянием.
Мы видим сегодня, как сместились акценты в применении перспективных информационных технологий ММ: то, что вчера было главной проблемой, сегодня стало обыденной реальностью. Это произошло потому, что увенчались успехом колоссальные усилия разработчиков аппаратного обеспечения компьютеров, разнообразной периферийной и сетевой, а также нетрадиционной или даже экзотической аппаратуры, резко усилившей возможности компьютеров для отображения информационных ММ сред и эффективного взаимодействия пользователя с ними.
Несомненно, важна в развитии технологий ММ и роль разработчиков ОС и ПС поддержки ММ, поскольку именно они первыми связали новые возможности перспективной аппаратуры с режимами работы ОС и обеспечили возможности эффективного функционирования ПС поддержки ММ.
Можно не запомнить детально всех сегодняшних возможностей и особенностей применения отдельных изучаемых ММ компонентов и соответствующих информационных технологий. Гораздо важнее понять их идеи, основы, компоненты и главные свойства, общие закономерности их построения, источники повышения эффективности применения и тенденции дальнейшего развития. Это позволит в будущем уже достаточно легко самостоятельно осваивать новые информационные технологии и ММ средства, отслеживать их взаимосвязи.
Особенности дисциплины
Главная особенность заключается в том, дисциплина является глубоко синтетической и интегрированной. Она сочетает физические и технические, технологические и информационные, аппаратные и программные, педагогические и социальные аспекты рассмотрения ММ.
В рассматриваемой дисциплине всесторонне изучаются различные составляющие ММ. Причем для каждого ММ компонента выбрана следующая последовательность изучения:
1) (Модуль 1) понятие и определение ММ, особенности, классификация ММ компонентов;
2) информационные основы, файлы поддержки ММ компонентов;
3) физические основы, аппаратура, функционирование средств поддержки ММ;
4) (Модуль 2) программы создания и редактирования ММ компонентов;
5) специфичные технологии поддержки ММ средств и компонентов;
6) проявление ММ в инструментальных интегрированных средах разработчика ММ продуктов;
7) проявление в ММ продуктах профессионального назначения, электронных образовательных ресурсах и программных средствах компьютерного обучения.
В то же время в процессе изучения материала дисциплины следует не забывать о том, что в полной мере роль каждого ММ компонента раскрывается лишь при совместном его использовании со всеми остальными ММ компонентами. И только в этом случае проявляются дополнительные качества комплексного воздействия ММ на различные каналы восприятия человека, что позволяет повысить эффективность образовательного процесса с использованием ММ технологий.
Дисциплина затрагивает вопросы создания ММ продуктов: программы создания и редактирования ММ компонентов, этапы и специфичные технологии поддержки.
Не следует забывать, что центральную роль при разработке или выборе определенного метода создания ММ продукции играют человеческие ощущения и их анализ, поскольку именно для человека и создаются эти технологии. С другой стороны, постоянный поиск новых технологий порождает современные способы воздействия на ощущения человека. Возникают новые способы передачи ММ сигналов, новые способы их восприятия и обработки, новые ММ культуры [1].
Особое внимание в рассматриваемой дисциплине уделено вопросам применения ММ технологий в профессиональной деятельности. Как известно, в основе любой профессиональной деятельности лежат процессы повышения эффективности работы с растущим потоком разнородной информации и описывающих способы ее представления, обработки, преобразования, ввода-вывода и т.п. По сути это образовательные процессы. Поэтому при классификации информационно-образовательных ресурсов выделены и детализированы современные и перспективные электронные информационно-образовательные ресурсы и программные средства компьютерного обучения. Обсуждены особенности применения ММ технологий в обучающих системах и примеры реализации обучающих систем с использованием ММ средств.
При проектировании и разработке ММ средств каждый выразительный аспект этой продукции должен стать результатом продуманного решения, осознанно связанного с максимально эффективным способом воздействия на ощущения человека [1].
К сожалению, по рассматриваемым ниже темам столь сложной, интенсивно развивающейся, многогранной и синтетической дисциплины отсутствует единый, все охватывающий учебник, а материалы зачастую разрознены, аппаратные и программные средства поддержки быстро устаревают. Поэтому автор выражает искреннюю признательность авторам многочисленных упомянутых публикаций, полезные сведения и отдельные иллюстрации из которых использовались при подготовке настоящего учебного пособия. В его основу положены материалы из [2], совершенствование, дополнение и уточнение которых, ввиду развития ММ технологий и роста числа публикаций, постоянно продолжается.
Растущая сложность изучения рассматриваемой дисциплины в последние годы связана с тем, что скорость развития и совершенствования аппаратных и программных средств поддержки мультимедиа технологий, как и число соответствующих продуктов, постоянно и все более интенсивно увеличивается, расширяются возможности и сферы их применения. Однако, отмеченные факторы не должны останавливать будущих специалистов, поскольку вместе с ними все больше проявляются актуальность и даже необходимость изучения все новых, увлекательных и завораживающих мультимедиа технологий будущего.
Модуль 1
Основы мультимедиа технологий
Чтобы эффективно использовать современные и перспективные компьютерные и информационно-коммуникационные технологии, как в повседневной жизни, так и в образовании, следует обратить внимание на различные каналы человеческого восприятия и их особенности. В первую очередь, это зрительный и слуховой каналы, по которым проходят самые важные и информативные для человека аудиовизуальные воздействия. Причем в этом плане вызывают интерес не только общие психофизиологические особенности человека, а еще и возможности и особенности человеческого восприятия в отдельных каналах. Но человек умудряется использовать эти и другие (все и без того сложные) каналы восприятия еще и совместно, интегрируя результаты воздействий, работая в среде ММ. Таким образом, перед обучаемыми стоит задача вначале выявить и изучить самодостаточные компоненты ММ (аудио, видео, анимации и др.), их информационные, физические основы и соответствующие технологии, представление, аппаратуру и программное обеспечение поддержки, создание, функционирование и развитие, после чего продолжить изучение вопросов их комплексного использования, в том числе и в различных информационных средах (гипермедиа, экспертмедиа и др.).
Изучение создания и редактирования компонентов ММ открывает новые возможности применения ММ в практических разработках.
Комплексная цель и задачи изучения модуля
Цель модуля 1 – дать развернутое представление о мультимедиа технологиях, охватывающее основные понятия и определения, составляющие (компоненты) ММ, их особенности и классификации, информационные основы и файлы, а также физические основы и аппаратуру поддержки, функционирование и возможности использования.
Успешное изучение учебных материалов позволит продемонстрировать следующий уровень подготовки, позволяющий
Знать назначение, функции, виды, классификацию, принципы построения и режимы функционирования различных ММ компонентов; средства взаимодействия пользователя с ММ компонентами; свойства и возможности известных и перспективных технологий поддержки звука, видео, анимации; основы гипермедиа;
Уметь квалифицированно работать с ПС ММ; оптимально распределять и использовать ресурсы для средств ММ; эффективно организовать процессы разработки ММ компонентов образовательных систем;
Иметь представление о развитии аудиовизуальных средств и технологий, перспективных возможностях гипермедиа и экспертмедиа;
Владеть ключевыми понятиями, такими как: мультимедиа, синергетический эффект, интеграция информации, режим реального времени, интерактивность, изначальная многовариантность интерпретации ММ информации, человеческое восприятие, ощущение, сигнал, восприятие пространства, сенсорные рецепторы, анализаторы, возбуждение, раздражители (адекватные, неадекватные), порог чувствительности (интенсивности) раздражителя, порог времени раздражения, каналы восприятия (зрительный, слуховой, осязательный/тактильный, обонятельный, вкусовой, мышечный, вестибулярный), пик-сел, цифровой многофункциональный диск (DVD), поток данных, сжатие (компрессия), формат файла, гипертекст (метаструктура текста), семантические связи, гиперссылки, функциональные изображения, гиперграфика, контактные области, анимация, интерактивные трехмерные представления, звуковая волна, звук (аналоговый/цифровой), тембр, обертоны, частота дискретизации, звуковая карта, битрейт, цифровой интерфейс музыкальных инструментов (MIDI), аудиокодек, амплитудная огибающая, FM/WT-синтез звука, сэмпл, пэтч, восприятие объемного звука, реверберация, окклюзия, обструкция, ранние отражения, эффект-процессор, полифония, сабвуфер, окружающий канал, громкоговоритель, акустическая система, многоканальная аудиосистема, аудио кодек, цифровой контроллер, психоакустическая модель, критическая полоса, битрейт, цвета, цветовые оттенки, палитра, яркость, цветность, видео (аналоговое/цифровое), потоковое цифровое видео, видеосистема, графический ускоритель, камкодер, фрейм-граббер, TV-тюнер, текстура, тексел, рендеринг, 2D/3D-анимация, твининг, 2D/3D-морфинг, гиперизображение, гипертехнологии, гипермедиа, виртуальная экскурсия, экспертмедиа.
Глава 1. Основы мультимедиа технологий
1.1. Базовые понятия и информационные основы мультимедиа
1.1.1. Определения, отличительные признаки, преимущества и основные направления развития мультимедиа
Мультимедиа – это тема, появившаяся с 90-х годов 20-го века, бурно развивающаяся область информатики, где устоявшаяся терминология пока отсутствует. В английских компьютерных журналах этот термин описан как неудачно определенный (ill-defined), его строгое формальное определение отсутствует, в русском языке не существует официально закрепленного аналога, его определения часто противоречат друг другу, есть проблемы с написанием и произношением связанных с ним слов.
Термин «мультимедиа» буквально означает «более чем один носитель информации». Поэтому под ММ на ПК сегодня понимают возможность использовать в выполняющихся программах информацию из разнообразных источников (музыка, речь, видео и телекадры и т.п.). Оперативную обработку информации от всех этих источников осуществляет ПК.
Понятие ММ многогранно и охватывает как идею, технологию и продукт, сделанный на ее основе, так и компьютерное аппаратное и программное обеспечение, а также особый вид информации. Рассмотрим некоторые содержательные определения ММ [3-8].
Определение 1. ММ – это взаимодействие аудиовизуальных эффектов под управлением интерактивного программного обеспечения (ПО).
Определение 2. ММ – это сумма технологий, позволяющих с помощью ПК создавать, вводить, обрабатывать, хранить, передавать и отображать (выводить, воспроизводить) в оцифрованном виде такие типы данных, как текст, звук, речь, графика, неподвижные изображения (слайды), анимация, видео, а также различные их комбинации.
Определение 3. ММ – это достигнутые за счет возможностей компьютера:
◆ интеграция практически всех используемых человеком сред, средств и способов обмена информацией;
◆ обогащение всех этих сред, средств и способов обмена информацией возможностями хранения огромных массивов информации и интерактивного произвольного доступа к ее элементам.
Определение 4. Можно определить ММ через понятие «гипертекст» (ГТ). ГТ – это информационная структура, состоящая из дискретных узлов данных и сложных разноуровневых семантических связей между ними. Если данные в узлах ГТ-структуры могут записываться в виде текстов, изображений и звука, то такую информационную структуру называют ММ.
Определение 5. ММ – документ, содержащий средства информации, протяженные во времени, то есть проигрываемые в течение определенного интервала времени [6].
Определение 6. ММ – это особый обобщающий вид информации, которая объединяет в себе как традиционную статическую визуальную информацию (текст и графику), так и динамическую информацию разных типов (речь, музыку, видеофрагменты, анимацию и т.п.) [7].
Определение 7. ММ – это современные компьютерные технологии, позволяющие объединить в программно-аппаратной системе различные типы ММ данных (изображения, звук, видео, тактильные и другие ощущения) для создания единой информационной среды в целях воздействия на через органы чувств на восприятие человека [1].
Человеческое восприятие следует рассматривать как интеллектуальный процесс, связанный с активным поиском признаков, необходимых и достаточных для формирования образа и принятия решений [1].
Различные типы ММ данных представляются специальными сигналами, предназначенными для создания ощущений у пользователя воздействием на его органы чувств.
Таким образом, в широком смысле ММ обозначает спектр информационных технологий, использующих специальные программные и технические средства с целью наиболее эффективного воздействия на пользователя (ставшего одновременно и читателем, и слушателем, и зрителем) [3-8].
Отличительные признаки ММ
1. Интеграция информации, порожденной различными (многими – multi) источниками, созданными в различных средах (media). ММ продукты объединяют в одном изделии многообразные разновидности информации: компьютерные данные, теле- и видеоинформацию, речь и музыку. Такое объединение обеспечивает возможность и требует использования разнообразных устройств регистрации и воспроизведения информации, допускающих управление от компьютера: телевизора, видеомагнитофона, аудиосистемы, CD-плеера, микрофона и электронных музыкальных инструментов. Интеграция информации обеспечивает синергетический эффект (объединяющее действие факторов, различных по своей природе), учитывающий известный принцип функциональной целостности по Эшби.
2. ПК вынужден регистрировать, обрабатывать и выводить информацию, изначально (на заре компьютерной эры) для него не предназначенную.
3. Для регистрации, обработки и вывода такой новой для ПК информации надо усилить его конфигурацию целым рядом дополнительных устройств (оригинальные устройства ввода-вывода, акселераторы, конвертеры и т.п.).
4. Собственных ресурсов ПК может не хватить, что потребует наращивания и обычных аппаратных средств ПК (дополнительных процессоров, памяти и т.д.).
5. Поддержка новых устройств и режимов требует наличия нового ПО, такого как
◆ драйверы новых устройств,
◆ программы инсталляции и настройки новых подсистем,
◆ программы управления ММ системой в целом.
6. ММ средства по своей природе , т.е. зритель и слушатель ММ продуктов не остается пассивным, а участвует в процессе восприятия активно, как минимум, выполняя выбор воспроизводимых фрагментов.
7. Для поддержки ММ требуются:
8. предельно высокие скорости передачи данных;
9. воспроизведение в режиме реального времени (РВ) [6].
10. Передача ММ сообщений происходит во времени. А изменение некоторой физической величины во времени, обеспечивающее передачу сообщения (а тем самым – и информации), называется сигналом. Если уровень сигнала в технических устройствах можно точно измерить, то уровень возбуждения рецепторов человека в результате получения им сигнала зависит от множества факторов и поэтому может быть различным (индивидуальным) [1].
11. Правила интерпретации ММ сообщений и информации обычно не формализуемы. В то же время известно, что одно и то же сообщение, интерпретированное по-разному, может передавать разную информацию. Поэтому в силу индивидуальности (феномена сознания) субъективное восприятие ММ сообщений пользователем неоднозначно. Так, оптические иллюзии или звуковое сопровождение видеоряда у разных людей вызывают различные ощущения. Значит, для ММ сообщений характерна изначальная многовариантность интерпретации, когда заранее невозможно однозначно предсказать результат их воздействия на пользователя. Это связано как с психологическими особенностями восприятия, так и с аналитической вариабельностью количественных оценок физиологических показателей [1].
Преимущества использования ММ средств
1. Возможность интеграции разнообразных видов информации с использованием при этом разнообразных средств ее обработки. Теоретически существует масса способов интеграции информации от различных источников в едином продукте, но практически подобное объединение выполняется всегда под управлением компьютера (то есть именно компьютер является узлом интеграции).
2. Повышение качества и эффективности информационных процессов, а прежде всего, степени информативности среды за счет параллельной активизации разных каналов воздействия на человека.
3. Помощь, облегчение, упрощение обработки человеком огромных объемов аудиовизуальной информации за счет отображения ее в форме, удобной и естественной для пользователя компьютера.
Основные направления развития ММ:
◆ . Обеспечивается стандартными средствами ММ ПК или оригинальными звуковыми картами и соответствующим ПО;
◆ . Обеспечивается стандартными средствами ММ ПК, а также дополнительными видеокартами и соответствующим ПО;
◆ . Обеспечивается стандартными средствами ММ ПК и специальными ПС;
◆ (проявление в сложных интерактивных средах, например, в среде виртуальной реальности). Обеспечивается стандартными средствами ММ ПК и дополнительным оборудованием, не входящим в стандартный состав ММ аппаратуры, а также специальными и оригинальными сложными ПС поддержки.
Актуальность применения ММ в восприятии и освоении информационно-образовательных материалов. Благодаря применению в ММ продуктах и услугах одновременного воздействия текстовой и графической, звуковой и видеоинформации, эти средства обладают большим эмоциональным зарядом и активно включаются как в индустрию досуга и развлечений, так и в практику всех видов деятельности и образования.
Экспериментально установлено, что при устном изложении материала слушатель на лекции за минуту воспринимает и способен переработать до 1000 условных единиц информации, а при активизации органов зрения – до 100 тысяч таких единиц. Поэтому совершенно очевидна высокая эффективность использования во всех видах деятельности и образования ММ средств, основанных на параллельном зрительном и слуховом восприятии материала [7].
1.1.2. Особенности человеческого восприятия
Для понимания основных подходов, используемых ММ технологиями для воздействия на органы чувств, необходимо проанализировать особенности человеческого восприятия, понять, с помощью каких основных внешних воздействий создаются эффекты присутствия и погружения пользователя в реальные и искусственные среды [1].
Ощущение – это построение образов отдельных свойств предметов окружающего мира в процессе взаимодействия с ними рецепторов. Все ощущения, испытываемые человеком, можно разделить на
◆ реальные ощущения, возникающие в процессе непосредственного взаимодействия с предметами;
◆ виртуальные ощущения (сенсорные впечатления), получаемые на основе искусственно созданных представлений об этом предмете.
Восприятие пространства – чувственно-наглядное отражение пространственных свойств объектов (их величины и формы), их пространственных отношений (расположения относительно друг друга и воспринимающего субъекта и плоскости и в глубину) и движений. В восприятии участвуют все органы чувств человека [1].
Первичное возникновение ощущений обеспечивают рецепторы – молекулярные или клеточные структуры, воспринимающие действие факторов внешней или внутренней среды и передающие информацию о сигнальном значении раздражителя на следующие уровни обработки.
Сенсорные рецепторы воспринимают действие раздражителей и обеспечивают возникновение возбуждения в нервных волокнах.
Искусственно создаваемые средствами виртуальной реальности воздействия на сенсорные рецепторы как раз и создают упомянутые выше сенсорные впечатления.
Физиологические системы человека, обеспечивающие восприятие, проведение и анализ информации о состоянии внешней и внутренней среды и формирующие специфические ощущения, называются анализаторами.
По характеру ощущений, возникающих в результате воздействия на соответствующие рецепторы, выделяют анализаторы: слуховой, зрительный, осязательный (тактильный), обонятельный, вкусовой, вестибулярный, температурный, болевой и другие.
По анатомическому расположению рецепторов выделяют три основных класса ощущений.
1. Экстеро(ре)цептивные ощущения, возникающие при действии на рецепторы, расположенные на поверхности тела. Они, в свою очередь, подразделяются на
◆ (зрительные, слуховые и обонятельные);
◆ (осязательные или тактильные, вкусовые).
2. Проприоцептивные (кинестезические) ощущения, возникающие при действии на рецепторы, расположенные в мышцах, сухожилиях, суставных сумках и свидетельствующие о движении и относительном положении частей тела. Сюда же относятся и ощущения при работе органа равновесия и пространственной ориентации – вестибулярного аппарата.
3. Интероцептивные (органические) ощущения, обусловленные обменными процессами внутри организма.
Функциональные способности органов чувств лежат в определенных пределах. Для измерения их характеристик рассмотрим следующие понятия.
– свойство нервных и мышечных клеток отвечать на действие раздражителя возбуждением. Возбуждение – ответная реакция высокоспециализированных (рецепторных) клеток на действие раздражителей, характеризующаяся проявлением специфической функции и потенциала действия. Возбудимость при эволюции рецепторных клеток развилась из свойства раздражимости. – универсальное свойство всех клеточных структур отвечать на действие раздражителя изменением своей жизнедеятельности.
По признаку биологического соответствия раздражители делятся на
◆ (к восприятию которых чувствительные структуры приспособлены и отвечают возбуждением на малую силу раздражителя);
◆ (не вызывают возбуждения даже при значительной силе возбуждения, а вызывают только при чрезмерной).
При разработке ММ оборудования важно учитывать допустимое влияние проектируемых раздражителей – будет ли оно адекватным и пороговым.
Порог чувствительности (интенсивности) раздражителя – минимальная величина интенсивности раздражителя, достаточная для вызова возбуждения. Предполагается, что сила воздействия лежит в адекватных пределах от минимального порога чувствительности до болевого порога для данного органа чувств. Величина порогового значения обратно пропорциональна времени действия раздражителя.
Порог времени раздражения – минимальное время действия раздражителя для вызова возбуждения. На акустические и оптические сигналы время реакции человека составляет 100-250 мс (из этого на глаз приходится 20-40 мс, срабатывание мышц руки – 30-50 мс), на более сложные задания: прочитать слово – 350-550 мс, назвать предмет – 600-800 мс.
Для большинства органов человека сила воздействия может меняться в широких пределах. Тем не менее, число интенсивностей раздражения, которые пользователь способен уловить одновременно, невелико. Например, зрение в среднем способно отследить всего лишь 100-150 различных цветов.
При проектировании различных ММ устройств можно избежать сильных болевых и шоковых воздействий раздражителя, меняя скорость нарастания силы и время воздействия. В первую очередь это касается яркости изображения и громкости звука [1].
Каналы восприятия. В целом восприятие информации человеком проходит по 5 основным каналам, в число которых входят [7-8]:
1) зрительный – восприятие цветных изображений в трехмерном пространстве и на плоскости. Зрительный аппарат человека является важнейшим источником получения информации о внешнем мире (до 70-80 %);
2) слуховой – восприятие звуков в трехмерном пространстве. Звук представляет второй по значимости после зрения источник информации, но, как и цвет, требуется не всегда;
3) осязательный (тактильный) – восприятие прикосновения телом, рукой, пальцами, а также ощупывания. Это сенсорное (чувствующее) восприятие. В его основе лежит раздражение различных рецепторов кожи, некоторых слизистых оболочек (язык, губы). Осязание включает различные виды восприятия: тактильное – восприятие прикосновения и давления, а также восприятие боли, тепла и холода;
4) обонятельный – восприятие запахов. Обоняние – вид чувствительности, порождающий специфические ощущения запаха.
5) вкусовой – восприятие вкуса пищи. Вкусовые ощущения имеют 4 основные модальности: сладкое, соленое, кислое и горькое. Все остальные ощущения вкуса представляют собой разнообразные сочетания упомянутых основных.
Кроме того, часто обсуждается интуиция и некий шестой интегральный канал – экстрасенсорный – обостренное комплексное восприятие (биополя, или чего-то еще), всевидение.
В дополнение к основным каналам, используются еще два канала восприятия:
1) мышечный – восприятие силы и сопротивления (например, сопротивления повороту), веса и давления, сжатия и растяжения;
2) вестибулярный – восприятие положения в трехмерном пространстве.
3) Некоторые ученые утверждают, что при наличии звукового сопровождения уровень запоминания информации составляет около 20 %, при наличии звука и видео – 30 %, а при использовании интерактивных презентаций с обратной связью – 60 % [1, 3].
1.1.3. Оцифровка информации мультимедиа
Чтобы речь, музыка, видеокадры и анимации могли быть использованы компьютером, они должны быть представлены в цифровой форме, допускающей компьютерную обработку. Для хранения подобной информации в цифровой форме требуется довольно много места.
Так, одна минута музыки даже при 8-битном формате занимает до 0,645 Мбайт (а в стереозвучании – 1,29 Мбайт). При переходе к 16-битному формату объемы удваиваются.
Видеоинформация требует для хранения еще больше места, чем звуковая. Специфической особенностью телевизионного (TV-) приемника является то, что при приеме изображения от передатчика он не запоминает полученного изображения, а сразу воспроизводит его на экране способом «точка за точкой». ПК же наоборот выдает на экран дисплея изображение в виде прямоугольной сетки элементов рисунка (точек), называемых пикселами (picture element – элемент картины, сокращенно – pixel). Изображение хранится в памяти ПК как яркость и цвет для каждой точки экрана. Изображение сохраняется в оцифрованном виде [5].
Подсчитаем затраты памяти для хранения одной неподвижной картинки экрана. Экран (VGA) содержит 640×480=307200 пикселов. Если используется 256 цветов, то для хранения пиксела потребуется 8 бит. Значит, всего потребуется 0,29 Мбайт. А при высококачественной передаче цветовой палитры (24-битный цвет) потребуется в 3 раза больше – 0,87 Мбайт. Данные для мониторов с разным разрешением приведены в табл. 1.1.
Таблица 1.1
Телевизионный стандарт предполагает представление изображений последовательностью кадров, сменяющихся 25 раз в секунду. Для хранения секундного видеоролика в этом случае может потребоваться (из табл. 1) при 24 бит/пиксел скорость 21,75-93,75 Мбайт/с, а при 32 бит/пиксел – соответственно 29-125 Мбайт/с.
При этом видеофильм длительностью, например, 1 час 33 мин 50 с займет, как минимум, 119,58 Гбайт при 24 бит/пиксел и частоте 25 кадров/c или 191,33 Гбайт при 32 бит/пиксел и частоте 30 кадров/c. Столько не вместит и самый емкий цифровой многофункциональный диск (Digital Versatile Disk, DVD) [9, 10], а самые быстрые каналы Internet не обеспечат передачу таких объемов информации.
Скорость передачи неподвижного изображения объемом в 1 Мб из видеопамяти ПК на экран при частоте регенерации 60-100 Гц составляет 60-100 Мбайт/c, а объемом 3,75 Мбайт (24 бит/пиксел), как следует из табл. 1.1, – соответственно 225-375 Мбайт/с.
Такими объемами памяти, а также требуемыми для передачи изображений в режиме РВ высокоскоростными каналами современные ПК пока не обладают. На преодоление именно трудностей хранения и воспроизведения в режиме РВ звуковой и видеоинформации как раз и направлены в настоящее время усилия многих разработчиков средств ММ. Проанализируем типовые варианты решения этой проблемы.