Айтрекинг-исследование в Плёсском музее-заповеднике

Стадии исследования.

• Привлечение респондентов через социальные сети (vk, facebook, instagram)
• Предварительное анкетирование респондентов при помощи специальной анкеты при помощи сервиса google forms для сегментирования респондентов (на основе “Исследование музейной аудитории: методическое пособие” М.Е.Каулин, И.В.Чувилова, О.Е.Черкаева, О.А.Ефанова, М.2013).
• Нанесение специальных меток по углам картин для составление тепловых карт осмотра.
• Калибровка айтрекинг очков на респонденте (индивидуально для каждого) при помощи специальной “мишени”.
• Свободный осмотр всех помещений музея (первых зал с информационными баннерами, второй зал с картинами Левитана, Кувшинниковой и Степанова и личными вещами, а также бывшие жилые комнаты самих художников: комнат Степанова и Левитана и комнаты Кувшинниковой.
• После осмотра в целях выявления качества осмотра проводилось интервьюирование посетителей при помощи опросника, разработанного на основе методички (“Исследование музейной аудитории: методическое пособие” М.Е.Каулин, И.В.Чувилова, О.Е.Черкаева, О.А.Ефанова, М.2013) и сотрудников музея. Основная часть вопросов была составлена, чтобы получить от респондентов наиболее запомнившиеся им картины, а также субъективное время осмотра для каждого из залов.
• На основе собранного материала была проведена расшифровка записей интервьюирования (с согласия участников). Создана таблица с перечислением всех экспонатов по категориям и комнатам, и для каждого респондента создана таблица с временем осмотра и числом фиксаций. Также была создана колонка для информации о читаемости этикетажа для картин и карта бликов при осмотре картин (с разделением на характер бликов - от естественного или искусственного освещения и особенностей отражающих поверхностей).
• Помимо таблиц, визуализация полученного материала была осуществлена при помощи сервисов https://flourish.studio/ и http://www2.heatmapper.ca/image/ - для составление тепловых карт на основе 2D планов экспозиции, созданного сотрудницей Плесского музея.

Цели.

• Определить индивидуальные особенности осмотра для каждого респондента (наиболее осматриваемые и игнорируемые предметы и их типы: картины, информационные плакаты, фотографии, личные вещи и мультимедиа).
• Определить среднее арифметическое значение 15 респондентов для времени осмотра и числа фиксаций.
• Выявить время осмотра каждого из залов для каждого респондента и сравнить с субъективным временем осмотра, полученным из интервью.
• Выявить среднее арифметическое значение осмотра каждого из залов и числа фиксаций.
• Определить читаемость этикетажа для картин.
• Составить карту бликующих картин в зависимости от характера бликов (мешает свет от ламп, окон или сильно отсвечивает материал поверхности)
• Составить карту с траекториями перемещения и выделить типовые маршруты осмотра музея.

Техническое оборудование.

Айтрекер и ПО Puil Labs (Berlin). Разрешение сценовой камеры  (World Camera) 1920x1080 с частотой обновления 30 fps.Фиксации: максимальная дисперсия 2.010 deg (угловых градуса). Минимальные и максимальные значения для фиксации (min&max duration) 200-1000 миллисекунд (ms). Монокулярная камера для зрачка: 200x200 с частотой разрешения 200fps.Инфракрасная камера с инфракрасной подсветкой (dark pupil tracking).

Фокусная группа первоначально состояла из 17 человек, однако первые два респондента мы пробовали записать при помощи подключения айтрекинг очков к мобильному телефону по протоколу USB-C. В таком случае телефон передает все расчеты на основной ноутбук. В первом случае мы использовали музейный WI-FI, однако скорость передачи данных была очень низкой. Во втором случае мы опробовали раздачу мобильного интернета по WIFI с другого телефона, на котором ловился 4G интернет. Однако, радиус передачи был достаточно небольшой, поэтому первые две записи прерывались и приходилось следовать в близости от респондента или вешать второй телефон на него. В этом случае сигнал тоже был не постоянно устойчивым. От собранного материала было решено отказаться. Мы решили использовать ноутбук asus zenbook ux310u весом 1.45 кг который также подключался к айтрекинг очкам при помощи USB-C и после калибровки клался за спину в рюкзак. Такой способ был устойчивым и можно было выбрать в настройках лучшее разрешение и частоту обновления кадров. При помощи этого метода мы исследовали 15 человек.

Фокус-группа.

Экспонаты.

Изучаемое пространство состояло из трех залов. В первом зале было 14 объектов изучения: 10 информационных плакатов (шифр на карте “A”), на которых были размещены небольшие репродукции картин Левитана, Степанова и Кувшинниковой, хранящиеся в других музеях, цитаты известных людей о Левитане и его близких, фотографии персоналий и мест в Плесе. Также в этом зале находились два мультимедиа-экрана (шифр на карте “M”), стилизованных внешне под холст. Помимо этого в первом помещении находится бюст Левитана  (шифр на карте “S”).

Во втором зале собраны, преимущественно, картины  (шифр на карте “P”) и фотографии (шифр на карте “F”). Им присвоены 42 шифра. Надо оговориться, что помимо непосредственно картин Левитана, Кувшинниковой и Степанова мы включили в эту группу холсты P27, 28, 29 играющих декоративную роль. Холсты под шкафом и фотостеной (P28, 29) сдвоенные - мы их решили объединить из-за совсем небольшого размера, отсутствии этикетажа и очень низких показателей просматриваемости. Помимо картин во втором зале находится шкаф с большим числом фотографий за стеклом F1, фотостену F2, стол с фотографиями F3 и тумбу F4. Рядом с картинами Кувшинниковой находится альбом для листания, посвященный хронологии ее жизни и творчества. Логически мы включили ее в группу информационных плакатов и присвоили шифр A12. Также, во втором зале находится два мультимедиа интерфейса - точскрин, где можно почитать книгу M3 и мультимедиа-экран, стилизованный под холст, как в зале 1 (шифр M4).

Третий зал находится на втором этаже. Тут находится общий холл и две комнаты с личными вещами: первая комната с вещами Левитана и Степанова, а второй - с вещами Кувшинниковой. В эти комнаты нельзя войти, осмотр осуществляется непосредственно из холла. Перед каждой комнатой висят информационные плакаты, раскрывающие суть находящихся в комнатах предметов (шифры A13, A14). Личные вещи, предметы мебели (15 шт.) по отдельности или в группах помечены шифром L. Также, мы сделали отдельный шифр Ser (можно увидеть https://docs.google.com/spreadsheets/d/1EJFQrSc_23T7qa-u-bQ6sAESkRs_TUfNT6mUWUVPA74/edit?usp=sharing во вкладке “Полные данные”, - им мы пометили осмотр сервисных зон: камер наблюдения, окон, термометров, светильников и пр. предметов, не носящих культурную ценность. Этот шифр мы не включили в итоговые визуализации в виде тепловых карт залов и визуализации в сервисе Flourish.

План зала№2 с картинами

План зала№1 с информационными плакатами

План зала№3 (Комната Левитана и Степанова) с личными вещами

План зала№3 (Комната Кувшинниковой) с личными вещами

Развернуть список с экспонатами

Индекс поверхности	Изображение	Тип	Зал	Автор	Название
A1		Информационный плакат, альбом	1		Хронология жизни Левитана
M1		Мультимедиа	1		Мультимедиа экран холст
S1		Скульптура	1		Гисповый бюст
M2		Мультимедиа	1		Мультимедиа экран холст 2
A3		Информационный плакат, альбом	1		Информационный плакат
A2		Информационный плакат, альбом	1		Информационный плакат
A4		Информационный плакат, альбом	1		Информационный плакат
A5		Информационный плакат, альбом	1		Информационный плакат
A8		Информационный плакат, альбом	1		Информационный плакат
A11		Информационный плакат, альбом	1		Информационный плакат
A6		Информационный плакат, альбом	1		Информационный плакат
A7		Картина, репродукция	1		Плес
A9		Информационный плакат, альбом	1		Информационный плакат
A10		Информационный плакат, альбом	1		Информационный плакат
P1		Картина, репродукция	2	Левитан	Тростник и кувшинки
P2		Картина, репродукция	2	Левитан	Осень мельница
P3		Картина, репродукция	2	Левитан	Закат на Волге
P4		Картина, репродукция	2	Левитан	Лес
P5		Картина, репродукция	2	Левитан	Крымский пейзаж
P6		Картина, репродукция	2	Левитан	Цветущие яблони
P7		Картина, репродукция	2	Левитан	Озеро
P8		Картина, репродукция	2	Кувшинникова	Ручей в лесу
P9		Картина, репродукция	2	Левитан	Волга
P10		Картина, репродукция	2	Степанов	Лес
M3		Мультимедиа	2		Точскрин
P11		Картина, репродукция	2	Левитан	Речная заводь (прудик)
P12		Картина, репродукция	2	Левитан	Полустанок
P13		Картина, репродукция	2	Левитан	Розы
P14		Картина, репродукция	2	Левитан	Овраг с забором
P15		Картина, репродукция	2	Левитан	Без названия
P16		Картина, репродукция	2	Левитан	Степь
P17		Картина, репродукция	2	Левитан	Озеро в лесу
P18		Картина, репродукция	2	Степанов	Мужик
P19		Картина, репродукция	2	Степанов	Лодка
P20		Картина, репродукция	2	Степанов	Стойло
P21		Картина, репродукция	2	Степанов	Беседка под цветущими деревьями
P22		Картина, репродукция	2	Степанов	Деревня
P23		Картина, репродукция	2	Левитан	Ствол дуба ранним летом
P24		Картина, репродукция	2	Кувшинникова	Ум и красота
P25		Картина, репродукция	2	Степанов	Этюд
P26		Картина, репродукция	2	Степанов	Волга
M4		Мультимедиа	2		Холст - экран у шкафа
P27		Картина, репродукция	2		Холст
P28		Картина, репродукция	2		2 картины под холстом
P29		Картина, репродукция	2		2 картины под шкафом
F1		Фотографии	2		Шкаф с фото
F2		Фотографии	2		Фотографии над столиком (14)
F3		Фотографии	2		стол с фото, стул
P32		Картина, репродукция	2		портрет С. П. Кувшинниковой, автор неизвестен
P30		Картина, репродукция	2	Виноградов	Охотник в лесу
P31		Картина, репродукция	2	Поленов	Пейзаж с болотцем
P33		Картина, репродукция	2	Дубовской	Ветер с севера
P34		Картина, репродукция	2	Степанов	Река. Серый день
F4		Фотографии	2		Тумба с фото
A12		Информационный плакат, альбом	2		Альбом про Кувшинникову
P35		Картина, репродукция	2	Кувшинникова	В окрестностях Звенигорода
P36		Картина, репродукция	2	Кувшинникова	Поленница
P37		Картина, репродукция	2	Кувшинникова	Заросший пруд
P38		Картина, репродукция	2	Кувшинникова	Опушка леса
P39		Картина, репродукция	2	Кувшинникова	Пейзаж с церковью
P40		Картина, репродукция	2	Кувшинникова	Московский переулок
P42		Картина, репродукция	2	Кувшинникова	Плес
P41		Картина, репродукция	2	Кувшинникова	Плес - Интерьер Петропавловской церкви
L1		Личные вещи	3		Диван с гитарой
L2		Личные вещи	3		Картина над диваном
L3		Личные вещи	3		Сумка на стене
L4		Личные вещи	3		Чемодан
L5		Личные вещи	3		Самовар на столе
L6		Личные вещи	3		Стол и стул
L7		Личные вещи	3		Предметы для рисования
L8		Личные вещи	3		Стулья и обожур
L9		Личные вещи	3		Стол и часы и ваза
A13		Информационный плакат, альбом	3		Этикетаж к комнате Левитана и Степанова
A14		Информационный плакат, альбом	3		Этикетаж к комнате Кувшинниковой
L10		Личные вещи	3		Стол с самоваром и стулья цветы
L11		Личные вещи	3		Кровать с ковром
L12		Личные вещи	3		Туалетный столик со стулом
L13		Личные вещи	3		Газетный столик
L14		Личные вещи	3		Пианино со стулом и картина
L15		Личные вещи	3		Полочка над столиком

Визуализация полученных данных.

Google Таблицы.

Были обработаны деперсонифицированные данные 15 респондентов. Первоначально, все данные вносились в таблицу https://docs.google.com/spreadsheets/d/1EJFQrSc_23T7qa-u-bQ6sAESkRs_TUfNT6mUWUVPA74/edit#gid=1351418370 (вкладка “полные данные”). Напротив каждого из экспонатов для каждого из респондентов отмечались начало и конец осмотра по времени и по числу фиксаций. Для визуализации в виде тепловых карт и Flourish мы опирались на время, а не число фиксаций. Несмотря на то, что у разных респондентов число секунд может отличаться от числа фиксаций на предмете, в среднем для наших настроек ( максимальная дисперсия 2.010 deg (угловых градуса). Минимальные и максимальные значения для фиксации (min&max duration) 200-1000 миллисекунд (ms)) можно сделать обобщение, что 1 сек = 1 фиксации. Расхождение становиться заметным при осмотре предмета более двух минут, что достаточная редкость для нашего исследования. Из среднеарифметических значений (функция AVERAGE) мы рассчитали среднее арифметическое значение для каждого из экспонатов (https://docs.google.com/spreadsheets/d/1EJFQrSc_23T7qa-u-bQ6sAESkRs_TUfNT6mUWUVPA74/edit#gid=1533624584 (вкладка “сокращенные данные”, столбец AP). Из этих средних значений, в свою очередь, вывели среднее значение осмотра всех экспонатов и оно составляет 0:10 сек. Итак, были подсчитаны значения как для каждого из респондентов, так и средние, на основе собранных данных.

Стоит отметить, что респонденты не рассматривают картины переходя от одной к другой. Человек может одновременно рассматривать несколько картин, - сделав 3-4 фиксации на первой, и основательно рассмотрев вторую, а затем снова вернуться к первой. Особенно это заметно, если несколько небольших картин висят друг под другом. К тому же, заходя в зал, человек пробегает по нему взглядом, сегментируя его на подзоны и принимает решение о маршруте осмотра. Подходя к группе картин, он также сперва пробегает взглядом по наиболее привлекающих внимание из этой зоны, чтобы идентифицировать ее. Помимо этого, несколько респондентов после того, как осмотрели все три зала, возвращались в зал с картинами чтобы вновь осмотреть их. Поэтому мы добавили несколько подходов для некоторых предметов, а также писали добавочные значения в специальную колонку, если число каждого из этих подходов не превышало четырех секунд, суммируя их. Особенно такой подход был заметен на втором этаже в зале №3 с личными вещами и мебелью. Респондент тут находился в постоянной смене объектов осмотра, редко задерживаясь более 3 секунд на каждом из объектов подряд, но часто возвращаясь в ним вновь и вновь.

Также, для проверки субъективных впечатлений о времени осмотра каждого из залов и наиболее осматриваемых картин, мы рассчитали точное время начала и прекращения осмотра каждого из залов. Полученные данные будут представлены в соответствующем разделе.

Тепловые карты для картин.

До проведения исследования мы наклеили специальные маркеры в углах картин и информационных плакатов, чтобы благодаря возможностями программы визуализации полученных айтрекинг данных Pupil Player (Version,1.11.4). Однако наши расчеты оказались не совсем верными - мы наклеили маркеры по углам картин и в некоторых случаях, когда респондент приближался к картине близко для того, чтобы рассмотреть детали, они исчезали из поля зрения камеры. Поэтому мы решили оказаться от такого формата визуализации для каждого из 15 респондентов. Такой способ визуализации, несомненно, заслуживает самого пристального внимания, но только в случае, если между респондентом и картиной есть физическая преграда, не позволяющая приближаться к ней достаточно близко. Или, как это было в айтрекинг исследовании в музее Ван-Гога в 2017 респондент был зафиксирован на расстоянии от картины и на осмотр картины давалась вполне определенное время. Тем не менее, мы сделали такую визуализацию для нескольких респондентов. Для этого мы пользовались режимом Offline Surface Tracker для создания поверхности по трем (и более) маркерам с разрешением исходной картинки в формате PNG 1000x1000px с альфа каналом (прозрачность). Такую тепловую карту мы затем накладывали на фотографию картины или информационного плаката. Такой формат визуализации подходит для всех экспонатов, в которых нет глубины, .т.к. при осмотре предмета с разных ракурсов объемного предмета возникают искажения.

Тепловая карта информационного плаката A2(зал№1)

Тепловая карта информационного плаката A1(зал№1)

Тепловая карта информационного плаката A3(зал№1)

Тепловая карта информационного плаката A6(зал№1)

Тепловая карта картины И.Левитана Тростник и кувшинки (шифр P1 зал2)

Тепловая карта картины И.Левитана Волга (шифр P9 зал2)

Тепловые карты залов.

Для каждого из 15 респондентов и для средних значений времени осмотра мы сделали тепловые карты зала №1 (информационные плакаты) и №2 (картины и фотографии). В свою очередь, для зала №2 мы сделали несколько слоев тепловых карт: общий, со всеми экспонатами (карины, фотографии, мультимедиа, альбомы), отдельно для фотографий и картин (из-за того, что мультимедиа перетягивает на себя наиболее яркие точки карты и различия между картинами не столь заметны) и только для картин. Тепловые карты этажей мы создавали в сервисе http://www2.heatmapper.ca на основе поэтажного плана с экспонатами. Для компактности на карту мы наносили шифры категорий и их порядковые номера (подробнее о шифрах в разделе “экспонаты”). Через сервис heatmapper.ca сервис можно загрузить картинку в наиболее популярных графических форматах и далее на этом изображении наложить сетку значений (плотность сетки настраивается). Первый раз мы нанесли ключевые точки тепловой карты всместе со значениями вручную, а затем, на основе полученных координат x и y для экспонатов автоматизировали процесс, загружая данные в формате CSV (value - значение в секундах; расположение экспоната на карте по оси x: расположение по оси y).

Тепловая карта среднего арифметического значения осмотра всех экспонатов(зал№2)

Тепловая карта среднего арифметического значения осмотра только картин и фотографий(зал№2)

Тепловая карта среднего арифметического значения осмотра только картин(зал№2)

Тепловая карта среднего арифметического значения читаемости этикетажа картин(зал№2)

Тепловая карта бликующих картин (естественный и искусственный свет) (зал№2)

Тепловая карта среднего арифметического значения осмотра всех экспонатов(зал№1)

Видео.

Для респондентов с хорошим уровнем калибровки мы сделали видео рендеры из программы Pupil Player. На ней можно увидеть саккады и фиксации, а также порядковый номер фиксации, и стабильность засветки зрачка. Записи выложены на youtube канале студии itmus.ru и вы можете посмотреть их ниже.

Видео айтрекинг исследования. Хорошо заметна читаемость этикетажа картин.

Визуализация данных в сервисе flourish studio.

Полученные данные приобретают актуальность и наглядность при правильной визуализации, т.к. на основе таблиц сложить представление достаточно сложно. Для этих целей мы выбрали сервис flourish.studio. Он позволяет наглядно визуализировать размер осмотра картин в виде величины круга, сегментировать результаты цветом, по залам, по художникам, по типам, по среднему времени и общему времени осмотра и пр. Мы сделали такие визуализации для состава фокус группы и визуализации результатов исследования как для средних арифметических значений, так и индивидуально для каждого.

Калибровка.

Калибровка айтрекера - процесс, занимающий примерно 20-30% от общего времени всего процесса исследования проводится индивидуально для каждого респондента перед началом исследования. Цель процесса калибровки - верно сопоставить положение с двух камер айтрекинга: сценовой (направленной перед человеком) и глазной (направленной на зрачок). Критерий успешной калибровки - точное наложение “точки взора” в виде цветного кружка размером 2-3 угловых градуса, накладываемой в интерфейсе программы в режиме реального времени на видео со сценовой камеры.

Существует несколько методов калибровки айтрекера. Мы рассмотрим несколько способов, которые используются в программе Pupil Labs. Первый - поочередная демонстрация круглых “мишеней” -  маркеров на экране ноутбука или монитора, за в центр которых должен смотреть калибруемый респондент. Эти маркеры постоянно меняют расположение на экране постепенно составляя своеобразную карту, где фиксируется расположение маркера и соответствующее ему положение зрачка. Главное условие такого метода - все маркеры должны попадать в поле зрения сценовой камеры, респондент сидеть достаточно близко к экрану, его голова должна быть неподвижна. Еще один метод, используемый нами - когда вместо мишеней на экране используется мишень с распечатанным маркером на бумаге. Во время калибровки исследователь находится в поле зрения камеры респондента и перемещаясь в пространстве перед ним меняет расположение маркера, поднимая маркер вверх и вниз, влево и вправо, закрывая последовательностью расположений маркера максимально широкое поле перед респондентом. Существуют еще другие методы, - когда человек в айтрекинг очках вытягивает перед собой палец и наклоняя голову влево, вправо, вверх и вниз следит за пальцем. Стоит отметить, что в пока еще тестовых новых версиях очков немецкой компании Pupil уже существует безкалибровочные модели очков, вычисляющие расположение зрачка на основе машинного зрения.

Из практики айтрекинг исследований существует статистика, что около 20% респондентов не поддаются калибровке из-за индивидуальных особенностей строения глаз (цвета пигментации, размера зрачка, строения века и пр.). Поэтому качество полученного результата калибровки различаются у всех респондентов. Также, на этот фактор влияет физиология: у кого-то взор вниз из за длинных ресниц отслеживается не так точно, как взор прямо или вверх. Несмотря на то, что у нашей модели айтрекинг очков есть выдвижное “плечо”, а глазная камера располагается на специальном подвижном шарнире, позволяя гибко настраивать положение, результаты калибровки достаточно разные. Помимо этого, в ходе самого исследования, несмотря на то, что мы предупреждаем респондентов и фиксируем провод от очков на специальной клипсе,иногда очки все таки сдвигаются.

Таблица качества откалиброванных респондентов:

Время осмотра залов.

Для каждого из респондентов мы подсчитали количестве времени осмотра каждого из трех залов. Условие для первого зала - первая фиксация на любом информационном плакате (чаще всего это A2-A4), завершение - фиксация на последнем предмете из зала (Чаще всего A6 или A7). Ввиду скученности экспонатов, такой критерий достаточно точно фиксирует время начала и конца осмотра. Второй зал - первая фиксация на экспонатах или стене, - обычно в области P11-P15. Завершение осмотра первого зала обычно приходится на P41-P42 в том случае, если респондент осмотрел зал полностью. Но существует другая стратегия осмотра - после картин P16-P17 респондент уходит на второй этаж, а после того как возвращается  - продолжает осмотр картин с P18-P19. В таком случае мы суммируем эти два временных отрезка (до и после осмотра второго этажа). Завершением осмотра первого зала мы считали первые фиксации на лестнице, ведущей на второй этаж. Время на лестнице не учитывалось, и отсчет осмотра второго этажа мы начинали когда респондент еще физически находился на верхних ступенях лестницы, но уже осматривал интерьер комнаты Левитана и Степнова или другие объекты на втором этаже. Конец осмотра - последние фиксации перед лестницей вниз.

Во время интервьюирования после осмотра экспозиции мы просили назвать субъективное время осмотра каждого из трех залов. Обычно, это были точные  значения (например, 7 минут). Но иногда респондент говорил “10-15 минут”. Или, “меньше пяти минут”. Понимая субъективность такого значения, мы рассчитали среднее арифметическое значение между двумя цифрами.