Создание цифровых двойников культурного наследия

Появление в последнее десятилетие интернет платформ для хранения и показа трехмерных моделей, а также в целом веб-технологии которые позволяют отображать трехмерную графику на интернет странице открывает новые горизонты и возможности для виртуальных музеев. Становится возможным, при помощи этих технологий показывать виртуальные исторические реконструкции, оцифрованные в объеме материальные памятники культуры и музейные предметы. 

В сравнении с двухмерными способами передачи свойств объектов (фото, видео, графика), презентация трехмерных копий объектов обладает рядом преимуществ - отсутствует зафиксированная точка и масштаб обзора на объект, - его можно рассматривать всесторонне, приближая или отдаляя виртуальную камеру обзора. Передаются как геометрические, так метрические и оптико-цветовые свойства объекта.

 ITMUS.ART имеет  опыт трехмерного сканирования музейных предметов различного профиля: естественнонаучных, исторических, технических,мемориальных. В слайдере ниже вы можете увидеть некоторые трехмерные модели, подготовленные нашим специалистом в естественнонаучном Государственном Дарвиновском Музее (Москва). По количеству размещенных моделей музей вошел в мировой топ 20 в категории “музеи” на наиболее крупной платформе размещения 3D контента Sketchfab.

Основные преимущества трехмерной оцифровки музейных предметов.

• Любой градус и масштаб обзора при просмотре.
• Анимация - возможность показать как движется экспонат (техника, живые существа), в том числе в различных природных средах (гравитация, вода, огонь, ветер, взаимодействие с другими живыми существами). 
• Реконструкция и протезирование - возможность показать как он выглядел и изменялся со временем.
• Показ скрытых от обычного взгляда поверхностей и элементов музейного предмета (внутри, снизу, сзади). 
• Возможность демонстрации в Интернете редких, ветхих экспонатов и научной работы с цифровыми двойниками, создание базы геометрических обмеров и корректной передачи цвета.
• Использование виртуальных трехмерных галерей, как способа структурирования и каталогизации.
• Возможность трехмерной печати, как особо ценных предметов из фондов для выставления на экспозиции для сохранности, так и печати предметов из других музеев.
• Использование оцифрованных музейных предметов для проектирования будущих выставок, - их расстановка в цифровых копиях существующих выставочных пространствах.
• Возможность монетизации: любой музей является хранилищем уникальных, штучных предметов или фабричных, но вышедших из повседневного употребления. Трехмерные копии можно продавать для использования в документальном и игровом кино, компьютерных играх.
• Многие популярные музеи близки к физическому исчерпанию возможностей принять поток посетителей, поэтому виртуальные галереи с трехмерными цифровыми копиями могут стать еще одним каналом просмотра, с опытом, близким к настоящему посещению выставочного пространства. Кроме того, это возможность увидеть музей и его экспонаты для посетители, ограниченных физически или географически. 
• Еще один инструмент документирования для системы учета.

ITMUS.ART занимается созданием 3D копий музейных предметов и в исторических музеях. В слайдере ниже вы можете посмотреть примеры моделей, созданных методом фотограмметрии специалистами студии itmus в музее-панораме “Бородинская битва”(Москва). Музей посвящен Отечественной войне в России 1812г., его фонды включают предметы той эпохи, в том числе наполеоновской армии: картины, личные вещи, холодное, огнестрельное и артиллерийское оружие, манекены с военной формой.

Какие музейные объекты можно оцифровывать в 3D.

• Микроуровень -  коллекции насекомых естественнонаучных музеев, нумизматические коллекции, исторические украшения и драгоценности. 

• Объекты средней величины: скульптуры, оружие, экспонаты из истории развития техники, личные вещи, одежда. 

• Крупные объекты: военная техника, фоссилии и реконструкции динозавров, модели кораблей.

• Макроуровень - модели зданий или комплексов зданий (интерьеры и экстерьеры, - музеи-ансамбли, созданные на основе памятников архитектуры, их интерьеров, исторические кварталы городов, ортофотоплан местности).

• ITMUS.ART занимается созданием 3D копий музейных предметов в мемориальных и технических музеях. Ниже в слайдере вы можете посмотреть примеры моделей из Музея кино (Москва), в том числе 3D копии личных вещей из кабинета советского режиссера Сергея Эйзенштейна, внесшего большой вклад в развитие мирового кинематографа.

Где размещать цифровые двойники музейных предметов в Интернете.

Специализированные платформы в интернете позволяют донести трехмерные модели до широкой аудитории. 

Наиболее популярной платформой на сегодняшний день является sketchfab.com, появившаяся в 2012г., которую также называют “youtube для 3D”. Возможности платформы позволяют загружать модели в большинстве 3D форматов, просматривать со всех сторон, масштабировать, встраивать модели на любой сайт. Поддерживается анимация, возможность добавления “точек интереса” на модель, сопровождение модель звуковым рассказом. 

Платформа активно развивает направление по публикации культурного наследия. В категории « Культурное наследие и история» Sketchfab насчитывается более 100 000 3D-моделей. Сейчас в разделе https://sketchfab.com/museums  размещено около 400 музеев со всего мира (всего, до данным ИКОМ в мире более 55 000 музеев в 202 странах), в том числе: Британский музей, Смитсоновский институт, объединение из 34 парижских национальных музеев Réunion des Musées Nationaux, Музей естественных наук в Барселоне, Шотландский морской музей, Малопольский виртуальный музей, - объединение из 42 польских музеев, Музей Квинсленда в Австралии, проект по оцифровке культурного наследия Ирландии Digital Heritage Age, Музей дакийской и римской цивилизации в Румынии, Национальный музей естественной истории Чили, Королевские музеи искусства и истории Бельгии, Королевский музей Центральной Африки, Министерство культуры Перу, Гарвардский музей древнего Ближнего Востока, ГМИИ им. Пушкина в России, Дарвиновский музей и России и многие другие. В рамках развития направления по публикации культурного наследия музеям бесплатно предоставляется платная для остальных пользователей учетная запись Premium, позволяющая загружать до 200 моделей в месяц, размер каждой - до 500мб, а также возможность размещения до 50 аннотаций на самой моделей по принципу “точек интереса”. Для реалистичного отображения модели поддерживаются PBR карты, HDR карты окружения, настройка источников освещения и отображения теней, подповерхностное рассеивание, прозрачность. Есть режим VR, AR через браузер.

Существуют специальные проекты, публикующие виртуальные коллекции культурного наследия различных музеев, в том числе с поддержкой 3D AR, - такие как проект Google Arts & Culture (более 4,500 музеев, всего около 1,5 тыс. моделей) и Artefact в России (более 560 музеев). Также есть кочующие по разным странам организации, оцифровывающие в 3D коллекции в местных культурных учреждениях, такие как Global Digital Heritage (ок.6 тыс. моделей),  Scan The World (25 тыс. моделей), CyARK и пр. Утерянные или поврежденные памятники архитектуры и музейные предметы, которые удалось сохранить при помощи 3D: Замок Сюри, Япония (уничтожен пожаром в 2019г.), Нотр-Дам де Пари, Франция (пожар, 2019),  Национальный музей, Бразилия (пожар, 2018), Проект Мосул - Ирак (война, 2015). ИИМК РАН проект PALMYRA 3D (война, Сирия 2016).

ITMUS.ART занимается размещением культурных учреждений на платформе Google Arts & Culture, Sketchfab а также встраиванием трехмерных моделей музейных предметов на сайт музея и созданием виртуальных туров через платформы PlayCanvas и фреймворки Three.js, modelviewer.dev, а также созданием 3D эффектов в Instagram. Дарвиновский музей (Москва), сотрудником которого был наш специалист, в 2020г. одним из первых музеев в мире разместил коллекцию, которую можно просматривать в режиме 3D AR на платформе Google Arts & Culture.

3D копии музейных предметов можно размещать для просмотра в режиме дополненной реальности. Трехмерные копии, подготовленные нашими специалистами в музее-панораме “Бородинская битва” и Музее кино (Москва) можно посмотреть в режиме AR в приложении Artefact (Министерство Культуры России, компания Next Space). В слайдере ниже вы можете посмотреть видео про эти мультимедийные гиды, содержащие подготовленные сотрудниками музеев научные статьи, изображения, документы, аудиогиды и 3D модели. Проект музея-панорамы “Бородинская битва” получил международные призы: ICOM AVICOM (золото) 2021 и Европейскую премию Best in Heritage 2021.

Кроме того, существует возможность загрузки 3D моделей для просмотра в мобильных приложениях, например маски и фильтры, позволяющие размещать AR 3D. instagram и facebook (SparkAR), Snapchat и TikTok.

В последние годы становится популярными платформы, работающие на основе технологии фреймворка WebGL, позволяющей загружать и демонстрировать 3D контент через сайты. Их можно условно разделить на две категории: платформы, позволяющие в режиме онлайн у себя на сайте загружать и редактировать трехмерные модели и сцены, встраивать полученные iframe на любой сайт (Sketchfab, PlayCanvas, WebGl игрового движка Unity, Twinmotion-cloud для простой публикации сцен из игрового движка Unreal Engine и пр.). Второй способ - подключаемые на вашем сайте JavaScript-библиотеки, позволяющие выводить 3D сцены или модели, непосредственно хранящиеся на вашем сайте (Three.js, Babylon.js, modelviewer.dev и пр.), в том числе с технологией WebXR, которая позволяет  через браузер мобильных устройств просматривать их в режиме VR/AR (виртуальной и дополненной реальности).

Существуют платформы, объединяющие 360 градусные панорамные фотографии музейных пространств и их упрощенную 3D копию, например Matterport. В этом случае на основе полученных панорамных фотографий строится низкополигональная 3D модель пространства для первичной навигации по музею, но при нажатии на определенное место пространства платформа плавно соединяет упрощенную модель с высококачественной 360 градусной фотографией.

Большой интерес вызывает перспективы развития Метаверс-платформ для размещения полноценных виртуальных выставочных пространств с отсканированными копиями музейных предметов, в которых аватары посетителей могут передвигаться как в настоящем физическом пространстве, взаимодействуя между собой голосом, жестами. Такой формат чем-то напоминает смесь видеоконференции и компьютерной игры. За прошедшие несколько лет множество компаний представили свои версии метавселенных. В часть из них можно зайти напрямую через браузер, часть требует установки дополнительного ПО, в большинство из них можно зайти через специальное приложение для android/ios или VR гарнитуры. Однако не все их них обладают функционалом загрузки собственных пространств (копий настоящих залов или придуманных), 3д объектов, изображений, видео и других видев мультимедиа, что является очень важным для создания полноценного метаверс-пространства музея.

Основные инструменты для создания трехмерных копий.

Существует несколько способов создания 3D копий музейных предметов. 

Первый, - 3D моделирование, которое заключается в ручном или автоматическом построении 3D модели по фотографиям, чертежам или эскизам. Отличается высокой трудоемкостью, используется в музеях в основном для моделирования Hard surface (англ. «твердые поверхности») - методе, используемом для воссоздания в трехмерном пространстве неживых объектов с гладкими статическими поверхностями (здания, оружие, транспорт, техника) Отличается от органического моделирования, которое используется для создания живых объектов с мягкими динамическими поверхностями.

Также трехмерное моделирование часто используется для ручной доработки и оптимизации трехмерных объектов, отсканированных при помощи 3D сканера, фотограмметрии. 

  ITMUS.ART занимается историческими реконструкицями на основе макетов, исторических документов, чертежей, фотографий. Так, вместе с научными сотрудниками музея-панорамы “Бородинская битва” была сделана виртуальная реконструкция временной ротонды панорамы «Бородино» 1912 г. На фотографии ниже вы можете посмотреть различные источники и этапы работы, а справа - посмотреть получившуюся историческую реконструкцию, включающую в себя внутреннее устройство здания.

Второй это 3D сканирование, которое использует специальные устройства для получения точной геометрии и текстуры объекта. 

Лазерное сканирование и портативные сканеры на основе структурированной подсветки. Сканеры отличаются высокой стоимостью, но обладают преимуществом в точности сканируемой геометрии. Однако, в сравнении с методом фотограмметрии, обладают худшим качеством текстур (упрощенно говоря, изображений, которые оборачивают геометрию 3D объекта). Сканеры и LIDAR требуют довольно высокого уровня профессиональной подготовки для работы с ними. Часто этот метод используется для архитектурных обмеров зданий и построению точных BIM моделей, где погрешность даже в несколько мм. имеет важное значение. Эти сканирующие устройства работают на измерении времени отскока луча (лазерного, инфракрасного, проекционного и пр.), - эмиттер излучает поток световых частиц, которые отталкиваясь от поверхности улавливаются приемником, в зависимости от скорости пройденного расстояния строится модель глубины. Стоит отметить метод SLAM (Simultaneous Localization And Mapping) , когда специальное роботизированное устройство или дрон в реальном времени создает трехмерную карту помещения или здания на основе своего местоположения (то есть объединяет картографирование с трекингом). Для картографирования и навигации могут использоваться инфракрасные датчики глубины типа kinect, обычные камеры, лазерные дальномеры LIDAR, гидролокаторы, GPS/ГЛОНАСС, ультразвуковые датчики, а также акселерометр/гироскоп/магнетометр. Выходные форматы - текстурированная полигональная модель или окрашенное облако точек.  С 2020 многие модели смартфонов iPad обладают LIDAR, в связи с чем появились мобильные приложения, использующие этот функционал (вместе с фотограмметрией): RealityScan, PolyCam и др. Основные плюсы сканирующих устройств, - возможность наблюдать результат в режиме реального времени, возможность сканирование при любом освещении, скорость сканирования, размерная точность.

Фотограмметрия - это методика создания трехмерной модели из перекрывающихся фотографий объекта или окружающей среды, снятых с разных ракурсов и обработанных в специальной программе (наиболее популярные программы Agisoft Metashape и Reality Capture). Многие музеи в мире уже используют фотограмметрию для документирования и популяризации своих коллекций. Таким образом можно получить детальную и реалистичную 3D модель музейного предмета, которую можно изучать, демонстрировать или печатать на 3D принтере. Основные преимущества, - высокое качество текстур и геометрии, относительно невысокий порог входа, для начала работы необходим только фотоаппарат или камера смартфона с высоким качеством. Однако, для получения хороших результатов необходимо сделать множество фотографий, часто необходимо разместить специальные метки вокруг и на объекте съемки, необходимо хорошее освещение. Чем больше у объекта контрастных, выделяющихся деталей, тем лучше получается 3D модель. Также, к недостатками можно отнести зависимость от времени суток или погодных условий при съемке на улице, - объект и среда должны оставаться неизменными на весь период съемки. 

Вот ряд общих недостатков, присущих как сканированию, так и фотограмметрии: 

• Могут возникать проблемы при сканировании предметов с большим количеством прозрачных и отражающих поверхностей. 
• Проблема со сканированием бликующих плоскостей. Возможно несколько вариантов решения этой ситуации, - матирование спреем или поляризационный фильтр.
• Проблема съемки белых, черных, однородных объектов.
• Матирование и химические составы сперев для матирования (зеркальных, черных и прозрачных объектов) и их возможное влияние на музейный предмет.
• Сканирование органических объектов - не всегда хорошо получаются волосы, перья и шерсть
• Проблема размерности при фотограмметрии, - особенно в связи с актуальностью AR. Решается нанесением калибровочных меток при сканировании.
• Проблема достоверной цветопередачи решается использованием цветовых мишеней. 

Стоит отметить, что существующее программное обеспечение (Reality Capture, Agisoft Metashape) позволяет комбинировать источники лазерного сканирования, фотограмметрии с земли и дрона для достижения наилучших результатов геометрии и текстур. 

ITMUS.ART использует фотограмметрию для сохранения культурного наследия, - в 2021-2022гг. были оцифрованы 5 естественнонаучных диорам, созданных в 1959-1982 г. Е.И.Дешалытом и размещенные в здании Биологического музея им. Тимирязева. Существовал риск, что при переезде в новое здание из-за особенностей создания диорам их не получится перевести на новое место. Для фотограмметрии в сумме было сделано 7107 фотографий. Вместе с научными сотрудниками музея также был разработан и записан аудиогид, а также разработан тур по одной из диорам. Ниже вы можете посмотреть фотографии процесса, видео виртуального тура и одну из получившихся 3D моделей.

С 2022г. начали появляется нейронные сети работающих по технологии Neural Radiance Field (NeRF). Эта технология, которая позволяет создавать реалистичные 3D-сцены из набора 2D-изображений с помощью искусственного интеллекта. Исследователи отмечают, что “NeRF — это естественное продолжение фотограмметрии и эволюция современной фотографии”. Эти нейронные сети могут создавать новые виды сложных 3D-сцен на основе частичного набора 2D-изображений. Нейронная сеть берет на входе несколько фотографий одной и той же сцены и интерполирует между ними, чтобы воссоздать полную картину со всех сторон. Технически это работает так: нейронная сеть представляет собой непрерывное поле излучения (radiance field), которое описывает цвет и плотность каждой точки в 3D-пространстве. Затем NeRF использует функцию рендеринга, которая проецирует эти точки на 2D-плоскость камеры и вычисляет цвет пикселя на основе объемного рендеринга. Таким образом, NeRF может генерировать новые виды сцены из любого угла. NeRF все еще требует перекрытия изображений для выравнивания, но процент его значительно ниже, чем при фотограмметрии, обработка происходит значительно быстрее. Если для более-менее подходящего результата для фотограмметрии необходимо 200-300 фотографий объекта, то NeRF построит схожую по детализации модель из 50 фотографий. Также, из-за особенностей своего алгоритма, NeRF в отличии от фотограмметрии может передавать блестящие и прозрачные поверхности. Правильная передача отражений, распределения света, - один из главных секретов фотореалистичности. Nerf, в отличии от полигональной текстурированной модели или раскрашенного плотного облака точек передает цвет, прозрачность, отражения для каждой точки в сцене с любого ракурса, поэтому при анимации по сцене окружение выглядит очень реалистично.

 NeRF может применяться для разных целей, таких как робототехника, городское картографирование (например Google Maps), автономная навигация, виртуальная и дополненная реальность. На сегодняшний день существует около десяти наиболее популярных моделей NeRF, которыми можно пользоваться через такое ПО как NerfStudio (модели: NeRF, Mip-NeRF, Nerfacto, Instant-NGP, Semantic NeRF-W), NeRF-Factory (модели NeRF, NeRF++, DVGO, Plenoxels, Mip-NeRF, Mip-NeRF360, Ref-NeRF) и Nvidia NeRF (модель Instant NeRF).

Новое программное обеспечение Nvidia Instant NeRF было выпущено в начале 2022г., правда не в виде готового единого пакета для установки, а в виде набора инструкций по установке сред и библиотек (компиляция кодовой базы), поэтому порог входа для использования еще достаточно высок. Nvidia Instant NeRF работает только на некоторых сериях видеокарт, обладающих CUDA (графическими ядрами, позволяющими проводить вычисления). Сегодня главный недостаток технологии NeRF - сложность публикации полученных сцен. Полученную сцену можно выгрузить в формате облака точек или полигональной сетки в формате obj или glb, но при этом качество полученных моделей значительно хуже качества самой сцены. Возможно, таким форматом станет NVOL, который планируется презентовать для широкого использования в 2023г. NVOL можно будет интегрировать в Unreal Engine. Он поддерживает различные типы NeRF, такие как Point-NeRF3, RegNeRF4 и NeRF-SR5.

Еще одним шагом в популяризации технологии NeRF стал выход платформы Luma AI в начале 2023г. Эта облачная платформа позволяет загрузить архив фото или видео и тренирует NeRF онлайн в облачном сервисе. Неоспоримое преимущество - возможность встраивать сцены в любой сайт в виде iframe (как плеер youtube или sketchfab), а также расставлять анимацию ключевых кадров по сцене. Результат обработки можно встроить на сайт как видео-рендер с заранее поставленной точкой движения камеры, сконвертированной полигональной 3D сцены или набора секвенций вокруг объекта.

Научные публикации ITMUS.ART на тему 3D оцифровки музейных предметов:

• Nurlan Ahtamzyan, Irina Gribova. International Panorama Council Journal, Volume 4 Selected Proceedings from the 29th IPC Conference 2020 “Temporary Panorama Rotunda of 1912 is Revived in Virtual Space” pp.43-50 ISSN: 2571-7863
• Ирина Грибова, Нурлан Ахтамзян “Виртуальная реконструкция временной ротонды панорамы «Бородино» 1912 года”. Журнал «Московское Наследие» No 6 (78) за 2021 год, Департамент культурного наследия города Москвы, 2021. Стр.38-49
• Рябинин, К. В., Ахтамзян, А. И., Колесник, М. А., & Сударикова, Е. В. (2019). Осязаемые интерфейсы для виртуальных реконструкций музейных экспонатов. Труды Международной конференции по компьютерной графики и зрению" Графикон" (No. 29, p. 87). Федеральное государственное учреждение" Федеральный исследовательский центр Институт прикладной математики им. МВ Келдыша Российской академии наук".
• Нурлан Ахтамзян, Амир Ахтамзян “Проект "1812wAR": обзор технологии создания и перспектив развития”. Журнал «Московское Наследие» спецвыпуск за 2021 год, Департамент культурного наследия города Москвы, 2021. Стр.28-41 
• Тезисы Всероссийской научно-практической конференции «Современный музей: традиции, инновации, стратегии» к 100-летию музея. 26—27 апреля 2022 года. Москва. — М., 2022. — 126 с. Под общей редакцией М.В. Куликовой. “Трёхмерное документирование музейных предметов и элементов научно-вспомогательного фонда: специфика работы и способы передачи визуальной и пространственной достоверности” А. И. Ахтамзян, Н. И. Ахтамзян.
• Ахтамзян А. И. Возможности, перспективы и специфика использования сверхстабильной оптической памяти для хранения музейных баз данных и цифровых двойников музейных предметов //Фотография. Изображение. Документ. – 2020. – №. 9. – С. 84-89.