Костюм захвата движений своими руками

Обновлено: 04.07.2024

Сама технология Motion Capture появилась на свет вместе с Mortal Kombat. Что именно Acclaim первой пришла в голову идея облепить актеров проводами и заставить плясать перед камерами, а отснятый материал перевести потом в цифровой вид и вставить в игру. Вы тоже так думали, не правда ли? Причем, если вы достаточно давно играете в компьютерные игры, то скорее всего вспомните великолепный файтинг фирмы Acclaim — Mortal Kombat.

В Mortal Kombat’е Motion Capture впервые пришел в игры — а у самой технологии есть долгая и интересная история, компьютеры в которой, кстати, присутствуют далеко не с первых дней .

В начале 80-х медики в американских институтах стали применять компьютеры для исследования человеческого тела. Том Калверт, профессор кинезиологии и компьютерных наук предложил использовать потенциометры, прикрепляя их к различным суставам на человеческом теле. Компьютер измерял данные приборов и показывал на экране двигающийся скелет человека. Калверт использовал свое изобретение для наглядной изучения кинематики человеческого организма, дефектов мускулатурной системы, а также для . демонстрации па-де-де в хореографических классах.

Чуть позже, в 1982-83 году, компьютерные установки, отслеживающие движения человека, стали использовать в компьютерной графике. Первые комплексы Motion Capture были оптическими. Принцип их работы был следующим: на теле актера в местах сочленений и суставов крепились маленькие лампочки или же обычные светоотражающие элементы (наподобие велосипедных катафот), после чего движения фигуры снимались на камеру. Для получения объемного изображения актера снимали двумя камерами, под разными углами. Совмещая координаты одной и той же лампочки, полученные с двух камер, можно было достаточно точно вычислить месторасположение точки в пространстве. Такие оптические системы были весьма медленными и неточными. К тому же, отснятый материал требовал дополнительной обработки и фильтрации .

А потом . потом, в 1993 году появился Mortal Kombat. Процесс Motion Capture осуществляли с использованием оптической технологии, шестью различными камерами [5].

Сейчас Motion Capture используют в играх все кому не лень. Трехмерные файтинги а-ля Tekken, сексапильные движения попки а-ля Лара Крофт, реалистичная мимика лица а-ля Half-Life — все это, и много другое, — Motion Capture.

Как Марк Руффало становится Халком

Как и все, что нам кажется последним словом технологии, motion capture, сокращенно — mocap, или мо-кап, появился относительно давно. Первые серьезные эксперименты с ним относятся к началу 1980-х годов — времени, когда возникло само понятие компьютерных спецэффектов, а стереокинематограф переживал очередной ренессанс. Правда, в кино применять мо-кап было невозможно — мощности того времени не позволяли создать достоверные цифровые модели, которым можно было бы придать записанные движения актеров. Так что мо-кап оставался уделом отдельных смелых экспериментаторов из небольших венчурных компаний и американских университетов, о которых можно прочитать в материалах конференции SIGGRAPH, важнейшей мировой выставки компьютерной графики.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений.

  1. Оптические пассивные. На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет (инфра-красный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера. Минус оптических пассивных систем заключается в длительности размещения маркеров на актёре. Так же иногда при быстром движении или близком расположении маркеров друг к другу система может их путать (поскольку эта технология не предусматривает идентификации каждого маркера по отдельности).
  2. Оптические активные названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается ID (идентификатор), что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами. Минусы активных систем:
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения
    • Хрупкость и относительно высокая стоимость маркеров-светодиодов
  3. Магнитные системы, в которых маркерами являются магниты, а камерами — ресиверы, система высчитывает их позиции по искажениям магнитного потока. Минусы магнитных систем:
    • Магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения (электропроводки помещения, оргтехники, арматуры в плитах строения)
    • Переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне
    • Меньшая по сравнению с оптическими системами рабочая зона
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
    • Высокая стоимость магнитных маркеров
  4. Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический mocap-скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов. Минусы механических систем:
    • Mocap-скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра.
    • Отсутствие возможности захвата:
      • Движений и мимики лица
      • Движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.)
      • Движений на полу — кувырки, падения и т. д.
    • Риск поломки механики при неосторожном использовании.
  5. Гироскопические / инерциальные системы для сбора информации о движении используют миниатюрные гироскопы и инерциальные сенсоры, расположенные на теле актёра — также как и маркеры или магниты в других mocap-системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона. Минусы гироскопических / инерциальных систем :
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
    • Высокая стоимость гироскопов и инерциальных сенсоров
    • Для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная)

Команда Питера Джексона сделала практически невозможное — воспроизвели пугающе достоверную модель, которая имитировала настолько верные движения, насколько они характерны для этого персонажа. Конечно большая заслуга актера motion capture -Энди Сёркиса, который и сыграл Голлума.

Также существует два типа захвата объектов:

Но при всех видимых преимуществах motion capture (реалистичная анимация, совмещение 3D моделей с актерами в реальном времени), есть конечно и недостатки. Это дорогая стоимость систем, ограничения законами физики, малая площадь павильона и разнообразие движений.

Как говорит Ландау, специалисты умеют создавать воду, используя компьютерную графику, но невозможно создать полную иллюзию нахождения под водой, если у актера нет прямого ощущения контакта с жидкой средой. Именно поэтому, Кэмерон собирается снимать актеров находящихся в бассейне, наполненном настоящей водой.

Предлагаю вам посмотреть на то, проходят съемки очередной серии «Звездных войн 7″ на примере нескольких анимированных гифок в продолжении поста. Если вы думаете, что для всех локаций из кинофильма специально производятся дорогостоящие декорации и съемочная группа вынуждена все время перемещаться по гигантской съемочной площадке, вы сильно ошибаетесь.

Здравствуйте. Я создал прототип костюма захвата движения с использованием датчиков mpu 6050, которые возвращают значения в кватернионах. Для отображения всех движений прототипа я использовал среду unity3D. У меня там есть модель человека, на которого я навесил скрипт по считывании значений с Arduino Uno по Com-порту. Как я знаю, скелет человека(либо другая сложная модель) состоит из костей, где есть родительский и его дочерний объект. Так вот, вращения дочерней кости происходит относительно его родителя, используя

__________________
Помощь в написании контрольных, курсовых и дипломных работ здесь

Оборудование для захвата движений стоит десятки тысяч долларов, поэтому иметь хотя бы парочку таких высококачественных комплектов может себе позволить лишь очень богатая видеоигровая или киностудия. Хотите костюмы и весь обвес в аренду? Отлично, записывайтесь в очередь и готовьте денежки — так было всегда, но сейчас, кажется, появилась более доступная альтернатива, разработанная датским стартапом Rokoko. Разработчики утверждают, что костюм захвата движений Smartsuit Pro справляется с задачей ничуть не хуже дорогих голливудских гаджетов, но стоит при этом в десятки раз дешевле.

Плотно облегающий тело Smartsuit Pro оснащён девятнадцатью гироскопическими сенсорами, грамотно распределёнными по всем ключевым местам одежды — это позволяет костюму чётко передавать движения головы, рук, их кистей, ног и качественно фиксировать повороты тела. Вся информация, переданная разработанной датчанами одеждой, поступает на локальный хаб либо с помощью Wi-Fi поступает прямо на компьютер, благодаря чему после записи всех движений можно сразу же приступить к редактированию, экспортировав результат в Unity или Blender.

Костюм находится в разработке, поэтому пока не очень понятно, можно ли его стирать, а ещё в нём нельзя прыгать и неподвижно лежать — в этих двух случаях связь с комбинезоном теряется. До появления Smartsuit в продаже ещё далеко — начать рассылать заказы разработчики планируют не раньше 2018 года, поэтому наверняка ещё доведут всё до ума. Цена вопроса — 2500 долларов.

С появлением в кино и игровой индустрии компьютерной анимации остро встал вопрос об автоматизации работ, связанных с созданием правдоподобных движений для позвоночных существ мира людей и животных. Традиционные ранее работы с созданием непрерывных последовательностей ключевых кадров вручную отнимали много сил и времени, и не всегда давали сто-процентный результат после визуализации. А сокращение сроков и материальных затрат при возросшей конкурентности готовой анимационной продукции привели к разработке систем, позволявших переносить координатный файл на костный скелет компьютерного персонажа с датчиков, закреплённых на теле живого человека. Разновидностей этого метода было три, в зависимости от типа устанавливаемых на теле актёра датчиков (по контрастным меткам-маркерам, по светящимся в определённом световом диапазоне маркерам и по магнитным датчикам). Такие костюмы с датчиками назывались по-английски BodyTracker, а их стоимость исчислялась десятками тысяч северо-американских долларов.


Позволить себе такую роскошь могли далеко не все анимационные студии.


А учитывая, что подобные технологии имелись так же и для захвата мимики лика с ценами аналогичного порядка, то можно себе представить, что на рубеже XX-XXI веков работа с системами мокапа (сокращение от Motion Capture - Захват Движения) была запредельно дорогой задачей. Но спрос рождает предложение и на рынке стали появляться более приемлемые ценовые решения мокап-систем с соответствующей ограниченностью функциональных возможностей. Вот такие системы мы здесь и будем рассматривать, чтобы проследить не только историю развития систем захвата движения, но и иметь возможность выбора такой системы под свои конкретные нужды.


На снимке: английская система захвата движения Vicon Blade на выставке Cinema Production Service - 2007 в Москве.


Созданная в 1999 году программа VisualMarker позволяла покадрово проставлять вручную маркеры на полученных изображениях, синхронизированных во времени. Довольно утомительное занятие по указанию ряда маркерных точек в каждом кадре приводила к довольно приличным результатам. Получаемый BVH файл включал в себя движения туловища, головы и конечностей (исключая пальцев рук и ног) для персонажа из Poser и при ценовой категории в 40 USD был надёжным подспорьем во времена, когда файлы движений в Интернете были огромной редкостью.

Несколько позднее, в 2007 году появилась аналогичная программа DgeeMe, которая позволяла создавать файлы движений по видео, снятому на одну видеокамеру. Эта программа была полностью бесплатной. Сайта этой программы давно нет.


Из примерно той же ценовой категории программа по захвату лицевой мимики Zign Track - Facial Motion Capture стала хорошим помощником для работы с моделями в программе Poser.


Работая в режиме реального времени Zign Track позволяла оперативно создавать продолжительные по длительности файлы разговорной речи и мимики, создавая заметную конкуренцию другой, не менее популярной программе DAZ Mimic.


DAZ Mimic создаёт анимацию мимики лица и разговорной речи компьютерного персонажа по текстовому или голосовому файлам. При всех достоинствах этой программы, она не умеет работать с русскими фонемами и русская речь выглядит на анимации с DAZ Mimic довольно условно. И поскольку ждать поддержки русской речи от американских программистов можно бесконечно, то единственным выходом в данной ситуации стало создание русской библиотеки фонем, проставляемых покадрово вручную. Урок по созданию такой русской библиотеки морфов-фонем с помощью программы DAZ Mimic 3 и работа с этой библиотекой в Poser показана в видео-уроке.

Эта программа, точнее полный комплекс с камерами и программами разработан исключительно для использования в низкобюджетных студиях, где соотношение цена/время/качество наиболее критичны. Система ipi стала довольно популярной во всём мире, где число небольших студий по 3D анимации исчисляется сотнями.

Используя последние достижения в технике система восприимчивого нейрона сочетает в себе набор микродатчиков, фиксирующих изменение положения объекта по трём инерциальным составляющим, поступающим от 3-х осевого гироскопа, 3-х осевого акселерометра и 3-х осевого магнитометра. В зависимости от конфигурации системы запись динамики тела человека производится на скорости 60 или 120 кадров в секунду. Система поддерживает работу с такими программами персонажной анимации как 3DS MAX, MAYA, Motion Builder, iClone и другие. Для работы с программой Poser требуется конвертор BVH файлов BVHacker.

Читайте также: