Как сделать трекеры для vr

Добавил пользователь Валентин П.
Обновлено: 05.10.2024

История о том, как мы открыли 13 арен виртуальной реальности в 9 странах, находясь в Новосибирске. Поделюсь, почему мы решили начать новый бизнес, как тестировали гипотезу, где ошибались и как справлялись с возникающими проблемами.

Арены виртуальной реальности с полным погружением — это площадки, куда вы можете прийти с друзьями и сыграть в виртуальной реальности, свободно перемещаясь по площади от 60 м² и для управления персонажем использовать не джойстики, а свои руки и ноги.

За полтора года мы создали две игры, разработали систему управления оборудованием, научились привлекать посетителей и подписали 23 контракта: 13 площадок уже запущены и 10 откроются в первой половине 2020.

3D-дизайн и геймплей для игр с полным погружением — это только верхушка айсберга. Самое главное для ощущения погружения в другой мир — полное совпадение твоих движений с движениями виртуального аватара. Чтобы обеспечить синхронизацию тела с виртуальным аватаром, требуется решить две задачи:

Определить положение трекеров (на голове, руках и ногах) в пространстве.
По координатам трекеров спроецировать положение тела в пространстве.

За определение положения трекеров в пространстве отвечает система позиционирования. Существуют различные системы позиционирования, отличающиеся по типу работы (оптические, магнитные, акустические), по количеству объектов, которые может захватывать система и по площади, которую она может покрыть.

Системы позиционирования — это отдельная сложная тема, которая более подробно раскрыта в этой статье.

В 2018 покрыть площадь более 100 м² могла только система оптического позиционирования от компании Optitrack. Вокруг всей игровой зоны устанавливаются сверхбыстрые камеры, которые определяют положения трекеров на руках, ногах и голове игроков. Чтобы покрыть площадку 10 x 10 метров требуется $70 тысяч, а для покрытия максимальной площади 30 x 30 метров — $500 тысяч.

В качестве более доступной альтернативы компания HTC совместно с компанией Valve разрабатывают свою систему позиционирования под названием Lighthouse. Когда мы начали погружаться в эту тему, у нас уже была первая версия очков HTC Vive, использующая Lighthouse.

После быстрого тестирования в пустом холле бизнес-центра мы выяснили, что система позиционирования от HTC успешно покрывает площадь 10 х 10 метров при стоимости около $600.

Именно на этой системы мы остановились для создания своей игры для четырех человек на площадке 10 x 10 метров.

Прежде чем вкладываться в долгосрочную разработку, нам нужно было убедиться, что на наш продукт есть спрос.

В конце июля мы отправились на конференцию в Америку продавать собранную за месяц из готовых ассетов и палок первую демо-версию нашего продукта.

Людям, которые не сталкивались с VR, оказалось трудно ориентироваться в виртуальном пространстве, они боялись ходить по игровой зоне, сильно пугались происходящего и в целом чувствовали себя некомфортно.

Если до конференции мы задумывались о внедрении сложных игровых механик и использовании мелкой моторики, то после поняли, что в VR это не работает.

Параллельно один из основателей делился успехами и планами нашего проекта в социальных сетях. Его знакомый, заинтересовавшийся постами о прогрессе и впечатленный популярностью проекта на конференции, решился приобрести лицензию на нашу игру, что на тот момент была по сути котом в мешке.

В ответ на такое доверие мы пообещали ему, что предоставим продукт к началу 2019. Так мы заключили первую сделку!

Так у нас появились первые франчайзи, которые надеялись в скором времени открыть разработанную нами прибыльную арену полного погружения. Обратного пути не было.

Посмотрев и проанализировав то, как люди играют в нашу демо-версию, мы решили сделать продукт максимально простым и понятным. А что может быть понятнее, чем старый добрый шутер? Значит, будем убивать зомби, как Иван Ургант.

Выручки с первых двух продаж на разработку, конечно же, не хватало, поэтому все основатели вкинули свои деньги, и работа закипела. Мы сделали следующее:

Собрали команду из 3 разработчиков, 2 продажников и 1 маркетолога.
На фрилансе наняли пару 3D-дизайнеров для полировки готовых ассетов.
Начали писать сценарий игры и делать озвучку. Закупили дорогостоящие компьютеры-рюкзаки MSI VR Ready, шлемы HTC Vive и трекеры HTC. В среднем комплект на одного игрока обошелся в $4000. Для разработки мы закупили два комплекта.
Выбрали название и заказали логотип.
Начали делать лендинги и запускать контекстную рекламу.

Пора было выбрать локацию для нашей первой игры. Все понимали, что 3D-дизайн — очень дорогостоящая работа, поэтому локацию собирали из готовых моделей.

Основными требованиями к локации были подходящая атмосфера, достаточная для свободного передвижения площадь и много мест, откуда могли лезть зомби. В итоге мы выбрали спортивный зал, и примерно за месяц у нас была готова альфа-версия полной игры.

После первой презентации нашему клиенту из Америки нам пришлось оперативно менять локацию на заброшенный завод — в тот момент в США было несколько инцидентов, связанных со стрельбой в школах. На этапе дизайна мы даже не задумывались об этих особенностях.

В ноябре 2018 мы поняли, что к 1 января точно не успеваем закончить финальную версию. Но нам повезло, что покупатель из США не торопился открываться, а покупатель из Новосибирска не мог найти подходящее помещение, и релиз отложился до марта.

В начале 2019 года благодаря усилиям маркетологов и продажников к нам начали приезжать потенциальные покупатели. Во время демонстраций наш продукт рассыпался на глазах: аватары не совпадали по росту с игроками, зомби застревали в ящиках, игроки не слышали друг друга в игре или шлем мог выключиться, оставив игрока в полной темноте.

Но даже в таком виде наша игра доставляла массу позитивных эмоций, что перекрывало временные недоработки и проблемы.

Первый рекламный ролик мы сняли со всеми возможными косяками: игра тормозила, аватары дергались как в припадке из-за постоянно сбоившего трекинга рук и ног, а двум игрокам приходилось довольствоваться школьными рюкзаками вместо высокотехнологичных ранцев-компьютеров MSI VR Ready.

В итоге за 8 долгих месяцев разработки у нас появились:

Система для управления игрой, контроля оборудования (заряд батарей в компьютерах и жилетах, статус трекеров на игроке), а также вызова функций стороннего ПО (перезагрузка компьютера и компонентов от HTC).

Full-body трекинг, отвечающий за синхронизацию движений игрока и аватара.

Полностью готовая игра Safe Night длительностью 30–40 минут с тремя уровнями сложности, переведенная на два языка.

В марте 2019 помещение для площадки в Новосибирске было готово так же, как и наш продукт. По крайней мере, мы так думали.

Площадка находилась в ТЦ, и из-за этого уровень помех в диапазоне 2.4 ГГц зашкаливал, а все трекеры HTC работают примерно на этой частоте. Во время игры конечности игроков постоянно дергались и разлетались в разные стороны.

Конечно, мы не могли влиять на уровень помех в помещении, поэтому решили делать костыли. Сначала на аппаратном уровне мы изменили схему сборки компьютеров для уменьшения расстояния между трекером и приемником, что улучшило качество сигнала.

Потом в логику игры мы добавили определение сбоев в работе трекеров, например, когда нога внезапно оказывается в трех метрах от виртуального туловища. Определив сбой, система переставала учитывать данные с трекера и отрисовывала дефективную конечность аватара в нейтральном положении.

Спустя пару бессонных ночей эта функция была готова. Она уже не раз спасала нас на конференциях, в то время как у конкурентов случались проблемы с запуском из-за частотных помех.

Разобравшись с проблемой частотных помех, мы столкнулись с проблемой нетехнического характера. Игроки не слышали команд администратора (не выходить из игровой зоны, не бегать спиной вперед и другие стандартные правила поведения).

В итоге в середине весны 2019 мы открыли свою первую площадку.

Так как это был первый опыт продажи франшизы нашей игры, и процесс привлечения посетителей ещё не был отработан, мы занялись маркетингом и рекламой для площадки вместе с франчайзи. Так для открывающихся и уже действующих площадок у нас появился выделенный маркетолог, который работает со следующими каналами:

SMM как основной канал.

Спустя год после начала работы мы наконец-то продавали не красивые картинки и обещания, а готовую к запуску франшизу на примере рабочей площадки, которая зарабатывала на нашем продукте. Отдел продаж активизировался, а техническая команда продолжила борьбу за стабильность.

Эйфория от запуска первой площадки постепенно сошла на нет, и оказалось, что продажи росли медленнее, чем мы ожидали. Засучив рукава, мы обзвонили всех отказавшихся клиентов и поняли, что основная причина отказа — это большая сумма паушального взноса, ведь покупателям приходилось еще покупать дорогое оборудование за примерно $25 тысяч.

Мы решили изменить бизнес-модель: уменьшили паушальный взнос и повысили роялти. Нашей стратегической целью не был быстрый заработок с продаж франшизы, мы стремились обеспечить долгосрочную результативность за счет роялти.

После открытия первой площадки заинтересованные предприниматели из других городов России и стран мира начали прилетать к нам в Новосибирск, чтобы самим попробовать нашу игру.

Очень скоро у нас появились площадки в Саратове, Казани и Люксембурге. Конечно, не всем нравилась идея лететь в Новосибирск, поэтому с некоторыми клиентами мы договорились встретиться на конференциях в Европе и США.

В июне 2019 мы посетили конференцию UpTheGame в Амстердаме, а в уже октябре отправились на самую большую конференцию в области развлечений IAPPA в Орландо. Так у нас появились площадки в Амстердаме, Мумбаи, Сиднее и Глазго.

Пока часть sales-команды посещала выставки и конференции, другая прорабатывала онлайн продажи с помощью следующих каналов:

В сентябре 2019 HTC выпустили Wireless Adapter, теперь на шлем можно было установить антенну, а компьютер снять с плеч и спрятать. Мы наконец-то смогли избавить игроков от компьютеров за спиной. По крайнер мере трех из них, так как HTC Wireless Adapter поддерживает только 3 канала в одном помещении. Одному игроку пока все еще приходится таскать за спиной рюкзак-компьютер.

Анализ деятельности открытых франшиз показал, что несмотря на высокую посещаемость, коэффициент удержания посетителей был достаточно низкий. Нужно было как-то мотивировать людей приходить снова. Летом 2019 мы начали разрабатывать вторую PvP-игру, чтобы сыграть на соревновательном инстинкте, а также добавили глобальный рейтинг команд по всем площадкам в мире.

Мы продолжали развивать наш продукт и его финансовую модель, ориентируясь на стоимость HTC Vive Pro. Это продолжалось до тех пор, пока осенью 2019 Facebook не изменил рынок арен виртуальной реальности, выпустив свой Oculus Quest.

Система позиционирования от Oculus позволяет не ограничивать игровую площадь, не носить компьютер за спиной и при этом увеличить количество игроков до 8. И это при том, что полноценный набор оборудования для одного игрока с Oculus стоит в разы дешевле, чем аналогичный по функциональности набор с HTC Vive. Из минусов — отсутствие full-body трекинга (нет трекеров на ногах) и менее красивая графика.

Рынок виртуальной реальности развивается очень быстро: выходят новые шлемы, джойстики и системы позиционирования. Мы надеялись на это с самого начала и старались распределить риск, не затачивая наш продукт под одного производителя.

Это позволило нам за несколько месяцев адаптировать нашу PvP-игру под Oculus Quest. В феврале 2020 феврале мы открываем первые площадки для 8 человек на Oculus Quest в Новосибирске, Тюмени и Монреале.

За год, прошедший с запуска первой площадки, мы провели 6000 игр и сделали 23 продажи. Мы продолжаем развивать два продукта одновременно:

На HTC до четырех игроков, с виброжилетами для дополнительного погружения, трекингом всего тела и красивой графикой.

На Oculus до восьми игроков, на площадках от 80 м² до 400 м².

Чтобы на регулярной основе обеспечивать наши площадки новыми играми, мы параллельно с самостоятельной разработкой начали договариваться с контент-студиями о подключении их игр к нашей платформе. Сейчас мы добавляем три игры от сторонних разработчиков: еще один зомби-шутер, семейную игру про кошек и небольшой квест.

Стоимость шлемов VR к моменту написания статьи

Чтобы понять почему — достаточно разобраться с тем, что находится внутри шлема. А находится там экран высокого разрешения, а так же плата на которой расположены датчики для отслеживания положения головы (в некоторых шлемах они работают совместно с внешними камерами, фиксирующими положение шлема). Отслеживается положение головы (если не говорить про внешние датчики) при помощи 6-ти осевого чувствительного микромеханического элемента.

Блок схема MPU-6500

3 оси чувствительности — акселерометры, и ещё 3 оси — датчики угловой скорости (почти гироскопы). Этой информации достаточно чтобы построить самую простую бесплатформенную инерциальную навигационную систему. Кроме как в шлемах виртуальной реальности подобные устройства можно встретить ещё, например, в квадрокоптерах, а ещё в современных смартфонах.

А ещё в современных смартфонах есть дисплей высокого разрешения.

Проверяем совместимость смартфона с VR

Для начала надо убедится, что ваш смартфон оборудован необходимыми датчиками.

Проверить наличие всего этого можно скачав бесплатное приложение Google Cardboard.

Нужно запустить его с настройками по умолчанию пропустив настойку (сканирование QR кода).

Демо сцена по умолчанию

Если демо сцена запустилась и отслеживаются движения смартфона, то значит всё необходимое в вашем смартфоне присутствует.

Приложение Google Cardboard

Также желательно чтобы было относительно приемлемым разрешением дисплея смартфона. Я как обладатель смартфона с FullHD экраном скажу, что даже этого очень мало, но в любом случае — попробовать стоит.

Как закрепить смартфон на голове

К сожалению тут без затрат не обойтись. Смартфон надо располагать очень близко к лицу. Настолько близко, что сфокусироваться на его изображении просто так не получится.

Поэтому придётся купить один из шлемов для смартфонов. Это просто картонная или пластиковая штуковина с двумя дешёвыми линзами. Стоят они не дорого, подойдут любые… почти. Очень важно чтобы в шлеме была возможность вывести провод USB порта от смартфона. Забегая вперёд скажу, что в принципе смартфон можно подключить и через Wi-Fi, но работает это хуже.

Есть варианты и пластиковые. Некоторые из них продаются в комплекте с беспроводными контроллерами где есть стики и кнопки.

Более дорогие версии отличаются настройкой межзрачкового расстояния. Линзы должны находиться чётко напротив глаз. Если они смещены, то картинка будет мыльной, двоиться и будет сложно сфокусировать зрение. Так же в более дорогих вариантах есть возможность смещать линзы ближе или дальше от лица, что так же упрощает фокусирование на изображении. Сильно тратиться на гарнитуру не стоит. Забегая вперёд скажу, что в сравнении с нормальными шлемами есть задержки, отслеживание головы без внешних датчиков не идеальное, иногда надо делать рекалибровки шлема. Но поиграть у вас получится. И увидеть всё именно объёмно вы тоже сможете.

Для того чтобы подстегнуть интерес и хоть как-то показать что вы сможете увидеть в шлеме для начала можете посмотреть это:

Картинка кликабельна

То что вы видите выше — это фотография цветка сделанная с двух камер смещённых на расстояние глаз человека, то есть каждая половинка кадра это то что видел бы каждый глаз по отдельности.

Если у вас не получается, то очень советую научится, и перед вами откроется огромный мир стереоконтента даже без всяких шлемов. Вот статья о том, как научится смотреть такие фотографии.

В дрифте в играх ощущение пространства с VR намного лучше

Увидев цветок в стерео теперь вы понимаете насколько огромна разница между плоской картинкой и объёмной. Когда это всё происходит в движении, и ещё с отслеживанием головы — эффект многократно усиливается. Именно это и даёт VR. Так что даже если на этом витке VR шлемов технология не приживётся, то в следующий раз она приживётся точно, введение этой технологии рано или поздно — неизбежно (текущий VR — это уже третья волна, первые две были ещё в прошлом веке, но не прижилось).

Эмуляция шлема VR на компьютере и подключение телефона

Если вы купили VR гарнитуру для смартфона или она у вас уже была, то встаёт вопрос о том — как теперь подключить это к компьютеру, так чтобы работали игры и для Oculus и в Steam VR. Если не купили, то дальше смысла читать нет, но если купили и теперь ждёте доставки, то просто добавьте страницу в закладки или отрепостите себе куда-нибудь в соцсети (над блоком комментариев есть значки для репоста в соцсети).

Теперь про софт для компьютера.

Хорошие — программ даже более чем одна.

Плохие — все они платные, имеющие бесплатный триал.

Стоит отметить 3 программы:

В целом программы имеют схожие возможности, отличия по сути сводятся к разному интерфейсу, и лучший из них в Riftcat.

Поэтому далее будем говорить именно про эту программу.

Триальная версия ничем не ограничена кроме времени сессии в 10 минут, то есть каждые 10 минут надо будет переподключать гарнитуру. Тем не менее вы сможете настроить смартфон, проверить удобство управления в игре, проверить тянет ли ваш ПК игры в VR, и в целом — посмотреть что же это такое и за что просят по 50 тысяч рублей.

То есть купить приложение (разовый платёж в 15 евро) и потом выяснить, что что-то не работает или работает плохо — такого не будет.

Riftcat состоит из двух частей: клиент для компьютера и клиент для смартфона.

Riftcat скачиваете на компьютер и устанавливаете. Программа автоматически подстраивает язык под локализацию Windows, то есть в процессе установки она сама переключится на русский язык.

После загрузки она выведет основное меню программы — экран подключения к смартфону. Значки приложений в интерфейсе программы кликабельны, то есть если вам надо установить клиент для вашего смартфона, то нажимайте на его символ и откроется браузер в котором можно загрузить приложение на смартфон (если соответствующие возможности настроены для смартфона). Для смартфона на базе ОС Android необходимо установить приложение VRidge 2.0 (почему оно называется не Riftcat — не спрашивайте, я не знаю).

Пока скачиваете приложение — можете ознакомится с настройками приложения (кнопка в нижнем правом углу).

расширенные настройки видео

Там же, в настройках отслеживания движения можно выбрать промежуток времени усреднения показаний. Чем выше время выборки для сглаживания — тем меньше паразитных дрожаний, но при этом увеличиваются задержки и точность отслеживания микродвижений головы.

В зависимости от игры может потребоваться изменять настройки эмуляции контроллеров и масштаба и искривлений игры.

После завершения установки SteamVR у вас будет кроме Steam запускаться вот такое окно в котором будет отображаться статут подключения VR гарнитуры (перед первым использованием после установки SteamVR перезапустите Steam).

(советую далее убрать галочку с автозапуском SteamVR, включать игры для VR можно и через Steam с монитора без шлема, там делать это удобнее)

Так выглядит окно SteamVR когда не подключен шлем

Посмотрев настройки и поняв какие есть возможности возвращаемся к сопряжению.

При сопряжении через Wi-fi достаточно чтобы устройства находились в одной сети. Они обнаруживают себя автоматически при запуске приложения на смартфоне. Необходимо только подтвердить, что автоопределение верно справилось и собирается подключить нужное устройство.

При подключении через провод необходимо телефон подсоединить в режиме модема.

Включение режима модема

А в рифткате надо переключиться с беспроводного соединения на проводное

Далее отличий в работе между режимами подключения — нет.

Необходимо зарегистрировать аккаунт (работает и регистрация через соц. сети).

Далее необходимо включить эмуляцию беспроводных контроллеров мышкой и клавиатурой или геймпадом если у вас нет настоящих беспроводных контроллеров для VR а для игры они нужны (не для всех игр они нужны, допустим для автосимуляторов удобнее использовать клавиатуру и мышку как клавиатуру и мышку, а не как контроллеры).

Настройки клавиатуры и мыши

И там настроить управление:

Первичная настройка SteamVR

При первом включении SteamVR запустится процесс первичной настойки.

В процессе настройки на компьютере у вас на телефоне уже будет такая надпись

После первичной настройки можно закрыть SteamVR.

Загрузочный экран SteamVR, запускать игры через него не обязательно, можно запускать их в Steam

И остановить трансляцию в Riftcat. Далее запуск игр возможен уже просто через интерфейс Steam.

Как играть в SteamVR?

Запускаете уже настроенный Riftcat.
Запускаете Steam
Запускаете приложение в телефоне.
Сопрягаете компьютер и телефон
Нажимаете синий круглый Play в Riftcat.
Запускаете игру в Steam в режиме VR.

7. Играете (в бесплатном режиме Riftcat — 10 минут, потом надо делать реконнект).

Project Cars в VR через смартфон В это время на мониторе компьютера

Как играть в VR не в Steam.

Как правило современные игры запускаются в VR через Steam, но есть игры, которые запускают VR сами через себя.

И тут два варианта: есть игры которые созданы специально для VR (чаще всего для oculus rift).

Меню для игры со старыми SDK

Второй тип игр — это игры которые динамически через свои настройки позволяют запускать VR.

В качестве примера возьмём игру LFS которой нет в Steam, но для игры в VR придётся установить Steam и SteamVR (игра, кстати, бесплатная, так что для пробы VR отлично подходит, правда это гоночный симулятор имеющий сравнительно высокий порог вхождения).

Вкладка Вид в LFS

Трансляция и SteamVR запускаются автоматически.

Ничего запускать вручную не надо. На смартфоне автоматически появится изображение, по умолчанию запускается процесс калибровки в игре.

LFS в VR с экрана смартфона В это время на экране компьютера

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Видео на YouTube канале "Этот компьютер"

Пост написан: 8 ноября 2020 , обновлен: 26 января 2022
Автор: @Pavel419

Содержание статьи (кликабельно)

В этой статье поговорим про трекинг рук на Oculus Quest, что это такое и с чем его едят. Рассматривать будем на примере Oculus Quest 2, который сейчас у меня в наличии.

Трекинг рук был анонсирован на Квестах еще год назад, осенью 2019-го, вот оригинальный ролик того анонса:

Вобщем то, что показано в ролике — правда, но, на практике всё не так гладко.

В чем суть

За счет встроенных в шлем камер шлем не только определяет окружающую обстановку, но и видя ваши руки, может переносить их в VR. Прямо вот как оно есть, вот вам пример из моего окружения:

Пример работы рукотрекинга на Квесте.

Где это можно применить

Я бы применил это в социалках, вроде Вр-Чата и прочего, видеоплеерах и других служебных приложениях. Уже есть наработки по набору текста с использованием трекинга рук, но сходу я их не найду. Правда, пока можно просто тыкать для набора текста своими пальцами (дальше будет пример).

Факи можно показывать так же) VR-факи. Однако, не спешите радоваться, у технологии пока очень много минусов.

Минусы трекинга рук

Он не слишком точен и часто глючит.
Нужно хорошее освещение. Т.к. у нас в руках нет диодов, как на тачах, то и трекать их камеры смогут только при хорошем освещении. Хотя, при дневном освещении вполне себе работает.
Руки нужно держать примерно в одной зоне перед камерами и она довольно маленькая. Как только куда-то их относишь, трекинг пропадает.
Нет обратной связи, в отличие от тех же тачей.
Пока очень мало приложений поддерживают это. Даже в родных приложениях Окулуса это работает только в меню и в браузере. Надо будет еще поискать.
Это непривычно, и к этому надо привыкать. Хотя сейчас вон в принципе по менюшкам без проблем можно только руками перемещаться, и например, делать скриншот и шарить его в ФБ.

Т.е. по факту сейчас это больше прикольная штука, чем рабочий инструмент. Однако, если у вас уже есть Квесты, попробуйте ее.

Как попробовать трекинг рук на Oculus Quest 2

Там всё понятно, вам покажут несколько жестов, которыми вы можете взаимодействовать с интерфейсом, а именно:

Понимаю, что описание мутное, но, когда попробуешь и вникнешь, понимаешь, как всё просто и круто продумано)
Краткий видео-обзор:

С 37-й прошивки на жест меню вызывается расширенное меню с несколькими командами: центровка, запись видео, отключение микрофона и голосовое управление. Еще должен быть скриншот, но почему-то у меня его нет…

Больше жестов нет, но даже этого примитива хватает, чтобы управлять интерфейсом. Вы можете открыть служебный браузер, в нем открыть YouTube и рулить им только с помощью пальцев, или твиттер листать какой-нибудь и тому подобное.

После того, как пройдете обучалку — попробуйте попереключаться между вкладками родного меню Oculus, потягать ползунки и так далее — это захватывающе. Но, еще интереснее рассмотреть это на реальных примерах.

Совет: Если шлем не хочет переключаться на трекинг рук и всё равно пытается трекать тачи, снимите тачи, и погасите экраны кратковременным нажатием кнопки включения. Далее, снова включите их, по идее, после этого он должен начать трекать руки.

Примеры применения трекинга рук на Oculus Quest 2 в играх

Первая демка: First Steps With Hand Tracking — вы должны были видеть ее в самом начале запуска шлема, но, теперь тут всё работает на руко-трекинге (демка доступна в AppLab — неофициальном магазине Oculus, так что — устанавливайте ее, перейдя по ссылке с ПК):

Кроме того, есть еще Waltz of the Wizard: Extended Edition за десять баксов, поддерживающая хендтрекинг. Вы можете глянуть бесплатную версию на Стиме, чтобы понимать, как круто это должно быть с рукотрекингом. Я купил, вот играюсь)

Hand Posing Tool: Pirates! — простая демка, где вы находитесь в каюте на корабле и можете взаимодействовать с различными предметами при помощи рук. Беслпатная:

Есть и другие примеры, но они платные в целом.

Просмотр фильмов с управлением руками

Пока доступно только в бета-версии SKYBOX-а 1.0.4 — мой обзор, как это работает:

А еще это работает в YouTube VR, хотя про это не написано даже в самом магазине:

Как сбросить центровку, когда у вас руки вместо контроллеров?

Этот вопрос у вас может возникнуть после предыдущего видоса со Скайбоксом и это не очевидно. Обычно центровка сбрасывается долгим тапом по правой системной кнопке на таче, но, здесь чуть по другому. Идем в меню, где заряд батарейки и прочее и там ищем эту кнопку:

Сброс центра при работе руками

И еще один способ: просто вызвать на правый жест меню Oculus, ну, вырубить и снова вызывать, тогда меню покажется прямо перед вами. Но, центровки самого окружения при этом не произойдет.

Работа в воркспейсах с применением трекинга рук

Но, выше приведенное это игрушки. А вот вам пример реального использования.

Пока я видел Spatial — бесплатный открытый офис для групповой работы команды разработчиков, проведения совещания и прочего в таком роде. Можно сделать 3D-аватар из фотки, загружать фото и 3D объекты и тому подобное. Но, самое интересное, как вы понимаете — это поддержка трекинга рук. Вот как это выглядит в реальности:

Если хотите попробовать эту штуку, то для начала вам нужно зарегистрироваться на их сайте, после этого запустить приложение на шлеме и в нем вам выдадут код для ввода на сайте, чтобы привязать гарнитуру к аккаунту.

После этого можете выбрать обучающую комнату, пройти всё с помощью тачей и уже потом попробовать рукотрекинг, думаю, вам понравится)

А вот моя целая лекция на полтора часа, в Спейшале, всё на рукотрекинге:

И еще пример от ФБ и Oculus — Horizon Workrooms — виртуальный офис для Oculus Quest. Тут можно собираться группой, шарить картинку с ПК, обмениваться файлами и рисовать на виртуальной доске! Для начала вам нужно будет зарегаться тут и скачать само приложение. А дальше можете пробовать. Мой мини-обзор:

А вот — не лучший пример реализации рукотрекинга в PokerStars VR, хотя, с контроллерами — отличная игра:

Демки с SideQuest-а

Что такое SideQuest и как им пользоваться, читайте тут. Далее я приведу несколько демок с трекингом рук, которые я там нашел.

Hand Physics Lab — подборка простых демок для демонстрации трекинга рук. Вот я пытаюсь чертить по линейке, выходит так себе)

На выбор там десяток таких демок

HandSpace — простая приколюха. Хлопаем в ладоши и смотрим, как наши руки меняют форму, например:

Авторы явно были под веществами)

Hand Tracking Demos — еще одна простая демка, где мы с помощью кнопок, нажимаемых руками, управляем паровозиком:

Interdimensional Matter — демка, в которой наши руки искажают пространство:

Там еще и звук замечательный)

Mr. Scribbles — а вот это что-то вроде трехмерного конструктора. Там одних инструкций на всю стену, я пока особо не вникал, получилось вот что:

HandParticle — простая демка, где частицы вылетают из ваших пальцев и вы можете ими управлять. Выглядит прикольно:

Rogue Ascent — а это народ вообще попытался сделать шутер целиком на рукотрекинге, в целом, прикольно выглядит. Мой небольшой обзор:

Если найду еще годных приложений с трекингом рук для Oculus Quest 2 — обязательно допишу в этот пост.

Применение трекинга рук с Oculus Quest 2 на ПК

Да-да, вы не ослышались, его можно юзать и на ПК через Virtual Desktop. В теории хоть в Half-Life: Alyx руками играй без контролеров, но, стоит ли это делать? Подробнее смотрите в моём обзорном видео:

С вами был @pavel419, до новых постов!

Рубрика: Блог о виртуальной реальности (ПК VR) Метки: Всё про Oculus Quest 2

Читайте также: