Avatarify как сделать несколько лиц сразу

Добавил пользователь Валентин П.
Обновлено: 16.09.2024

Приложение Avatarify поможет оживить любое селфи. Фотореалистичные аватары для приложений для видеоконференцсвязи. Open Avatarify не связан с Avatarify Inc.

11 июля 2020 г. Добавлена поддержка Docker. Теперь вы можете запускать Avatarify из Docker в Linux. Спасибо mikaelhg и mintmaker за вклад!
22 мая 2020 г. Добавлен режим Google Colab. Теперь вы можете запускать Avatarify на любом компьютере без графического процессора!
7 мая 2020 г. Добавлена поддержка удаленного GPU для всех платформ(на основе решения mynameisfiber). Демо. Инструкции по развертыванию.
24 апреля 2020 г. Добавлен туториал по установке Windows.
17 апреля 2020 г. Создано сообщество Slack.
15 апреля 2020 г. Добавлены аватары, созданные StyleGAN. Просто нажмите Q. Каждый раз, когда вы нажимаете кнопку – выбирается новый аватар.
13 апреля 2020 г. Добавлена поддержка Windows(спасибо 9of9).

Требования

Вы можете запустить Avatarify в двух режимах: локально и удаленно.

Для локального запуска Avatarify вам потребуется видеокарта с поддержкой CUDA(NVIDIA). В противном случае он переключится на центральный процессор и будет работать очень медленно. Это показатели производительности для оборудования:

GeForce GTX 1080 Ti: 33 кадра в секунду
GeForce GTX 1070: 15 кадров в секунду
GeForce GTX 950: 9 кадров в секунду

Linux

Linux использует v4l2loopback для создания виртуальной камеры.

Загрузите Miniconda Python 3.7 и установите с помощью команды:

Клонируйте avatarify и установите его зависимости(требуется sudo privelege):

Загрузите веса сети и поместите файл vox-adv-cpk.pth.tar в каталог(не распаковывайте его).

Чтобы использовать Avatarify в Zoom, вы можете выбрать один из двух вариантов:

Установите Zoom v4.6.8 – последнюю версию, поддерживающую виртуальные камеры.
Используйте последнюю версию Zoom, но отключите проверку библиотеки, выполнив эту команду в терминале:

Мы будем использовать CamTwist для создания виртуальной камеры для Mac.

Установите Miniconda Python 3.7 или используйте Homebrew Cask: brew cask install miniconda.
Скачайте и распакуйте репозиторий или воспользуйтесь git:

Загрузите и установите CamTwist.

Windows

Это руководство протестировано для Windows 10.

Удаленный графический процессор

Вы можете переложить тяжелую работу на Google Colab или сервер с графическим процессором и использовать свой ноутбук только для передачи видеопотока. Серверное и клиентское программное обеспечение является родным и доступно в докере.

Докер

Образы Docker доступны только в Linux.

Настроить аватары

Если скачать Avatarify на андроид, то он поставляется со стандартным набором аватаров известных людей, но вы можете расширить этот набор, просто скопировав свои аватары в папку аватаров.

Следуйте этим советам, чтобы улучшить качество изображения:

Сделайте квадратную обрезку вашего аватара.
Обрежьте лицо аватара так, чтобы оно было не слишком близко и не слишком далеко. Используйте стандартные аватары в качестве справочника.
Отдавайте предпочтение картинкам с однородным фоном. Это уменьшит визуальные эффекты.

Ваша веб-камера должна быть подключена. Запустите приложение для видеоконференцсвязи только после запуска приложения.

Linux

Скрипт запуска создаст виртуальную камеру / dev / video9. Вы можете изменить эти настройки в scripts / settings.sh.

Вы можете использовать команду v4l2-ctl –list-devices для вывода списка всех устройств в вашей системе.

Если вы не установили графический процессор, добавьте флаг –no-gpus. Чтобы использовать Docker, добавьте флаг –docker.

Появятся окна cam и avatarify. Окно камеры предназначено для управления положением вашего лица, а avatarify – для предварительного просмотра анимации аватара.

Примечание. На Mac Avatarify работает только с Google Colab или выделенным сервером с графическим процессором.

Найдите место, где вы скачали приложение, и замените /path/to/avatarify аватарам ниже.

Windows

Запустите OBS Studio. Он должен автоматически начать потоковую передачу видео с Avatarify на OBS-Camera.

Вот основные принципы управления:

Вы также увидите два числа: первое число показывает, насколько близко вы в данный момент выровнены с аватаром, а второе число – насколько точно выровнен опорный кадр.

Настроить приложение для видеовстреч

Avatarify поддерживает любое приложение для видеоконференцсвязи, в котором можно изменить источник видеосигнала(Zoom, Skype, Hangouts, Slack, …). Вот несколько примеров того, как настроить конкретное приложение.

Skype

Перейдите в Настройки -> Видео и выберите avatarify(Linux), CamTwist(Mac) или OBS-Camera(Windows) из раскрывающегося меню камеры.

Teams

Перейдите к изображению вашего профиля -> Настройки -> Устройства и выберите avatarify(Linux), CamTwist(Mac) или OBS-Camera(Windows) в раскрывающемся меню камеры.

Slack

Удалить

Наша цель – сделать фотореалистичные аватарки более доступными для видеоконференцсвязи. Чтобы сделать технологию еще более доступной, нам необходимо решить следующие проблемы:

Добавить поддержку для большего количества платформ(Linux и Mac уже поддерживаются).
Удаленная поддержка GPU. Работа в процессе.
Перенос на графические процессоры без CUDA(интегрированные графические процессоры Intel, графические процессоры AMD и т. Д.) И оптимизация. Цель состоит в том, чтобы запустить Avatarify в реальном времени(не менее 10 кадров в секунду) на современных ноутбуках.

Вопросы и ответы

В: Нужны ли мне какие-либо знания программирования для запуска Avatarify?

В: Почему на моем Macbook он работает так медленно?

О: Модель, используемая в Avatarify, требует графического процессора NVIDIA с поддержкой CUDA для выполнения тяжелых вычислений. В Macbook нет таких графических процессоров, и для обработки используется процессор, у которого гораздо меньше вычислительной мощности для бесперебойной работы Avatarify.

В: У меня нет графического процессора NVIDIA, могу ли я его запустить?

О: Вы по-прежнему можете запускать его без графического процессора NVIDIA, но со значительно сниженной производительностью( Оценить

Средняя оценка / 5. Количество голосов:

Спасибо, помогите другим - напишите комментарий, добавьте информации к статье.

Буквально несколько лет инструменты основанные на искусственном интеллекте и нейросетях были ещё никому недоступны. А сегодня их может попробовать каждый, и многие из них совершенно бесплатно. Для этого нужен лишь смартфон или компьютер, а также интернет. Как называются приложения, где фотографии поют и двигаются вы узнаете далее.

Практического применения такие инструменты пользователям пока не приносят. В большинстве случаев это просто развлечения. Но такие развлечения, аналогов которым нет. В этой статье мы рассмотрим приложения из категории дипфейков, которые умеют оживлять статичные фотографии, то есть делать их анимированными.

Deepfake — это метод создания изображения на основе загруженного пользователем материала с помощью других картинок, видео, алгоритмов преобразования, которые имеются в базе ИИ.

Avatarify название приложение простое, а действий с фото оно совершает множество

Приложением которое оживляет фото и они начинают петь является Avatarify на iOS.

Как называется нашумевшее приложение, где лица на фото двигаются?

Deep Nostalgia была разработана как часть этого проекта, для того, чтобы придать жизнь старым фото родственников, которых, к сожалению, больше нет. Результат обработки некоторым кажется до мурашек жутким, а другим невообразимо трогательным. Но все, кто пользовался данным сервисом могут с уверенностью сказать, что получается очень похоже. Будто и в правду снимали видео с человеком, а не делали обычное фото.

Оживить с помощью Deep Nostalgia можно любые фото — черно-белые, цветные, изображения родственников, незнакомых людей, знаменитостей. Главное, чтобы на фото хорошо было видно лицо человека, чтобы искусственный интеллект смог его качественно обработать.

Deep Nostalgia — это условно-бесплатный сервис. В нём присутствует русский язык. И, конечно же, простой и понятный интерфейс. Всё это способствовало быстрому распространению информации о нём. Стоит отметить, что в данном приложении заставить петь человека на фото нельзя, оно только для оживления.

Давайте рассмотрим, как им воспользоваться

Результат обработки во много зависит от качества фото и ракурса — чем больше разрешение фото, тем лучше, а ракурс рекомендуется в анфас. Если фото не портретное, а человек изображён в нём в полный или половину роста, то оно будет обрезано до портрета. Практика показала, что лучше, чтобы фото изображало минимум эмоций на лице. Тогда алгоритмы Deep Nostalgia более качественно обработают фото.

В бесплатной версии сервиса можно обработать 5 фото.

Несмотря на то, что у сервиса My heritage есть мобильные приложения для Android и iOs, в них инструмент Deep Nostalgia отсутствует. Поэтому воспользоваться им можно только в браузере.

Vimage — оживление фото на смартфоне

Приложение отличается тем, что в нём нет рекламы. Оно условно-бесплатное — некоторые функции ограниченны. Присутствует лёгкий интуитивный интерфейс, который позволит легко освоить данный редактор. А также есть версии для Android и iOs. Использовать инструменты для того, чтобы на фото начали петь нет.

Mug life поможет заставить людей на фото двигаться

Изначально Mug life был разработан только для iOs и очень долгое время его не было в Google Play. Буквально недавно появилась первая бетта версия этого приложения для Android и сейчас оно уже доступно в равном доступе для всех.

Mug life накладывает на лица людей разнообразные эффекты — радость, улыбку, гнев, произношение каких-либо фраз, пение и даже патологическую мимику. Всё это поддерживается нейронными сетями, что обеспечивает качественную и совершенно правдоподобную обработку.

В приложении есть готовые пресеты мимики, которые можно применить к любому портрету. А также в платной версии присутствует возможность самостоятельно задавать мимику, с большой точностью управляя обработкой.

Avatarify: AI Face Animator - довольно качественное и забавное развлекательное приложение которое обеспечивает весьма плавную анимацию фотографий, а точнее лиц на фотографиях, под выбранную музыкальную композицию. Простейшее управление и скорость выполнения всех операций не создадут каких-то трудностей при достижении поставленной цели. Так что всем желающим отлично повеселиться одному или же в компании друзей данный проект безусловно подойдёт. Ну а постепенное развитие программы в плане уровня проработки мимику у людей задействованных в реализации процесса делает получаемый результат с каждым разом всё лучше и лучше.

Вот думаю, чем я хуже, дайка кого-нибудь тоже оживлю. И конечно на ум сразу пришла бредовая идея оживить нарисованных мною персонажей.

Первым делом надо было найти сервис или приложение на смартфон, которое способно сотворить это нейро-чудо. Но, как оказалось, на деле всё не так просто и радужно, как это может показаться.

Сервисы работают только с лицом человека и даже рисунок не всегда распознаётся, поэтому я выбрал два нарисованных мною рисунка с более-менее реалистичными чертами лица.

Полина Гагарина

Джек Николсон

Приложение - Avatarify

Создатели сайта находятся в Израиле, поэтому, по понятным причинам, им нужны деньги. Сервис интересный, хотя и сырой. Дают несколько раз создать анимацию из своих фоток, а далее просят ввести данные кредитной карты и подписаться на пользование сервисом.

С карты вроде спишется около 100 баксов, но, по словам создателей, в течение 14 дней будет пробный период и можно отказаться от данной услуги.

Как по мне, оно того не стоит, даже бесплатно, но кому деньги девать некуда велком.

Я всё же оживил два своих рисунка в данном сервисе и покажу результат в видео ниже.

Бот для Телеграма - Round DeepFake

Найти этого бота можно введя в поиске Телеги адрес ( @RoundDFBot ).

Прикольная, на мой взгляд, реализация, созданная с помощью нейронных сетей. Закидываете два файла, фотографию человека и видео пример, с которого нейросеть будет снимать мимику. Также, этот бот умеет подставлять лицо с фото в видео ролик. (Эту функцию я не пробовал, так как получил ограничения)

Да сервис хорош, но он условно бесплатный, нужно долго ждать результата и есть ограничения на количество попыток. Чтобы снять ограничения, необходимо задонатить создателям бота небольшую сумму денег.

Не вижу в этом ни чего плохого, но видео получается в очень плохом качестве и использовать его где-то не вижу смысла. А вот поиграться и помочь финансово развитию проекта вполне можно.

Это видео создано на основе работы двух сервисов Deep Nostalgia и Round DeepFake, о которых писал выше:

Сервис pantomime.it

Он оживляет фотографию и предлагает создать короткую гифку с определённой эмоцией, которую можно вставить, например, на форуме или в комментариях. Как по мне, сервис очень слабый, поэтому я не включил результаты в эту статью, но попробовать можете сами.

Приложение для смартфона Reface

Вы загружаете фотографию с лицом человека, выбираете любой видео ролик с клипом или фрагментом фильма и приложение очень качественно и эффектно встраивает лицо с фотографии в видео.

С недавнего времени в сети стали активно появляться небольшие видеоролики в которых фотографии оживают. Наша небольшая статья расскажет как самостоятельно сделать поющее лицо на фото и выложить его в TikTok, Instagram, ВК или Одноклассники.

Поющее фото через приложение WOMBO

Приложение WOMBO обрабатывает изображения человека с помощью искусственного интеллекта, основанного на технологии нейронных сетей. По нашему мнению эта программка лучше всего оживляет фотографии, однако для лучшего эффекта нужно провести легкую настройку изображения.

Приложение WOMBO.ai: поющее фото

Пример оптимального изображения и плохой позиции лица для WOMBO

Редактирование фото: обрезка, увеличение, поворот

Проверьте отредактированное фото

Выберите музыку из списка

Отправьте поющее фото в Тик-Ток или Инстаграм

На сегодняшний день выбор музыки не сильно большой, но разработчики обещают увеличить свою библиотеку. Второй момент: пока нельзя на фото наложить собственную музыку.

У приложения WOMBO имеется Premium-версия, которая стоит 419 руб./месяц или 2690 руб./год. Оплату можно провести через карту или электронный кошелек. Больших преимуществ премиум не дает (ускоренная обработка, отсутствие рекламы), но если вдруг вы решили его приобрести, будьте внимательны — покупка подписки через карту выполняется через привязку её реквизитов. Последующее продление премиум-доступа может быть проведено автоматически (в режиме рекуррентных списаний). Все может свестись к тому, что вы купите месячную подписку, а потом WOMBO автоматически спишет деньги, когда нужны в программке уже не будет.

Приложения где фото поют: какие есть аналоги?

В последнее время история с оживлением фотографий стала достаточно хайповой, поэтому появилось большое количество сервисов, позволяющих качественно оживить персонажи на изображениях.

Puppets World: позволяет записать видеоролик, а нейросеть перенесет эмоции, движения и голос на выбранное фото. Естественно, можно и попеть.
Avatarify: схожее в работе с Puppets World приложение, позволяет наложить на фото движения из собственной базы gif-изображений с музыкой.
Deep Nostalgia (от онлайн сервиса MyHeritage) достаточно качественно добавляет фото немного движений и эмоций. Классно оживляет старинные фото. Главный минус — сервис платный и имеет ограниченное количество бесплатных обработок.
Reface — вставляет лицо на фото в видеокадры из фильмов.
Movepic, Vimage — позволяют добавить незначительные движения природы на фотографии пейзажей.

Заключение

Теперь вы знаете, как называются все приложения, где можно сделать поющее лицо на фото. Еще раз напомним, лучшим и более легким в обработке изображений мы считаем WOMBO, но есть неплохие приложения Puppets World и Avatarify. Если возникли сложности, пишите в комментарии.

Читайте также: