Как сделать рисунок нейросетью
Обновлено: 07.07.2024
Популярные онлайн-сервисы, основанные на алгоритмах машинного обучения, которые умеют рисовать и раскрашивать.
На самых обыденных фотографиях проступают многочисленные и не вполне различимые сущности. Чаще всего почему-то собаки. Такими снимками интернет стал наполняться в июне 2015 года, когда был запущен DeepDream от Google — один из первых открытых сервисов, основанных на нейронных сетях и предназначенных для обработки изображений.
Происходит это приблизительно так: алгоритм анализирует фотографии, находит в них фрагменты, которые напоминают ему какие-либо знакомые объекты — и искажает изображение в соответствии с этими данными.
Сначала проект выложили в виде открытого кода, а затем в интернете появились онлайн-сервисы, созданные по тем же принципам. Один из наиболее удобных и популярных — это Deep Dream Generator: обработка фотографии небольшого размера здесь занимает всего около 15 секунд (ранее пользователям приходилось ждать более часа).
Нейросети по своему устройству имитируют настоящие нейронные сети живого организма, но делают это с помощью математических алгоритмов. Создав базовую структуру, можно тренировать её по методам машинного обучения. Если речь идёт о распознавании образов, то через нейросеть нужно пропустить тысячи изображений. Если задача у нейросети другая, то и тренировочные упражнения будут отличаться.
Алгоритмы для игры в шахматы, к примеру, анализируют шахматные партии. Тем же путём алгоритм AlphaGo от Google DeepMind научился побеждать в китайскую игру го — что было воспринято как прорыв, поскольку го намного сложнее и нелинейнее, чем шахматы.
Совсем недавно нейронную сеть научили предсказывать объятия, поцелуи и рукопожатия. Для этого ей пришлось посмотреть множество сериалов.
Поиграться с упрощённой моделью нейросетей и лучше понять её принципы можно здесь.
На youtube также есть серия доходчивых рисованных роликов о том, как работают нейросети.
Ещё один популярный сервис — это Dreamscope, который умеет не только мечтать о собаках, но и имитировать различные живописные стили. Обработка изображений здесь тоже происходит очень просто и быстро (около 30 секунд).
Совсем недавно появилась программа, которая реалистично раскрашивает чёрно-белые изображения. В предыдущих версиях похожие программы справлялись со своей задачей намного далеко не так хорошо, и считалось большим достижением, если хотя бы 20% людей не могут отличить настоящую картинку от изображения, раскрашенного компьютером.
Причём колоризация здесь занимает всего около 1 минуты.
Та же самая компания разработчиков также запустила сервис, который распознаёт на картинках разные виды объектов.
Эти сервисы могут показаться всего лишь забавным развлечением, но на самом деле всё гораздо интереснее. Новые технологии входят в практику художников-людей и меняют наши представления об искусстве. Вероятно, вскоре людям придётся конкурировать с машинами и в области творчества.
Научить алгоритмы распознаванию образов — задача, над которой уже давно бьются разработчики искусственного интеллекта. Поэтому программы, которые раскрашивают старые снимки и рисуют в небе собак, можно считать частью более масштабного и интригующего процесса.
К 2019 году искусственные нейронные сети стали чем-то большим, чем просто забавная технология, о которой слышали только гики. Да, среди обычных людей мало кто понимает что из себя представляют нейросети и как они работают, но проверить действие подобных систем на практике может каждый – и для этого не нужно становиться сотрудником Google или Facebook. Сегодня в Интернете существуют десятки бесплатных проектов, иллюстрирующих те или иные возможности современных ИНС, о самых интересных из них мы и поговорим.
Из 2D в 3D
На этом сервисе вы сможете вдохнуть новую жизнь в свои старые фотографии, сделав их объемными. Весь процесс занимает меньше минуты, необходимо загрузить изображение и через несколько секунд получить 3D-модель, которую можно покрутить и рассмотреть во всех деталях. Впрочем, есть два нюанса — во-первых, фотография, должна быть портретной (для лучшего понимания требований на главной странице сайта представлены наиболее удачные образцы снимков, которые ранее загружали другие пользователи; во-вторых, детализация получаемой модельки зачастую оставляет желать лучшего, особенно, если фотография в низком разрешении. Однако авторы разрешают не только ознакомиться с результатом в окне браузера, но и скачать получившийся файл в формате obj к себе на компьютер, чтобы затем самостоятельно его доработать.
Нейминг брендов
Придумали крутую идею для стартапа, но не можете определиться с именем для будущей компании? Достаточно вбить несколько ключевых слов, задать длину названия в символах и готово! В общем, больше не нужно искать на фрилансе людей, которые будут решать такой личный вопрос, как наименование дела всей вашей жизни.
Выбор досуга
Пересмотрели все интересные вам фильмы, прочли все достойные книги и не знаете чем занять вечер? Система рекомендаций от специалиста по искусственному интеллекту Марека Грибни расскажет как увлекательно и с пользой провести свободное время. Для корректной работы сервиса вас сперва попросят указать ваши любимые произведения в кинематографе, литературе, музыке или живописи.
Рай для искусствоведа
Google специально для поклонников современного (и не только) искусства запустила проект Google Arts & Culture, в котором можно подобрать произведения по вашему вкусу как от малоизвестных, так и от малоизвестных авторов. Большая часть контента здесь на английском, но если вы не дружите с языками, можно воспользоваться встроенным переводчиком.
Озвучивание картинок
Японская студия Qosmo разработала очень необычную нейросеть Imaginary Soundscape, которая воспроизводит звук, соответствующий тому или иному изображению. В качестве источника информации вы можете указать ссылку на любую картинку в Интернете, загрузить свой файл либо выбрать случайную локацию на Google Maps.
Не умеешь рисовать – тогда тебе к нам!
Если вы пробовали использовать рукописный ввод на своем смартфоне, эта нейросеть покажется вам до боли знакомой: она превращает любые каракули в аккуратные 2D-рисунки.
Генерация людей
Thispersondoesnotexist – это один самых известных AI-проектов. Нейросеть, созданная сотрудником Uber Филиппом Ваном, выдает случайное изображение несуществующего человека при каждом обновлении страницы.
Генерация… котов
Тот же автор разработал аналогичный сайт, генерирующий изображения несуществующих котов.
Быстрое удаление фона
Часто ли вам приходится тратить драгоценное время на удаление бэкграунда с фотографий? Даже если регулярно такой необходимости не возникает, следует на всякий случай знать о возможности быстрого удаления фона с помощью удобного онлайн-инструмента.
Написать стихотворение
Компания ‘Яндекс’, известная своей любовью к запуску необычных русскоязычных сервисов, имеет в своем портфолио сайт, где искусственный интеллект составляет рандомные стихотворения из заголовков новостей и поисковых запросов.
Окрашивание черно-белых фотографий
Colorize – это также российская нейросеть, возвращающая цвета старым черно-белым снимкам. В бесплатной версии доступно 50 фотографий, если вам нужно больше, можете приобрести платный аккаунт с лимитом в десять тысяч изображений.
Апскейлинг фото
Чтение текста голосом знаменитостей
Благодаря высоким технологиям, сегодня у вас есть возможность озвучить любую фразу голосом самых известных в мире людей. Все просто: пишите текст и выбираете человека (среди последних — Дональд Трамп, Тейлор Свифт, Марк Цукерберг, Канье Уэст, Морган Фриман, Сэмюель Л Джексон и другие).
Описание фотографий
Музыкальная шкатулка
Напоследок расскажем о целой пачке нейросетей от Google, первая из них – Infinite Drum Machine. Открыв страницу приложения, вы увидите своеобразную карту, на которой находятся самые разнообразные звуки. С помощью круглых манипуляторов можно изменять сочетание элементов, если получившийся набор покажется вам бессмысленным, нажмите кнопку Play в нижней части экрана и звуковая картина сложится сама собой.
Птичий хор
Если предыдущий сервис может оказаться полезным для, например, диджеев или обычных музыкантов, то польза от управления голосами десятков тысяч певчих птиц довольно сомнительна. Кстати, коллекция звуков для Bird Sounds собиралась орнитологами со всего мира на протяжении нескольких десятилетий.
Виртуальный пианист
В A. I. Duet пользователю предлагается сыграть какую-нибудь мелодию на пианино, а искусственный интеллект попробует самостоятельно закончить композицию, подобрав наиболее логичное и гармоничное продолжение.
Распознавание рисунков
Объяснение логики машинного обучения
Проект Visualizing High-Dimensional Space (“Визуализация многомерного пространства”) создавался для того, чтобы объяснить простым людям и начинающим разработчикам, как работают нейросети. Когда ИИ, оперируя большими базами данных, получает информацию (например, вашу фотографию, введенную фразу или только что нарисованное изображение), он сравнивает входящие данные с теми, что у него уже есть. VHDS наглядно демонстрирует корреляцию одного лишь выбранного вами слова с миллионами аналогичных понятий.
В этой серии статей мы расскажем о нашем опыте разработки 40 картин в дополненной реальности для проекта ARTLIFE 2020.
Мы уже довольно давно пропагандируем связку ML и 3D-технологии в искусстве и хотим использовать все возможности, открывающиеся с нейронными сетями в нашем процессе. Эта связка позволяет использовать новые пайплайны, оптимизировать время на разработку и создавать с помощью компьютера новые формы и стили, то что человек бы никогда сам не создал.
В последнее время, популярность искусственного интеллекта возрастает. Эту технологию внедряют повсеместно и искусство не стало исключением.
Алгоритмы машинного обучения (ML) помогают решать как рутинные вычислительные задачи (распознавание образов, быстрая обработка больших массивов данных и пр.), так и нетривиальные творческие задачи (генеративные модели глубокого обучения, позволяющие по простому текстовому описанию или скетчу создавать новые формы и образы), значительно снижая “страх белого листа”. В комбинации с творческим подходом художника можно получать очень интересные результаты. Многие художники, работая с нейронными сетями находят свои оригинальные решения и обретают свой узнаваемые почерк.
Всех заинтересованных отсылаем к книге “Генеративное глубокое обучение”)
The Relationship Between Art and AI
Art is how we’ll imagine new ways to use AI that could help us survive, even evolve.
В свою очередь, для нехудожников, нейронные сети ускоряют процесс получения необходимых навыков и знаний, что сокращает путь от новичка до эксперта. Это большой шаг навстречу демократизации творчества, но об этом отдельно.
Прототип приложения, которое в реальном времени переводит примитивный рисунок красками в фотореалистичный пейзаж с помощью GauGAN
В Photoshop уже достаточно давно есть инструменты, ускоряющие работу — это дорисовывание фона за выделенным объектом, стилизация фотографий под традиционные методы (карандаш, масло и т.д.) Пинтерест, где мы ищем вдохновение, предлагает интересный именно нам контент с помощью рекомендательных алгоритмов. Blender 3D сокращает время рендеринга благодаря denoise системе. В Substance есть инструмент, который создает текстурные карты из фотографий.
В нашей недавней статье мы подробно рассмотрели классификацию нейронных сетей для работы с 3D-данными и описали все, что уже успели попробовать. Здесь прилагаем обновленную схему.
Обзор нейронных сетей для работы с 3D-данными
В этой обзорной статье мы поделимся нашими наработками, знаниями и экспериментами в области нейронных сетей и работы с…
Голубым цветом отмечены виды нейронных сетей, которые мы использовали в этом проекте
В этой статье хочется поделиться впечатлением от работы с такими инструментами на проекте Artlife 2020, рассказать плюсы, минусы и все рассмотренные варианты на конкретных картинах.
Укрощение тигра
Первая картина, на которой я опробовала все чудеса StyleTransfer’а — Laura Gulshani “Valentino Green Dress”.
С первого взгляда, я почувствовала в этой женщине укротительницу тигров, такую прямую, спокойную и сильную. За ее спиной должен был появиться тигр.
Сначала я начала все рисовать вручную, но сразу же поняла, что это займет много времени, нужно было не просто нарисовать тигра, а сделать его в технике оригинальной картины. Поэтому я авторизовалась в Runway ML. Это программа, в которой собраны самые популярные алгоритмы машинного обучения. С их помощью можно работать с изображениями, видео и даже обучать сетку практически с нуля на своих примерах. Огромный плюс в том, что в Runway ML можно работать без знания кода, все сделано очень интуитивно и упрощенно, для ускорения процессов. Там я подобрала подходящую мне нейронную сеть StyleTransfer. Для работы в ней нужно два изображения: картинка оригинал, которую будем стилизовать и картинка-референс, с которой будем брать стиль. Референс по стилю у меня уже был (Руссо), осталось найти то, к чему применять этот стиль. По запросу “тигр” я очень быстро нашла подходящий ракурс и уже через 2 минуты получила стилизованное изображение. Конечно, я доработала его в фотошопе, чтобы тигр полностью соответствовал образу в моей голове, это тоже заняло совсем немного времени.
Сам Runway ML оставил у меня неоднозначное впечатление. Вроде и функционал обученных нейронок большой и вариативность у результата есть (можно подстроить/настроить свет и цвета), но открывается не всегда с первого раза и обрабатывает дольше, чем веб-генератор Deep Dream Generator, которым я решила пользоваться в следующих примерах, он представляет из себя тот же Style Transfer, только ничего не нужно скачивать. В обоих случаях можно получить сгенерированное изображение бесплатно, однако попытки ограничены. (Что можно решить сменой почтового ящика).
Вдохновленная таким результатом, я решила использовать метод нейронных сетей и для улыбки женщины. Я сразу вспомнила о приложении EbSynth, с которым мы работали в прошлом году. Это программа из категории Style transfer и с ее помощью мы оживляли несколько нарисованных людей на картинах. Там можно стилизовать длинные ролики поработав только над несколькими референсными кадрами, где значительно меняется картинка.
На вход он просит видео, которое будет стилизовано (я сняла себя) и референс для стилизации — лицо женщины.
На итоговом видео было похоже, что я испачкалась сажей, поэтому я просто удалила результат и дотянула улыбку в фотошопе. Подмена провалилась. Ручной способ оказался быстрее и качественней.
Здесь и дальше результат вы можете посмотреть в приложении Artlife 2020.
В следующей картине стояла более интересная задача. Нужно было поменять стиль изображения героев: сделать Белоснежку реалистичной, а девушек и мужчину мультяшными.
Кстати нашумевший пример “оживления персонажей” вы наверняка уже видели.
“Бас Утервайк, художник из Амстердама, использует нейросеть Artbreeder (она объединяет два изображения в одно, компьютерной графики и 3D-анимации) для создания чрезвычайно реалистичных фотографий исторических фигур и памятников, таких как художник Винсент Ван Гог, Джордж Вашингтон, королева Елизавета I и герои знаменитых произведений искусства.” Больше примеров в этой статье.
Чтобы начать работать с лицом, его необходимо вырезать (в кадр должен входить только портрет). Также, для более быстрого просчета изображения, рекомендуется сделать разрешение кратным четырем: 512, 1024. Крупнее не стоит, так как просчет будет слишком долгим и чаще всего результат все равно сожмется. Если необходимо хорошее разрешение, лучше использовать нейронку Let’s enhance, о которой мы писали в том году).
После загрузки референсного изображения открывается масса возможностей. Здесь можно не только сделать из персонажа человека, но и настроить возраст, индивидуальные черты лица, рост, вес, национальность, настроение и многое другое.
Таким образом я получила подходящую мне Белоснежку, а вот в обратную сторону в этом случае провернуть не удалось. Девушек и мужчину было быстрее нарисовать самой из-за сложных поз и неоднозначной рисовки.
В этом случае можно было бы использовать стайл трансфер, однако, чтобы подобрать правильные параметры, потребовалось бы много времени на эксперименты.
Мы очень сильно и очень давно хотели поработать с таким эффектом. Вот хороший материал на эту тему про настройки в Runway ML, а я расскажу о нашем опыте.
Такой эффект мог бы хорошо смотреться на картине с городом и мы стали искать варианты, реализации.
Первая проблема, возникшая сразу — датасет. Когда дело касается реалистичных природных и городских ландшафтов все проще, так как в интернете полно таких фотографий в разных ракурсах. Однако в случае с картинами все непросто, у художника сложно набрать от 100 изображений похожих по смыслу и визульно. Поэтому пришлось бы искать городские фотографии в подходящем мне ракурсе, прогонять их через StyleTransfer, и результат был бы не всегда хороший. Для стабильного результата нужно много тестов, а в этом есть некоторые ограничения. Только после всего описанного я бы получила анимацию. В общем такой метод мне не подошел и я просто анимировала домики по слоям в ручную.
Нейронки должны упрощать жизнь и ускорять работу, а не наоборот.
В следующих двух работах получилось применить StyleGAN и это было интересно)
На картине Agnes Grochulska “Lucy” хотелось видеть эффект галлюцинаций, первый концепт — совместить стили с картинами великих художников в StyleTransfer и анимировать их через StyleGAN. Результаты получились пугающими и анимация не выглядела интересной без смены ракурсов.
Доброго времени!
Бесспорно, что яркие и броские фотографии всегда привлекали и будут привлекать внимание! Ну а вовремя сделанная такая необычная фотография способна не только поднять настроение, но и стать неплохим подарком по любому поводу 😉. Например, можно неплохо так удивить девушку!
Собственно, как вы догадались из названия статьи и предисловия — речь сегодня пойдет о нескольких сервисах, способных в авто режиме превратить вашу фотографию в яркую и интригующую картину (причем, не в простой рисунок, а во что-то более утонченное. ).
Кстати, наверное, стоит отметить одну деталь : большинство нижеприведенных сервисов работают на основе нейросетей (т.е. одного из способа воплощения "искусственного интеллекта"). Так что есть (👇) неплохой способ проверить, что "думает" о вашем фото интеллект машины.
👉 Близко к теме!
Как создать красивую открытку (картинку) для поздравления с Днем Рождения, Юбилеем, 8 марта и др. праздниками
Подборка интересных сервисов и приложений по обработке фото
Ostagram
Было - стало (Ostagram)
Очень интересный сервис, позволяющий вам получить оригинальную и красивую картину из фотографий (причем, вам совсем не нужно уметь рисовать — все сделает нейросеть).
Как это работает : вы загружаете на сервис парочку нужных вам фотографий (для обработки), одна из которых выступает в роли "базового" изображения, а вторая в роли "стиля". И из двух картинок автоматически получается одна, но зато какая!
Нейросеть иногда творит чудеса и сможет хорошо так удивить вас! Кстати, на главной страничке сайта вы можете просмотреть все самые интересные и популярные картины (весьма занимательно!).
Примечание : для использования сервиса - потребуется регистрация. В бесплатной версии время на обработку одной фотографии может варьироваться (в зависимости от нагрузки) - в среднем 3-7 мин.
DeepArt.io
DeepArt - главная страничка сервиса (скриншот с офиц. сайта)
Этот сервис во многом похож на первый. Однако, в качестве изображения под "стилевую основу" здесь есть свой набор и из него вам и придется выбирать.
Полученные картины смотрятся весьма необычно и даже местами экстравагантно. Точно можно удивить собеседника!
Также отметил бы, что на подготовку одной картины здесь уйдет чуть больше времени - около 10 минут. За ускоренную обработку - предусмотрен тариф ~2 евро.
Примеры работ с DeepArt
Для Android
Приложение Prisma
Prisma - главное окно приложения
Весьма популярное приложение для обработки фотографий. Позволяет в мгновение ока стать художником! См. примеры ниже (👇).
В чем суть : разработчики "оцифровали" и смоделировали стили популярных художников (Ван Гога, Пикассо, Левитана). Искусственный интеллект при помощи этих моделей может "изменить" любую картинку или фотографию — и это можете сделать вы с любым изображением прямо на своем телефоне!
По-моему, звучит весьма заманчиво?! Благо, что в отличие от вышеприведенных сервисов фотографии обрабатываются моментально!
Фото превратилось в картину. / Prisma
Примечание : в приложении десятки различных арт-стилей (на любой вкус!). Часть из этих стилей - бесплатны, другие - платны. Из минусов: настойчиво предлагается купить годовую подписку.
Приложение Vinci
Vinci – Обработка фото нейросетями
Добротное приложение для ретуширования и мгновенной обработки картинок и фото. В арсенале приложения несколько десятков арт-стилей и моделей, благодаря которым можно изменить изображение до неузнаваемости! 👆
Например, можно превратить фото в мозаику (кистью), рисунок карандашом, мультипликационный кадр и т.д. Даже бесплатных фильтров хватит, чтобы вдоволь "поколдовать" над снимками.
Приложение GoArt
GoArt - пример изменения фото
Это приложение также, как и предыдущие, позволяет применять различные эффекты к фото, за исключением одного момента: можно обрабатывать изображения вплоть до 10M Pixel!
Благодаря новейшим технологиям нейросетей — можно практически мгновенно имитировать живопись от Ван Гога до Моне к выбранной вами фотографии. (ряд эффектов, кстати, платные, но и открытых - хватает с лихвой!)
Стоит отметить, что приложение активно развивается и разработчики почти каждую неделю добавляют новые эффекты и стили (вы всегда сможете удивлять своих друзей, коллег, близких!).
Рекомендую к ознакомлению!
Приложение Toolwiz Photos
Toolwiz Photos - раздел фильтры
Toolwiz Photos — это полноценный редактор фотографий, позволяющий не только применять какие-то креативные эффекты, но и, например, изменить размер изображения, что-то подрезать, замазать и т.д. ✌
Что касается темы нашей статьи : обратите внимание на вкладку "Фильтры" (см. скрин ниже). В ней вы сможете найти несколько десятков фильтров и эффектов, которые смогут изменить ваше фото до неузнаваемости! Парочка примеров у меня приведена ниже. 👇
Пример наложения эффектов
Кстати, что радует — в процессе работы не выскакивает никаких рекламных окон с предложением что-то приобрести.
В целом, весьма удобное приложение для повседневных нужд. Также рекомендуется к знакомству! 👌
Дополнения по теме - точно не будут лишними (благодарю заранее за комментарии).
Читайте также: