Мы стараемся знакомить вас с технологиями во всех направлениях, и нейросети в этом не исключение. В этот раз мы решили рассказать об интересном функционале уже знакомой всем платформы под названием Pika Art.Недавно мы уже разбирались с тем, как она работает — превращали обычные фотографии в «живые».
С этим искусственный интеллект справился неплохо, учитывая, что это одна из самых сложных задач для сервисов такого плана. Сегодня мы нагрузим Pika Art еще раз — теперь заставим нейросеть редактировать видео.
Точнее, менять объекты в кадре или вообще их удалять.Удаляем объекты с помощью нейросети Со статичными фотографиями было бы все намного проще — такой функционал теперь имеется даже в смартфонах в качестве дополнительной кнопки в фоторедакторе.
А вот с редактированием видео пока справляются только специализированные сервисы. Например, такую возможность предоставляет Pika Art — давайте посмотрим, на что способны современные технологии.
Повторяться не будем — все подробности об этом сервисе мы изложили в прошлом материале. Так что сегодня начнем сразу с тестирования и посмотрим на результаты.
Давайте начнем с основной задачи — попробуем убрать лишний объект на видео с красивым закатом.Загружаем ролик, выбираем Use Brush и водим кистью по нужному объекту. После чего в поле ниже необходимо ввести текстовый запрос — просто объясните нейросети, как она должна поступить с выделенной областью в кадре.
Если с английским «туго», можно использовать онлайн-переводчик. Вот наше «до» и «после» работы алгоритмов нейросети:Если честно, то результат не очень — объект, конечно, исчез, но его силуэт все равно присутствует на видео.
И видно его даже при просмотре миниатюры. Причем надо отметить, что качество обработки совсем не зависит от промта — мы пробовали разные запросы, итог остается без изменений.
Вряд ли такое захочется выложить в социальную сеть.Как заменить объекты, используя нейросетьНо, у Pika Art есть другой полезный инструмент — возможность не только удалить, но еще и заменить объект.
Давайте проверим, насколько хорош этот инструмент в «подделке» видеороликов.В этот раз мы попросили не удалить объект, а заменить его на другой — силуэт Лох-несского чудовища. Нейросеть думала намного дольше — возможно, результат порадует качеством.
Пожалуй, и эта задача ей удалась лишь наполовину — да, объект изменился, но информативности от такой замены полный ноль. По крайней мере, в социальных сетях вам не поверят, что вы засняли на видео именно мифическое животное.
Скорее какой-то ограничительный буй, за который советуют не заплывать. Впрочем, это лучше, чем силуэт незнакомого человека в кадре.Добавляем новые объекты прямо на видеоА вот новая функция, которая нас, действительно, впечатлила, позволяет добавить на уже существующее видео новые объекты.
Соответствующий режим называется Pikadditions. Что от нас потребуется?1. Исходное видео.
2. Фото объекта, который нужно добавить. 3. Промпт, то есть описание действия. Мы скачали бесплатное видео с freepik.com, фотку рыжего кота и добавили промпт: «Add this to my video. Based on the current actions in the original video, come up with a natural and engaging way to fit the object into the video.
Object is a red-haired cat lying on a table»Для понимания результата вот исходный ролик: А вот что сгенерила нам нейросеть.
Получилось, действительно, неплохо. Конечно, опытные «котоводы» заметят не совсем естественную позу кота, но он идеально совмещен с поверхностью стола и не залезает на другие объекты. Если вас не смущает логотип, можно попробовать бесплатно.
Платформа Pika Art — не единственная, которая позволяет редактировать видео. Например, недавно мы рассказывали о сервисе Runway, где можно оживлять фотографии. Со своей задачей эта нейросеть справляется куда лучше.
Рубрика: Техно и Гаджеты. Читать весь текст на ichip.ru.