ByteDance представила нейросеть, которая создает реалистичные видео по фотографии

ByteDance, материнская компания TikTok, представила новую модель ИИ OmniHuman-1. Она способна преобразовывать фото в реалистичные видео, на которых люди говорят, поют и жестикулируют. Модель привлекла внимание благодаря качеству видео, значительно превосходящему существующие аналоги.

Для обучения OmniHuman-1 использовали более 18,7 тыс. часов видеоданных, на которых запечатлены люди в различных ситуациях. Нейросеть анализирует текст, аудио и движения тела, что позволяет ей создавать видео с высокой точностью.

В качестве примера работы модели ByteDance представила 23-секундный видеоклип, где Альберт Эйнштейн произносит речь. Видео было высоко оценено экспертами за «шокирующую реалистичность».

ByteDance представила OmniHuman-1 через свою платформу Jimeng. Неизвестно, когда модель будет доступна широкой публике.

❤️ Новости Китая | ЭКД

Источник: t.me