Видеофакт: Нейросети оживили портреты Достоевского и Эйнштейна

Алгоритм работает на основе трех нейросетей.

Программисты создали алгоритм, который может превращать статичные портреты в короткие видео. Система работает на основе небольшого количества кадров, сообщает knife.media.

Алгоритм работает на основе трех нейросетей: Embedder, Generator и Discriminator. В совокупности это называется сверточная нейросеть. Систему обучали кадрами с лицами людей — на изображения накладывалась специальная маска, обозначающая границы и базовую мимику.

Первая нейросеть хранит информацию в виде векторов, вторая накладывает маску, а третья — оценивает реалистичность ролика. Чем больше кадров — тем живее получается видео.

Возможности алгоритмы разработчики показали на фотографиях Мэрилин Монро, Альберта Эйнштейна и Федора Достоевского, а также на картинах «Мона Лиза» и «Девушка с жемчужной сережкой».

Похожий алгоритм в прошлом году создали в Вашингтонском университете — система может заставить людей на двухмерных фотографиях бегать.