Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий

Возврат к списку

Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий

11.10.2017     
Группа разработчиков из Тель-Авивского университета создала алгоритм, который способен переносить мимику из видео на статичные изображения, делая фотографии «живыми».

Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.

Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.

В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.

Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.

Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.

Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.




Источник: https://infostart.ru/journal/news/tekhnologii/issledovateli-iz-tel-aviva-razrabotali-algoritm-dlya-ozhivleniya-fotografiy_685256/
Автор:
Яна Казьмина Редактор ленты новостей


Комментарии
Избранное Подписка Сортировка: Древо
1. protexprotex 123 11.10.17 22:18 Сейчас в теме
2. boln 1000 11.10.17 23:43 Сейчас в теме
Как любят слушатели на курсах спрашивать: "А где это можно применить?".
4. Darklight 20 12.10.17 14:03 Сейчас в теме
(2)Ну, если я правильно понял технологию, в Гарри Потере такие фотки в газетах печатали - правда там покруче было, но ничего - и эта технология разовьётся. Там же ещё и и картины анимированные были - это тоже теперь возможно - а с учётом развития мультимедийных анимированных выставок живописи - технология будет очень востребована. А вообще идея интересная - в фоторамках полюбому будет востребована! На веб страничках будут такие анимированные гифики размещать. А ещё с такой технологией грядёт новая эра эмодзи!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
TreeDogNight; +1 Ответить
6. boln 1000 12.10.17 14:24 Сейчас в теме
(4)
Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
Это понравилось :)
12. Terve!R 18.10.17 09:10 Сейчас в теме
(4) при чем тут Гарри Поттер с видеовставками в газетах? При чем тут фоторамки, на которые просто вешаешь свои фото? Ты похоже вообще не понял о чем речь, перечитай заново.
13. Darklight 20 18.10.17 16:19 Сейчас в теме
(12) Я говорю об анимированых фотографиях. Я не только прочитал, но и посмотрел на видеоролике как это работает - сделал выводы и свои предположения! Если с ними не согласны - будьте добры - изложите по существу свои выводы!
14. Terve!R 18.10.17 16:58 Сейчас в теме
(13) анимированные фотографии уже давно есть - это называется видео. А новость о том, что берут фото и генерируют на их основе другие фото, с эмоциями например. Или берут видео и человек на видео говорит то, что в реальности не говорил, а это всего лишь компьютерная модель на основе исходного видео. Вот в чем прорыв, а не в том, чтобы анимацию размещать в газетах - для этого нужна просто электронная бумага.
15. Darklight 20 19.10.17 10:16 Сейчас в теме
(14)Нет, видео это не то. Видео это набор статических картинок. А анимированные фотографии - это именно настоящая, я бы даже сказал непредсказуемая (при должной реализации) динамика анимации.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
3. twiny 12 12.10.17 00:17 Сейчас в теме
скоро в кино будет 3д-модель сниматься, а в суде видеозапись перестанет быть доказательством
5. Darklight 20 12.10.17 14:20 Сейчас в теме
(3)С учётом выхода MSQRD и начала эпохи видеомасок и дополненной реальности - у видеоконтента действительно есть все шансы потерять доказательность в обозримом будущем. Но.... может появится что-то более серьёзное и точное для фиксации происшествий, чем 2d/3d видео. А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
7. twiny 12 12.10.17 21:50 Сейчас в теме
(5)
А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))

А насчёт съемки 3D модели в кино не совсем понял

Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
TreeDogNight; +1 Ответить
8. Darklight 20 13.10.17 11:55 Сейчас в теме
(7)
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))

Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
9. twiny 12 13.10.17 16:24 Сейчас в теме
(8)я далек от этой сферы деятельности, но имхо уровень там пока слабенький.
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного
10. Team leader 9 14.10.17 20:48 Сейчас в теме
(9) эмоции актеру не нужны... из той же оперы
https://geektimes.ru/post/267486/

Дисней давно работаю над моделированием голосов известных актеров и их мимики
11. twiny 12 14.10.17 22:22 Сейчас в теме
(10)ну, собсно, да, работа идёт
Оставьте свое сообщение

См. также

Huawei Mate 30 стал первым телефоном компании без деталей из США 0

Новость Android Гаджеты

Компания Huawei выпустила первый смартфон, собранный без американских комплектующих. Тем не менее, компания все еще продолжает бороться против санкций США. 

сегодня в 11:59    47    VKuser24342747    0       

Инфостарт и electroNeek запускают программу роботизации процессов для малых и средних предприятий 2

Новость Автоматизация Инфостарт

Инфостарт заключил партнерский договор с компанией electroNeek – разработчиком  программного обеспечения для автоматизации повторяющихся бизнес-задач. Наша цель – сделать роботизированную автоматизацию процессов (RPA) доступной. 

06.12.2019    800    user997184    0       

Проект Verona: Microsoft перепишет часть Windows на новом языке 3

Новость Microsoft Языки программирования

Microsoft запустила экспериментальный проект по разработке собственного языка программирования Verona, основанного на Rust.

05.12.2019    955    user1015646    2       

Nokia создала ПО для программирования интернете вещей на базе Tarantool 1

Новость СУБД Mail.Ru Инновации

Модуль позволит разрабатывать ПО для систем промышленного интернета вещей. Он включает инструменты для управления интеллектуальными средами и обеспечивает взаимодействие IOC с граничными облачными приложениями. 

02.12.2019    575    user1015646    0       

Google пожаловался на разработчиков игр из-за неудачного старта сервиса Stadia 0

Новость Google Видеоигры

Облачный сервис Google Stadia не оправдал ожидания игроков. Он не позволяет запускать игры в разрешении 4K, имеет большую задержку ввода и приводит к перегреву плеера Chromecast.

02.12.2019    835    VKuser24342747    0       

В России и Европе закончились адреса IPv4 2

Новость Интернет

«25 ноября 2019 года, мы сделали окончательное распределение / 22 IPv4 по последним оставшимся адресам в нашем доступном пуле. Теперь у нас закончились адреса IPv4», – сообщает один из пяти глобальных интернет-регистраторов RIPE NCC. 

28.11.2019    1191    user1015646    0       

Российский офисный пакет исключили из реестра отечественного ПО за плагиат  0

Новость Госзакупки Импортозамещение

Пакет офисных программ AlterOffice исключили из Реестра российского программного обеспечения. В нем нашли признаки клонирования зарубежного аналога LibreOffice с открытым исходным кодом.

27.11.2019    1731    user1015646    0       

В скрипты на Python добавили эмодзи 1

Новость Языки программирования

Разработчик Гейр Арне Хьелле решил привнести в программирование на Python больше красок: он создал проект, который позволяет использовать эмодзи в коде.

27.11.2019    1042    user1015646    3       

Власти готовят механизмы для конфискации криптовалют 0

Новость Блокчейн Криптовалюта

До конца 2021 года МВД разработает механизм ареста и конфискации криптовалют. У инициативы две проблемы: сначала криптовалюты нужно легализовать, а затем – заставить иностранные биржи выдать криптовалюту.

26.11.2019    1247    user-programmist    0       

Apple внедрит новую методологию тестирования из-за проблем iOS 13 1

Новость Apple Мобильные приложения

Проблемы iOS 13 заставили Apple изменить подход к выпуску новых версий операционной системы. Новые непроверенные функции ОС можно будет отключить.

26.11.2019    822    VKuser24342747    0       

Новый уровень сложности: «Змейку» скрестили с «Тетрисом» 0

Новость Видеоигры

В магазинах приложений найдутся «Тетрисы» и «Змейки» на любой вкус. Но французский разработчик Грегуар Диварет-Шо пошел дальше: он скрестил две популярные игры в одном окне.

25.11.2019    1081    user1015646    0       

OneScript 1.2.0: разрабатывать скриптовые библиотеки на языке 1С стало проще 34

Новость Языки программирования

В новой версии OneScript 1.2.0 значительно доработан отладчик, реализованы условные директивы препроцессора в зависимости от операционных систем, улучшена диагностика модулей, скомпилированных в exe.

22.11.2019    3685    vikad    11       

Правительство выделит миллиарды рублей на сквозные технологии  0

Новость Инновации Цифровая экономика

Российские разработчики могут претендовать на получение грантов до миллиарда рублей. Субсидии будут выдаваться на конкурсной основе.

22.11.2019    1360    Bukaska    0       

Создатель С++ сожалеет, что код биткоина написан на его языке 2

Новость Блокчейн Криптовалюта

Разработчик языка программирования С++ Бьерн Страуструп считает, что у биткоина нет будущего. Программист сожалеет, что код криптовалюты написан на С++.

20.11.2019    2004    user1015646    0       

GitHub запустил мобильное приложение 2

Новость GitHub

Сервис хранения репозиториев кода GitHub решил запустить мобильное приложение. Оно позволит выполнять основные операции со смартфона, а значит, расширит возможности для разработчиков.

20.11.2019    930    user1015646    0       

Большой отчет GitHub: 40 млн пользователей от США до Антарктиды и победа Python над Java 2

Новость GitHub Языки программирования

Хостинг репозиториев GitHub опубликовал новый годовой отчет – Octoverse 2019. За год аудитория ресурса выросла до 40 млн пользователей, а код на Python стали загружать чаще, чем на Java. 

19.11.2019    1398    user1015646    0       

Российские ИТ-гиганты объединились ради развития рынка искусственного интеллекта 2

Новость Искусственный интеллект

Шесть крупных российских ИТ-компаний договорилось о сотрудничестве в сфере машинного обучения. Альянс займется обучением кадров, помощью в разработке нейросетевых технологий и их продвижением за рубежом.

15.11.2019    2496    VKuser24342747    2       

Языку программирования Go исполнилось 10 лет 3

Новость Google Языки программирования

Десять лет назад компания Google представила многопоточный компилируемый язык программирования Go, или Golang. Разработчики не рассчитывали на успех предприятия, но надеялись привлечь внимание к особому способу структурировать выполнение кода. 

14.11.2019    1814    user1015646    4       

Банк «Ростеха» выделил 520 млн рублей на разработку устройств на «Эльбрусах» 0

Новость Импортозамещение Эльбрус

«Новикомбанк» выделил разработчикам компьютеров на базе «Эльбруса» более полумиллиарда рублей в виде кредитов и банковских гарантий. Эта сумма превышает годовую выручку ИТ-организации. 

14.11.2019    1485    VKuser24342747    0       

Нет ошибкам прошлого: Windows 10 получила очередной большой апдейт 0

Новость Windows Microsoft

Microsoft представила крупное обновление Windows 10, которое исправляет многие проблемы операционной системы. Пользователи смогут получить его в течение двух ближайших недель.

13.11.2019    2101    VKuser24342747    0       

Цифровые подписи в России начнут выдавать дистанционно  0

Новость Минкомсвязь Цифровая подпись

В России запустят эксперимент по дистанционной выдаче облачной электронной подписи. Эксперимент стартует в ноябре 2019 года, а закончится – в декабре 2021 года. 

12.11.2019    2141    user1015646    0       

Google может сделать хранение данных в облаке платным 0

Новость Google Облачные технологии

Google привлек миллиарды потребителей к своим цифровым услугам, предлагая бесплатное облачное хранилище. Gmail, Google Docs, Google Photos и другие сервисы, которые хранят данные на облачных серверах Alphabet, скоро могут стать платными.

11.11.2019    1684    SKravchenko    0       

Правительство предложило запретить зарубежные решения в банках, медицине и промышленности 1

Новость Законодательство Импортозамещение

Минэкономразвития выступило с инициативой запретить использование иностранных программ и «железа» на объектах критической информационной инфраструктуры. Применяемые заграничные решения могут быть заменены на отечественные аналоги. 

08.11.2019    1788    VKuser24342747    1       

Российские разработчики «подарили» Linux драйвер для exFAT  1

Новость Linux Microsoft

Ядро Linux не умеет взаимодействовать с такими накопителями, но благодаря драйверу, разработанному российскими специалистами из Paragon Software, свободная ОС получит поддержку exFAT на уровне ядра.

06.11.2019    1569    user1015646    0       

Необновленные iPhone 5 остались без почты, iCloud и других сервисов 2

Новость Apple

Компания Apple предупредила пользователей iPhone 5 о необходимости обновить ОС до версии  10.3.4 до 3 ноября 2019 года. Те, кто не успел этого сделать, остались без почты, браузера и возможности пользоваться AppStore и iCloud. 

06.11.2019    1538    Bukaska    0