fakeapp что это такое
Работа с программой FakeApp. Шаг №2 — Обучение нейросети
Для обучения существует компьютерная модель, обеспечивающая прорисовку лиц при помощи нейронной сети. Подобные модели предназначены для преобразования заданной пары лиц, однако эти модели также могут быть использованы повторно для внешне схожих лиц, что обеспечит более быстрое обучение.
Создание новой модели
Если вы начинаете проект с самого начала, убедитесь, что вы скопировали новую версию модели из папки C:\FakeApp\ в папку C:\Fakes\, как это происходит в процессе установки FakeApp (см. шаг №1). В противном случае алгоритм будет работать поверх существующей модели глубокого обучения, что в итоге приведет к включению особенностей и других лиц.
Сохранение модели
Если вы запускали FakeApp ранее и хотите бы сохранить существующую модель, скопируйте все содержимое папки C:\Fakes\Model в другое место.
Загрузка модели
Если ранее вы сохраняли модель, то можете скопировать ее в C:\Fakes\Model для дальнейшего обучения. Также допускается использовать моделей, которые могли быть загружены из других источников (если вы столкнулись с подобными файлами).
Начало обучения
Как только вы правильно настроите папку модели, и все выровненные изображения будут очищены и готовы, перейдите на вкладку Train («Обучение»).
Убедитесь, что в именах папок присутствуют правильные косые черты, сам путь также должен содержать косую черту в конце, как показано выше.
Если у вас видеокарта от nVidia моделей GTX 1070 или 1080, вероятно, вы станете использовать иные настройки по умолчанию. Обладатели GTX 1080 смогут увеличить размер пакета (Batch Size) вдвое и поднять количество узлов (Nodes) до 1024 для получения более качественных результатов.
Если у вас небольшое количество виртуальной памяти (VRAM), можете уменьшить размер пакета, количество слоев (Layer) и узлов. Однако уменьшение последних двух параметров сделает компьютерную модель менее точной, что приведет к более низкому качеству. Рекомендуемые настройки таковы: Batch Size = 16 (в настоящее время недопустимы значения ниже), Layers = 4, затем начинаем уменьшать Nodes вдвое (512, 256, 128, 64 и т. д.).
Для самого ограниченного количества VRAM (2 Гб в настройках), которые пользователи подобрали опытным путем, настройки будут таковыми: Batch Size = 64, Layers = 1, Nodes = 128); или Batch Size = 32, Layers = 2, Nodes = 32; или Batch Size = 16, Layers = 2, Nodes = 64.
Для запуска можете просто использовать настройки по умолчанию.
Для достижения оптимальной производительности потребуется закрыть все прочие приложения, затем щелкнуть по кнопке Start. В открывшемся окне вы можете наблюдать различные команды, где первая строка укажет на использование TensorFlow («Using TensorFlow backend»), ниже размещается дополнительный текст.
Как показано выше, обладатели некоторых видеокарт могут столкнуться с предупреждением «Not a failure» («Не является неисправностью»). Это не говорит об ошибке, внимания на эту надпись обращать не следует.
Если в командной строке присутствуют ошибки, наиболее распространенная причина этого – нехватка памяти. Если видна надпись «OOM» (на снимке экрана показана красным цветом), это означает, что потребуется отрегулировать параметры Batch Size, Layers или Nodes, после чего повторить попытку. Обладателям менее производительных видеокарт придется повозиться с оптимизацией данных настроек. Как только обучение будет успешно начато, вы увидите миниатюрные изображения предварительного просмотра.
На первых шести столбцах изображений предпросмотра видно, что лицо A трансформируется в лицо B, и, напротив, в последних шести столбцах происходит противоположное. В каждой группе из трех изображений крайнее левое – исходная картинка, среднее изображение – это модель, пытающаяся трансформировать исходное изображение, а правая картинка – прогнозируемый результат преобразования.
Можно смотреть лишь на самое правое изображение, чтобы увидеть, когда оно начинает выглядеть как более-менее детализированное желаемое лицо. Как правило, требуется не менее нескольких часов (а то и больше) для достижения удовлетворительного уровня обучения модели.
Для любого выбранного окна вы можете нажать клавишу «q», в этом случае обучение будет завершено, а результат сохранен.
Мониторинг и обучение
В дополнение к предпросмотру миниаютр вы увидите изменяющийся список значений потерь, который отображается в командном окне. Меньшие значения потерь указывают на наличие высококачественной модели. В идеале вы должны стремиться к значениям потерь ниже 0,02. Если значения потерь ниже 0,02, а трансформированные лица выглядят неважно, могут потребоваться более качественные данные для обучения, или сложность вашей модели слишком низка.
Остановить обучение можно тогда, когда результат вас удовлетворит – кнопкой «q», как было описано выше.
Вы можете изменить изображения для обучения (убедитесь, что вы правильно разархивировали и очистили обучающий набор), чтобы продолжить обучение позже, если требуется сохранить файлы модели. Обязательно используйте одни и те же параметры слоев и узлов (Layers и Nodes), если вы решите продолжить обучение позже.
Пошаговая инструкция по установке программы
Минимальные требования к компьютеру
Для запуска требуется одна из современных версий Windows.
Минимальные требования к аппаратной части
Даже если Ваша система удовлетворяет минимальным требованиям, есть вероятность, что FakeApp не сможет правильно на ней запуститься. Для корректной работы FakeApp рекомендуется использовать следующую конфигурацию:
Рекомендуемые требования к аппаратной части
Установка программного обеспечения
Помимо самой программы, также необходимо скачать ряд дополнительных программ и библиотек.
Установка CUDA 8.0 (обязательно)
Скачайте установочный файл CUDA 8.0 с сайта NVIDIA по ссылке ниже Выберите соответствующую версию Windows (для примера в руководстве используется Windows 10) и скачайте дистрибутив, нажав Download. Также можете скачать патч (Patch 2) по второй ссылке.
Запустите основной установочный файл. Нужно будет указать папку для извлечения временных файлов установщика. Если на Вашем системном диске достаточно места, можете оставить путь по умолчанию. Процесс извлечения может идти медленнее, чем обычно, если Вы используете антивирусное ПО.
Установщик проверит Вашу систему на соответствие необходимым требованиям. Этот процесс обычно занимает около минуты. Если данный шаг пройден не будет, значит, Ваша система несовместима с CUDA 8.0, и продолжить установку Вы не сможете.
Далее выберите Экспресс-установку (Express installation), чтобы все параметры были установлены по умолчанию, и нажмите «Далее». Если в системе установлена предыдущая версия CUDA, она будет удалена перед установкой CUDA 8.0.
После завершения установки Вы можете запустить установщик патча. При установке также выберите Express installation.
Путь к папке CUDA должен автоматически добавиться в переменную среды PATH при установке, но лучше это проверить и внести его вручную, если что-то пошло не так.
Нажмите клавишу Windows на клавиатуре либо щёлкните левой кнопкой мыши по значку поиска в панели задач и наберите слово среды (по английски будет environment)
Выберите вариант, предлагаемый системой (Изменение системных переменных среды). Откроется окно «Свойства системы». Здесь щёлкните по кнопке «Переменные среды…» справа внизу.
В появившемся окне прокрутите нижний список до строки Path. Выделите эту строку и нажмите «Изменить…».
В открывшемся списке должны присутствовать две строчки, относящиеся к CUDA, как на скриншоте:
Если они есть, закройте открытые окна и переходите к следующему шагу. В противном случае Вам придётся дописать их вручную. Для этого щёлкните кнопку «Создать» и введите путь к папке bin, после чего нажмите ОК. Далее аналогично повторите для папки libnvvp.
Папки bin и libnvvp находятся внутри папки, которая была выбрана при установке CUDA. Если при установке все настройки были выбраны по умолчанию, пути будут следующими:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\libnvvp
В ином случае Вам нужно будет вписать реальные пути, по которым расположены папки bin и libnvvp.
На этом установка CUDA 8.0 завершена.
Установка FakeApp (обязательно)
Перед установкой FakeApp убедитесь, что установка CUDA 8.0 Toolkit завершилась успешно и пути к папкам CUDA прописаны в переменной PATH.
Скачайте zip-архив с FakeApp отсюда.
Извлеките архив в корень диска C:\. После извлечения в папке C:\FakeApp должно быть три папки и два файла, как на скриншоте:
Создайте папку в корне диска C:\ и назовите её fakes. Внутри этой папки создайте ещё две папки и назовите их data_A и data_B. После этого скопируйте (именно СКОПИРУЙТЕ, а не переместите) папку model из папки C:\FakeApp в папку C:\fakes. В результате в папке C:\fakes должно быть три папки, как на скриншоте:
Для запуска программы нужно дважды щёлкнуть по файлу fakeapp.bat в папке C:\FakeApp.
Установка FFmpeg (крайне рекомендуется)
FFmpeg — бесплатная программа для обработки видео, которая имеет множество настроек (новичкам может быть сложно в ней разобраться). Последнюю версию программы можно скачать по ссылке ниже. Для Windows 10 установите параметры, как на скриншоте:
Извлеките архив в любую папку по своему усмотрению. После извлечения Вам необходимо добавить путь к этой папке в переменную PATH, точно так же, как Вы делали при установке CUDA 8.0 Toolkit. В данном случае это нужно сделать вручную, т.к. путь не добавляется в переменную автоматически.
К примеру, если Вы извлекли архив с FFmpeg в корень диска C:\, путь к программе будет выглядеть примерно так:
Этот путь Вам и нужно добавить к переменной PATH.
Далее в примере будет рассмотрено, как использовать FFmpeg для извлечения отдельных кадров из видео и для склейки видео из отдельных кадров.
Установка Lightning Image Resizer (опционально)
Перейдите по ссылке ниже, далее — на вкладку Download и скачайте программу по любой из ссылок.
Lightning Image Resizer запускается без установки, поэтому можно извлечь его в любую папку по своему усмотрению. Для запуска нужно дважды щёлкнуть по файлу LIR.exe.
Рассмотрим, как использовать Lightning Image Resizer для уменьшения размера фотографий.
Выделите фотографии, которые нужно уменьшить, и перетащите их в область, указанную на скриншоте цифрой (1). Можно также выбрать папку с фотографиями или отдельные фотографии с помощью кнопок «Source folder» и «Source files».
Выберите формат изображений jpg (2), максимальное разрешение (3) установите в Largest и укажите 900 пикселей. Если у Вас мощный компьютер, можно установить большее значение.
В группе File name addition (4) установите пункт «prefix» и впишите символы, которые будут добавляться в названия выходных файлов. В примере на скриншоте названия выходных файлов будут начинаться со слова resize.
В поле Destination (5) укажите папку, в которую будут сохраняться уменьшенные фотографии. Остальные галочки (6) установите, как на скриншоте, и нажмите кнопку Start (7), чтобы начать процесс уменьшения.
Установка Daum PotPlayer (опционально)
PotPlayer — видеоплеер с большими возможностями. Его также можно использовать для извлечения кадров из видео, как и FFmpeg.
Перейдите на страницу скачивания PotPlayer и скачайте соответствующую версию. Запустите установщик и следуйте его указаниям. Если Вы не хотите, чтобы файлы видео были ассоциированы с PotPlayer, выберите «Сохранить существующие ассоциации» при установке:
Для извлечения всех кадров из видеофайла предпочтительно использовать FFmpeg, т.к. PotPlayer довольно странно называет файлы при извлечении, и при последующем создании видео из отдельных кадров могут возникнуть сложности, особенно у новичков.
Но для обучения модели на коротких фрагментах (продолжительностью 1-3 секунды) проще и быстрее извлечь кадры с помощью PotPlayer. Вот как это делается:
Откройте файл видео, перетащив его на окно PotPlayer. Перемотайте видео к началу фрагмента, кадры которого Вы хотите извлечь, и нажмите на паузу.
Далее нажмите Ctrl+G на клавиатуре. Откроется окно Consecutive Image Capturer, как на скриншоте выше.
В поле (1) укажите папку, в которую будут извлечены кадры. В списке (2) можно выбрать способ, по которому будут формироваться названия выходных файлов, но учтите, что названия файлов не всегда будут идти по порядку, какой способ Вы бы ни выбрали. Именно поэтому для работы с конечным видео (полным видео, в котором будет изменённое лицо) рекомендуется использовать FFmpeg, а PotPlayer — только для обучения модели на коротких фрагментах.
В поле (3) можно выбрать формат выходного файла. Я рекомендую ставить JPEG со 100% качеством, т.к. иногда FakeApp выдаёт ошибки при работе с PNG. Далее можно сразу установить разрешение извлечённых кадров (4), чтобы не пришлось потом прогонять их через программу уменьшения.
В поле (5) можно указать, сколько кадров нужно извлечь, а также частоту извлечения. На скриншоте указаны параметры для извлечения следующих 1000 кадров. Можно уменьшить частоту, установив, например, «Every # frame» в 10 — так будет извлечён каждый 10 кадр. Другой способ уменьшить или увеличить частоту — указать, сколько миллисекунд должно пройти между двумя извлечёнными кадрами (поле «Every # ms»).
После того, как всё настроено, нажмите Start (6) для запуска процесса. Продолжите воспроизведение видео в плеере, а затем снова поставьте на паузу после просмотра нужного фрагмента. Откройте папку, которую Вы указали в настройках. В ней Вы должны увидеть нужные кадры.
Теперь можно переходить к использованию программы
Работа с программой FakeApp. Шаг №1 — Извлечение данных
После открытия FakeApp, первый шаг, который вам будет необходимо сделать – это извлечение. Во время шага «извлечение» лица вырезаются из ваших тренировочных изображений и выравниваются.
Подготовка тренировочной информации
Необходимо подготовить два комплекта тренировочных изображений. В комплекте «А» будет оригинальное лицо, которое вы хотите заменить. В комплекте «Б» будет лицо, которое вы вставите в комплект «А». Помните, что «А» — оригинал, «Б» — желаемое лицо.
Вы должны собрать как минимум несколько сотен изображений Лица «А» и Лица «Б». В идеале, лица должны быть похожими. Легче всего поменять лица, если Лицо «А», оригинал, смотрит вперёд всё время. Тогда всё, чему нужно будет научить компьютер – это как нарисовать Лицо «Б» смотрящим вперёд. Однако, так как большинство лиц двигаются во время видео, этот случай маловероятен, так что будет нужно предоставить фото с различных углов и с различным освещением, чтобы научить компьютерную модель предугадывать вид лица в различных условиях.
Вы можете извлечь изображения из сегментов видео, используя PotPlayer, как описано выше, чтобы сгенерировать изображения с различными углами и выражениями лица. Вы должны избегать изображений, где лица закрыты волосами, очками, руками или другими препятствиями. Мы также рекомендуем вам убрать все изображения с более чем одним лицом. Также вы можете отредактировать изображения с более чем одним лицом, удалив все другие, ненужные вам, лица.
Важно иметь хорошо составленный комплект информации. Разнообразие и качество важнее большого количества тренировочных изображений.
Измените размер всех ваших изображений, используя Lightning Image Resizer, как описано выше, или другой метод, до размера 1280×720 или меньше. Позднее, если случатся проблемы с памятью во время извлечения, вы можете снизить размер до 900×900 или меньше.
Подготовка целевого видеоклипа
Скорее всего, у вас будет определённый видеоклип для Лица «А», которое вы хотите заменить. Убедитесь, что вы включили изображения из этого клипа в ваш тренировочный комплект. Некоторые тренируют компьютерную модель на множестве общих изображений лица, прежде чем тренировать на определённом клипе.
Для вашей первой попытки вы должны просто извлечь все кадры из целевого клипа и использовать их как тренировочную информацию для Лица «А». Вы должны начать с короткого клипа длиной около 10 секунд. Если вы установили FFmpeg и обновили PATH, как описано в статье, вы можете извлечь абсолютно все кадры для замены из этого видеоклипа, используя FFmpeg.
Введите «cmd» в окно поиска Windows. Нажмите Enter, чтобы открыть командную строку.
Введите «cd \» без кавычек, чтобы вернуть корневую директорию C:\. Введите «cd папка», где папка – имя полного пути до вашего видеоклипа. В показанном выше примере файл видео назван clip.mp4 и находится в C:\proj. Находясь в директории с видеофайлом, введите:
Здесь имя клипа – имя видеофайла, фреймрейт – частота кадров извлечения (используйте 25, если неуверены), и имя изображения – префиксное имя для вашей серии изображений. “%04d означает, что файлы изображений сформируют серию, заполненную нулями, чтобы получить 4 десятичных места, таких как name0001.jpg, name0002.jpg, name0003.jpg, и так далее.
Наблюдайте за прогрессом извлечения кадров.
Измените размер всех ваших изображений, используя Lightning Image Resizer, как описано выше, или другой метод, до размера 1280×720 или меньше. Позднее, если случатся проблемы с памятью во время извлечения, вы можете снизить размер до 900×900 или меньше.
Извлечение оригинального лица
Скопируйте все изменённые изображения для Лица «А» в директорию C:\fakes\data_A. Эта директория должна уже быть создана, если вы установили FakeApp, согласно указаниям выше. Убедитесь, что в этой директории нет других изображений
Запустите FakeApp с помощью fakeapp.bat. Нажмите на вкладку Extract.
В диалоговом окне Data path, обозначенном «1» на примере выше, введите «C:/fakes/data_A/» без кавычек. Заметьте, что слеши здесь вправо, а не как обычно в Windows, влево. Также заметьте, что здесь есть слеш в конце. В окне, обозначенном «2», вы можете определить тип файла jpg или png, в зависимости от того, что вы использовали для тренировочного комплекта информации.
Можете попробовать png изображения, и, если будут ошибки, используйте jpg изображения.
Убедитесь, что все изображения в вашем тренировочном комплекте корректного типа. В окне «3» можете определить, одно лицо на изображениях или несколько. Рекомендуем оставить здесь значение «false», и для начала использовать только тренировочные комплекты с одним лицом.
В окне «4» вы можете определить, что вы хотите использовать для обработки изображений: GPU или CPU. Если ваш компьютер соответствует минимальным системным требованиям, вам следует оставить эту опцию по умолчанию, так как с GPU будет намного быстрее. Однако, CPU также могут проводить процессы Extract и Convert за разумные периоды времени.
Нажмите кнопку Start.
Появится новое командное окно. Если вы видите что-то похожее на окно выше, вы успешно извлекли лица для вашей тренировочной информации. В примере выше было всего 2 изображения, весь процесс может занять 10-30 минут, в зависимости от количества изображений и спецификаций вашего компьютера. RuntimeError в первой строке – это нормально, эта ошибка появляется всегда. Иногда алгоритм будет не в силах обнаружить лицо. Это будет отмечено в командной строке, и процесс перейдёт к следующему изображению. Это не проблема, если ваш тренировочный комплект информации большой.
Если увидите такое сообщение, как показано выше, извлечение лиц закончилось неудачно из-за ошибки «недостаточно памяти». Вам нужно уменьшить размер тренировочных изображений и попробовать ещё раз. Рекомендуется использовать наибольший размер изображений, с которым справляется ваша память, так что не снижайте размер слишком сильно. Вы можете снизить размер примерно до 900×900. С этим размером у большинства пользователей получается удачный исход.
Если вы видите ошибку о torch._C import, как показано выше, необходимо установить обновлённую версию Visual C++ Redistributable.
Извлечение желаемого лица
Скопируйте все изменённые изображения для Лица «Б» в директорию C:\fakes\data_B. Повторите всё по инструкции выше, но замените текст в диалоговом окне во вкладке Extract на корректный путь к data_b со слешами вправо.
Чистка извлечённой информации
Когда вы успешно извлекли оба комплекта информации, вручную проверьте извлечённые изображения лиц, чтобы убрать неудачные. Будет новая папка «aligned» в C:\fakes\data_A\aligned и C:\fakes\data_B\aligned. Уберите (удалите файлы) все очевидные ошибки в обнаружении лиц. Уберите лица, частично закрытые и имеющие крайние условия освещения. Важно иметь чистый комплект тренировочной информации для наилучших результатов.
FakeApp (программа для подмены лиц в видео)
FakeApp — разработанная пользователем Reddit программа, которая при помощи нейросетей анализирует оригинальные лица людей, а затем пытается превратить их в выбранные пользователем лица знаменитостей. В основе приложения лежат открытые инструменты машинного обучения и библиотеки Keras и TensorFlow.
Содержание
2018: Использование в сфабрикованном видеообращении Обамы
В апреле 2018 года режиссер Джордан Пил (Jordan Peele) смонтировал при помощи приложения FakeApp видео, в котором бывший президент США Барак Обама якобы обзывает действующего американского лидера Дональда Трампа. Таким образом, Пил решил показать, к чему может привести развитие технологий и как будут выглядеть фейковые новости.
В сфабрикованном видеообращении Обамы он называет Трампа «засранцем» и сообщает, что злодей Киллмонгер из «Черной Пантеры» был прав. Голос бывшего президент сымитировал сам Джордан Пил.
Помимо FakeApp, в процессе монтажа использовалось программное обеспечение Adobe After Effects, предназначенное для редактирования видео и динамических изображений, разработки композиций, анимации и использования различных эффектов. Отмечается, что при создании видео потребовалось около 56 часов автоматической обработки под контролем специалиста по спецэффектам.
Ранее в апреле 2018 года в интернете появилось подобное видео, где основатель социальной сети Facebook Марк Цукерберг якобы говорит, что закрывает сайт и собирается сделать сервис платной.
Однако если увеличить изображение Цукерберга в области рта, можно заметить, что движение его губ не совпадает с тем, что он говорит. На самом деле основатель соцсети не заявлял ничего подобного, новость была сфабрикована. [1]
О возможности подмене лиц в своем романе Generation «П» писал Виктор Пелевин:
2017: Наложение лиц знаменитостей на тела порноактрис
В декабре 2017 года в интернете появилось порноролик якобы с участием известный актрисы Галь Гадот. Однако в действительности на видео было тело порноактрисы, лицо которой с помощью искусственного интеллекта заменили на лицо голливудской кинозвезды. Подробнее здесь.