Stable Diffusion: плагин HandRefiner исправляющий пальцы на картинках

Stable Diffusion давно используется в интернете многими людьми в качестве повседневного художника. С момента его создания, всегда была одна большая проблема — кривые руки (больше 5 пальцев, вывернутые кисти и т.д), которую все никак не могут решить, конечно уже и появляются различные фиксы, которые потихоньку исправляют это, и вот появился он HandRefiner — плагин устраняющий практически все проблемы свзяанные с руками.

HandRefiner использует подход условной зарисовки для исправления деформированных рук, оставляя при этом другие части изображения нетронутыми. Он использует модель реконструкции самой сетки рук (топологии), которая постоянно соответствует правильному количеству пальцев и форме руки, а также способен вписать желаемую позу руки уже в сгенерированное вами изображение:

Как и любой метод, данная функция также имеет свои пределы. Если исходные руки настолько плохи, что их невозможно разглядеть человеческим глазом, то нейронным сетям практически невозможно вписаться в разумную сетку. Также из-за подгоночного характера метода мы не корректируем размер руки. Таким образом, если у вас есть гигантская деформированная рука на исходном изображении, вы все равно получите гигантскую руку на исправленном изображении. Таким образом, можно исправить деформированные руки, придав им форму руки и соответствующий размер.
Для исправления одного изображения:

python handrefiner.py --input_img test/1.jpg --out_dir output --strength 0.55 --weights models/inpaint_depth_control.ckpt --prompt "a man facing the camera, making a hand gesture, indoor" --seed 1

Для многократного исправления изображения:

python handrefiner.py --input_dir test --out_dir output --strength 0.55 --weights models/inpaint_depth_control.ckpt --prompt_file test/test.json --seed 1

Всю информацию про HandRefiner можно прочитать на оффициальном репозитории. А все об установке можете прочитать тут. Данный плагин спасает множество картинок сгенерированных вами, а именно исправляет 6-ти палых людей:

На этом все надеюсь эта статья помогла Вам с решением проблемы!