用计算机视觉模型生成各种各样的图片已经不是什么新鲜的事了,但是最近新出的一款AI绘画模型Stable Diffusion确实惊艳到了各位小伙伴,无论是从软件的使用难度还是绘画生成的结果,都有可圈可点的地方,下面我们就一起尝试用该AI绘画软件画出一幅精美的图片。
第一步:配置Python环境和安装Git软件
Stable Diffusion模型需要在Python3.10.6及以上的环境中才能顺利运行模型,所以在正式安装模型之前,我们需要安装Python3.10.6,下面我介绍在conda环境下安装python虚拟环境并使用在Stable Diffusion模型中的过程:
1、使用conda安装符合条件的python虚拟环境
conda create --name my_python_name python=3.10.8
目前python的环境已经更新到了3.11.2版本了,但是使用上述命令新建一个python=3.11.2版本的环境将无法实现,在错误提示栏中,会出现目前使用conda命令可以现在的版本,选择符合环境配置条件的版本即可;
2、更改环境变量,是计算机目前可以识别的python环境为3.10.8版本的(我的虚拟环境的名字为diffusion),更改结果如下
3、然后下载git,下载网址为Git - Downloading Package (git-scm.com)
第二步:下载Stable-Diffusion模型包
1、在github开源仓库中下载Stable-Diffision-webui包,地址为:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
在下载好模型的压缩包并解压后,出现如下界面,点击红色箭头指向的文件并运行;
点击之后,会弹出一个command窗口,这可能需要花费大量的时间等待模型下载对应的代码包和参数包,在下载的过程中可能会出现各种各样的错误,此时不要惊慌,如果出现错误后有三种办法:
①重新在运行一次;
②如果重新运行还是不行,关闭或者打开魔法上网;
③根据出现错误的提示,手动打开无法下载的网页,然后将下载的数据报放入命令行中提示的目标文件夹下;(比如在安装过程中需要在Stable-diffusion文件夹下手动输入checkpoint文件夹)
2、如果需要中文语言包,可以下载如下中文语言包扩展,下载界面网址为:
GitHub - VinsonLaro/stable-diffusion-webui-chinese: stable-diffusion-webui 的汉化版本
在该网址中用详细的安装和使用方法,如下图:
但是在安装在安装过程中,可能会出现安装的目标文件夹变为:../temp/../stable-diffusion-webui-chinese的情况,如果出现该情况就无法在扩展栏中找到对应的组件,这时只需要把temp文件夹删除,重新下载一次就好。(下载过程中最好魔法上网,下面好多步骤都需要如此,如果模型上网时总是报错,那就关闭魔法上网重试,反正怎么行得通就怎么来);
第三步:人物面部清晰化和人物肤色调调整
按道理,完成第二步,便可以进行AI绘图了,但是,在完成设置完参数和输入prompt描述词后,点击生成图像(如果选择了面部修复和分辨率调整选项)最后生成的图像任务的肤色是灰色的,而且如很有可能在图片生成的最后一刻报错,图片无法顺利生成,这是什么原因呢,这里我列举了两个原因:
①对于面部修复模型codeformer,在第一次生成图像时,由于某些原因,coderformer文件夹下的参数模型下载到一半便突然停止下载了,导致后面运行时,在图像生成过程中不会自动再次下载模型参数,而原来的模型参数不完整,导致模型无法运行,从而面部修补无法进行,组中程序报错,图片无法生成;
②其他软硬件错误,如显存不够,这可以将图片的大小和分辨率调低;
现在步入正题,如何调整任务肤色:
1、在Stable-diffusion-master文件夹下新建一个VAE文件夹,然后下载对应的模型参数放入该文件夹;
stabilityai/sd-vae-ft-mse-original at main
2、在画图界面中的设置栏中选择stable-diffusion选项卡,然后选择模型的VAE属性,选择刚才导入的模型中的一个;
3、保存设置,重新加载UI界面;
4、在更新设置后第一次绘图时,模型还需要重新下载新的模型,这里需要魔法上网,等待几分钟,便可以看到一张美丽冻人的小姐姐出现啦!(当然,参数设置和prompt描述词可以根据自己的喜好在网上搜索呀)