在百度做推广送网站好吗,金融网站建设,网站建设先修课程,建设项目咨询公司网站电脑配置
GPU12G#xff0c;如果自己电脑配置不够#xff0c;选择云gpu#xff0c;我就是用的这个#xff0c;自己电脑太老配置跟不上
环境#xff1a;
Python 3.11.8
torch 2.2.1
cuda_12.1
资源提供#xff1a; 链接#xff1a;https://pan.baidu.com/s/1_idZbF…电脑配置
GPU12G如果自己电脑配置不够选择云gpu我就是用的这个自己电脑太老配置跟不上
环境
Python 3.11.8
torch 2.2.1
cuda_12.1
资源提供 链接https://pan.baidu.com/s/1_idZbFSl4W12ZooBaRJOpA 提取码7x21 muse/data数据支持防止到models中对应位置
muse/ComfyUI.ZIP完整包包括 ComfyUIComfyUI-ManagerMuseV资源MuseTalk资源差不多就是直接用这个资源就行了包含了所有
一、ComfyUI
https://github.com/comfyanonymous/ComfyUI.git 安装
pip install -r requirements.txt 启动服务
python main.py --listen0.0.0.0 --port8080
二、ComfyUI-Manager
https://github.com/ltdrdata/ComfyUI-Manager.git 将ComfyUI-Manager移动到ComfyUI/custom_nodes下
三、ComfyUI-MuseV
GitHub - chaojie/ComfyUI-MuseV
通过ComfyUI-Manager安装musev 下载MuseV需要的models
huggingface-cli download --resume-download TMElyralab/MuseV --local-dir ComfyUI/models/diffusers/TMElyralab/MuseV
四、ComfyUI-MuseTalk
GitHub - chaojie/ComfyUI-MuseTalk
安装ComfyUI-MuseTalk 下载Talk相关model Download our trained weights. Download the weights of other components: sd-vae-ft-msewhisperdwposeface-parse-bisentresnet18
文件列表:
ComfyUI/models/diffusers/TMElyralab/MuseTalk/
├── musetalk
│ └── musetalk.json
│ └── pytorch_model.bin
├── dwpose
│ └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│ ├── 79999_iter.pth
│ └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│ ├── config.json
│ └── diffusion_pytorch_model.bin
└── whisper└── tiny.pt 安装完后会提示web页面会提示重启不过会有很多其它的问题后面有各种问题的解决方案。
通过右边菜单load加载从https://github.com/chaojie/ComfyUI-MuseTalk/blob/main/wf.json 下载的文件。
并且上传视频和音频视频可以从浏览器上传但是音频需要手动上传到服务器的后台填写绝对路径。
最后点击Queue Prompt 等待几分钟最终得到如图结果 这里有点意思是需要把frame_rate设置成8并且需要设置音频文件的end时间
五、使用总结
Musev使用部分还行有的会出现shutterstock水印有的会出现视频中多一只手视频中人物换成另一个体验下来并不是有多好多好感觉离github上效果还是蛮大的
MuseTalk比Wav2lip效果好点吧下巴位置模糊一些给人的感觉像是wav2lip的升级版由底部透明方框变成了把方框模糊的感觉
最后这两个工具如果想直接用个人感觉不太现实如果想在AI上研究还是可以的如果想做自媒体还是去找国外的平台吧可能需要点钱不过比用开源的好多的。测试了几款开源数字人还没遇到好用的包括最新出来的Hallo
错误解决
musev出现问题
1 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named omegaconf
pip install omegaconf
2 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named pandas
pip install pandas
3 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named sklearn
pip install scikit-learn
4 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named librosa
pip install librosa
5 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named ffmpeg
pip install ffmpeg
6 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named easydict
pip install easydict
7 ModuleNotFoundError: No module named ip_adapter
pip install ip_adapter
8 ImportError: cannot import name StableDiffusionPipeline from diffusers (unknown location)
pip install diffusers9 ModuleNotFoundError: No module named xformers
pip install xformers
10 RuntimeError: operator torchvision::nms does not exist
pip install torch torchvision --upgrade
11 ImportError: cannot import name ProjPlusModel from ip_adapter.ip_adapter_faceid
pip uninstall ip_adapter
pip install githttps://github.com/tencent-ailab/IP-Adapter.git
12 ModuleNotFoundError: No module named skimage
pip install scikit-image
13 ModuleNotFoundError: No module named timm
pip install timm
musetalk问题
1 ModuleNotFoundError: No module named mmcv
pip install mmcv2.0.0rc4,2.2.02 ModuleNotFoundError: No module named mmdet
pip install mmdet
3 RuntimeWarning: Couldnt find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn(Couldnt find ffmpeg or avconv - defaulting to ffmpeg, but may not work, RuntimeWarning)
sudo apt install ffmpeg
4 AttributeError: module ffmpeg has no attribute Error
卸载低版本的ffmpeg
pip uninstall ffmpeg
pip uninstall ffmpeg_python
重新安装
pip install ffmpeg-python
参考文档
版本匹配Installation — mmcv 2.2.0 文档
训练数据https://civitai.com/user/impactframes
听说最近又出了一款比较好的图片数字人的开源工具不过还没有测试
GitHub - fudan-generative-vision/hallo: Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation
