音频驱动数字人训练测试

发布日期：2024/11/1 19:05:09      浏览量：

音频驱动数字人训练测试

参考代码顺序如下：

ffmpeg -i ssss.mp4 -acodec pcm_s16le -f s16le -ac 1 -ar 16000 -f wav ssss.wav
------------------------------------------------------------------------------

python process.py "luoluo.mp4" --asr hubert


python syncnet.py --save_dir ./syncnet_ckpt/ --dataset_dir ./data_dir/ --asr hubert


python train.py --dataset_dir ./data_dir/ --save_dir ./checkpoint/ --asr hubert --use_syncnet --syncnet_checkpoint ./syncnet_ckpt/39.pth


python data_utils/hubert.py --wav "D:\Program Files\Git\Ultralight-Digital-Human\data_utils\aud.wav"


python data_utils/hubert.py --wav "vvvv.wav"


python inference.py --asr hubert --dataset ./data_dir/ --audio_feat vvvv_hu.npy --save_path luoluo_11.mp4 --checkpoint "D:\Program Files\Git\Ultralight-Digital-Human\checkpoint\190.pth"





ffmpeg -i "luoluo_11.mp4" -i "vvvv.wav" -c:v libx264 -c:a aac luoluo_result.mp4