LiveTalking，实时交互数字人，支持ernerf、musetalk、wav2lip多种模型

发布日期：2025/1/2 23:05:50      浏览量：

LiveTalking，实时交互数字人，支持ernerf、musetalk、wav2lip多种模型

实时交互数字人，支持ernerf、musetalk、wav2lip多种模型
1, 在服务端运行如下指令
1.1 启动tts服务

conda activate sovits cd /workspace/GPT-SoVITS python api_v2.py 
	

		
	

1.2 启动数字人服务

conda activate nerfstream cd /workspace/LiveTalking 
	

		
	

然后根据不同数字人模型运行如下指令

• ernerf：python app.py --transport webrtc --tts gpt-sovits --TTS_SERVER http://127.0.0.1:9880 --REF_FILE ~/zero_shot_prompt.wav --REF_TEXT 希望你以后能够做的比我还好呦
• museltalk：python app.py --model musetalk --transport webrtc --tts gpt-sovits --TTS_SERVER http://127.0.0.1:9880 --REF_FILE ~/zero_shot_prompt.wav --REF_TEXT 希望你以后能够做的比我还好呦
• wav2lip：python app.py --transport webrtc --model wav2lip --avatar_id wav2lip_avatar1 --tts gpt-sovits --TTS_SERVER http://127.0.0.1:9880 --REF_FILE ~/zero_shot_prompt.wav --REF_TEXT 希望你以后能够做的比我还好呦

2，最后在浏览器里打开 http://serverip:8010/webrtcapi.html
点击start，能看到数字人视频。然后输入文字并点击send，数字人会播报文字

防火墙端口开放tcp 8010，udp 50000-51000

更多详细使用 https://livetalking-doc.readthedocs.io/
开源项目地址 https://github.com/lipku/LiveTalking