Source code 開源:以 NVIDIA Audio2Face 和 ChatGPT 建立一個可問答互動 的虛擬人

可互動虛擬人展示

以下是我使用NVIDIA Audio2Face和ChatGPT創建基本互動虛擬人的結果。用戶可以通過語音輸入與其互動並進行交流。

前言

這是對我之前發布的文章的更新,介紹了一個簡單的互動對話虛擬人技術。距離我上次寫這個已經過去了一年,我終於有時間發布新的內容了。

在過去的一年中,Audio2Face有了重大改進,同時還推出了ChatGPT。借助這些方便的人工智慧工具,創建更具說服力和逼真的虛擬人體驗變得比以往更容易。

Source Code

我已經在我的GitHub存儲庫上發布了此微型項目的 source code。使用者可以從此連結進行下載使用:

系统要求

元件 演示中使用的配置
OS Ubuntu 22.04
CPU Intel I9, 13900
RAM 96 GB
硬碟 2TB SSD
GPU RTX 4090

如何使用 Source Code 創建虛擬助手體驗

  1. 構建虛擬環境
    使用此GitHub存儲庫構建虛擬人很簡單。只需使用Anaconda創建一個Python虛擬環境,並使用avatar_requirements.yml。

  2. 使用NVIDIA Audio2Face打開附帶的USD文件
    使用NVIDIA Audio2Face(版本2023.1.0)打開USD_files文件夾中的claire_audio_streaming.usd文件。

  3. 運行IPython筆記本
    最後,激活Python虛擬環境並運行build-an-avatar-with-ASR-TTS-ChatGPTOmniverse-Audio2Face.ipynb。

請注意,您需要擁有 ChatGPT 的帳戶與 token,才能在build-an-avatar-with-ASR-TTS-ChatGPTOmniverse-Audio2Face.ipynb筆記本中使用ChatGPT API。有關如何獲取 token 的說明可以在筆記本中找到。

完成上述步驟後,就可以開始體驗這個簡單的虛擬人應用。

未來有空時,我將在 GitHub repo 和這篇文章中更新文檔,以提供更多關於開發過程的詳細信息。希望這個內容對你有所幫助!

1 Like

您好,想请教一下前面所有都搭建成功了,在用麦克风传递信息时候也能检测到语音转文字,可是却链接不上openai,发生了下面的错误,
到最后一步时候一直提示ConnectionError: HTTPSConnectionPool(host=‘bypass.churchless.tech’, port=443): Max retries exceeded with url: /conversation (Caused by NewConnectionError(‘<urllib3.connection.HTTPSConnection object at 0x0000021EEC697940>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed’)) 对于这个错误,我把本地防火墙关了。开了VPN设置了DNS8.8.8.8
还是提示同样的错误,
于是我尝试https://github.com/Ice-Hazymoon/openai-scf-proxy/releases/tag/0.0.3根据这个搭建了一个chatgpt 反向代理服务器是否要把这个更改替换到# Define the default audio2face URL and port.
default_url = ‘https://service-xxxxxxx-xxxxxxx.sg.tencentapigw.com/
default_port = 443

sample_rate = 22050 # Replace ‘22050’ with the desired audio frame rate (samples per second).

a2f_avatar_instance = ‘/World/audio2face/PlayerStreaming’

port = default_port

a2f_url = f’{default_url}:{port}’
default_url = ’ ‘ 呢
但是改完还是提示(host=‘bypass.churchless.tech’, port=443)这个域名解释不到。。还有哪些文件需要修改这个域名吗。麻烦指点一下哈。感激不尽

抱歉,一陣子沒有上開發者論壇了、現在才看到訊息 請見諒
我想這個問題可能是因為 OpenAI 的 API 有變更,導致 revchatgpt 這個套件無法作用造成的…
要解決這個問題需要視 revchatgpt 套件是否有針對此狀況更新,或者改用 OpenAI 官方的 API