RealChar 是一个开源的实时 AI 角色/伴侣创建与对话平台,口号是“一站式代码库”。它允许用户创建、自定义并实时与 AI 角色对话,支持在移动端、网页和终端上与 AI 进行自然无缝的交流。
【主要用途】
- 创建并定制自己的 AI 角色或伴侣,无需编码。
- 与 AI 角色进行实时语音或文字对话。
- 作为学习 AI 工程的模块化项目,便于替换和实验不同组件。
【主要能力】
- 实时对话:支持通过网页、终端和移动端与 AI 角色实时交谈或发消息。
- 高度可定制:可自定义 AI 角色的性格、背景,甚至声音(通过 ElevenLabs 语音克隆)。
- 多平台支持:网页(React JS、Vanilla JS、WebSockets)、移动端(Swift、WebSockets)、终端。
- 最新 AI 技术:集成 OpenAI GPT3.5/4、Anthropic Claude 2、Anyscale Llama2、Chroma、Whisper、ElevenLabs 等。
- 模块化:可轻松替换不同模块以自定义流程,灵活性高。
- 语音转文字:支持本地 WhisperX、本地 Whisper、OpenAI Whisper API、Google Speech to Text。
- 文字转语音:支持 ElevenLabs、Edge TTS、Google Text to Speech。
- 语音克隆:通过 ElevenLabs 实现。
- 后端与数据:FastAPI、SQLite、Docker、LlamaIndex、Chroma、LangChain。
【使用方式】 可通过 Docker 快速安装:复制 .env.example 为 .env 并填入 API 密钥(单个 ReByte 或 OpenAI API 密钥即可开始),然后运行 docker compose up,打开 http://localhost:3000 即可使用。 开发者也可通过 Python 安装:克隆仓库、安装 portaudio 和 ffmpeg 等依赖、创建 SQLite 数据库、运行数据库升级、配置 .env、启动后端(python cli.py run-uvicorn 或 uvicorn realtime_ai_character.main:app)、启动前端(网页客户端位于 client/next-web,终端客户端为 python client/cli.py,移动端需在 Xcode 中打开项目)。 使用 GPT4 可获得更好对话效果,建议佩戴耳机避免回声。远程连接 RealChar 服务器需要配置 SSL。
【适用场景】
- 个人娱乐:与圣诞老人、AI 埃隆·马斯克等角色对话。
- AI 学习与实验:作为模块化项目学习 AI 工程。
- 多平台 AI 助手部署:在网页、移动端或终端集成 AI 角色。
【限制】 部分功能(如更低对话延迟、持久对话、会话管理、支持 Agents/GPTs、额外 TTS 服务)由 ReByte 平台提供。Twilio 电话集成目前仅支持美国电话号码和 ElevenLabs 语音角色。若需使用登录系统,可免费获取 Firebase OAuth2 登录。
【API 配置】 项目支持多种可选的 API 密钥配置,包括 ReByte、OpenAI、Anthropic (Claude 2)、Anyscale、Google Speech-to-Text、OpenAI Whisper、ElevenLabs、Google Text-to-Speech 等,用户可根据需要填写。默认文字转语音使用免费的 Edge TTS。
【创建角色】 可在本地创建角色(参见 realtime_ai_character/character_catalog/README.md),或通过 ReByte.ai 创建(参见 docs/rebyte_agent_clone_instructions.md)。
项目欢迎贡献,提供贡献指南和 Discord 社区。