Kalidoface

Kalidoface 3D 简介

Kalidoface 3D 是一款免费的网页应用，用于在浏览器中进行面部和全身追踪，支持 VTuber 直播。它由创意技术专家 Rich Yee（yeemachine）开发，是 Kalidoface 的续作，后者支持 Live2D 虚拟形象。Kalidoface 3D 于 2021 年 7 月 13 日推出，让任何拥有浏览器和网络摄像头的人都能使用 3D VTuber 虚拟形象。该应用支持 VRM 3D 模型，并且免费使用。

核心功能

面部和全身追踪

Kalidoface 3D 使用网络摄像头（或智能手机内置摄像头）追踪面部表情和全身动作，同步眨眼、挥手和姿势与屏幕上的 3D 虚拟形象。用户可以从几个内置的默认虚拟形象中选择，上传自己的 VRM 格式模型，更改虚拟形象背景，并添加太阳镜等装饰，支持正面、背面和侧面等动态摄像机角度。

语音通话

Kalidoface 3D 包含虚拟形象之间的点对点语音通话：用户与朋友共享一个 6 位代码即可开始私人语音通话。通话功能重新设计了自拍和第一人称摄像机模式，此 WebXR 功能在带有陀螺仪的移动设备上效果最佳。

直播和视频通话

Kalidoface 3D 专为直播和视频通话设计：用户可以将网页应用添加到主屏幕以独立全屏使用，或直接在 OBS 中作为浏览器源加载，用于直播和录制。该应用提供色度键背景颜色，用于在 OBS 等软件中进行抠像，还提供可上传、可调整大小的图像/GIF 贴纸作为道具，以便将虚拟形象与其他屏幕内容合成。

技术背景

Kalidoface 3D 的追踪由 Kalidokit 驱动，这是一个开源的 blendshape 和运动学求解器，用于 Mediapipe/TensorFlow.js 的面部、眼睛、姿势和手部追踪模型，由同一位开发者于 2021 年 11 月在 GitHub 上发布。Kalidokit 是 Kalidoface 和 Kalidoface 3D 的核心，专为绑定 3D VRM 模型和 Live2D 虚拟形象而设计；该库现已正式弃用，解决方案已直接集成到 MediaPipe 中。

使用体验

Kalidoface 3D 完全在 PC 和智能手机的网页浏览器中运行，无需安装任何软件，这是创作者为了将类似原生应用的面部捕捉带到浏览器中，并向更多人介绍 VTuber 概念而选择的方法。上传的 VRM 模型、图像背景和贴纸会保存在浏览器本地，因此用户下次访问时无需重新上传。

Kalidoface 3D 可在桌面和移动浏览器上运行，支持全身追踪，但某些浏览器（如 Safari）可能并非在所有情况下都支持全身追踪。评论者称，对于一款纯网页工具来说，它功能出奇地丰富，还提供了仅上半身追踪等额外选项，这降低了 VTuber 活动和虚拟形象使用的门槛。