作品

AI 驅動的沉浸式 VR 人機互動模擬系統設計實作
  • 作者:
    呂友瑄
  • 指導:
    宋立文
  • 創作方式:
    研究
  • 發表時間:
    2025
  • 連結:
    全文

關鍵詞 : 虛擬實境、智慧代理人、語音互動、 API、AI-driven NPC、Digital Twin、Unity、沈浸式體驗

摘要：

本專案主要採用 Unity 為開發平台，搭配 XR interaction toolkit，讓整個專案的整體視覺互動體驗能獨立在 Meta Quest 3(頭戴式 VR 裝置)進行獨立運算以及頭部跟手勢追蹤，並且此專案採用的都是以XR controller 輸入，與內部 NPC 進行互動的模式。整個沉浸式體驗有更多的互動以及即時的反饋。 NPC 角色我們採用的是 ReadyPlayerMe 這個平台制定虛擬的 Avatar。動畫動作，透過 Adobe 的 Mixamo 匯入，並且在 Unity 中 的 AnimationController 去做整合與管理。在語音的互動對話與觸發流程當中，我們串接了 LLM 的大型語言模型，例如 ChatGPT， Gemini 等等，並且到後面我們採用了 MAS 的系統。整個互動流程功能涵蓋語音辨識的合成技術，確保了 NPC 能即時理解我們的語音輸入，以及可以有情緒的參數值的輸入。此外，本專案還包括自建的虛擬場景(空間分區)、 NPC 跟隨系統、以及完善的 UI/UX 控制模組，從玩家操作、視覺回饋到互動流程，皆為一套完整而多元的人機互動體驗。