『Rainy Talk』は会話を続ける2体のAIと、人間とのコミュニケーションを実現したインタラクティブアート作品です。
AI技術の高まりは世の中の枠組みを変える可能性を秘めており、誰もがそれを実感する時代となりました。
今後より人間に近しい存在としてAIが進化するならば、彼ら・彼女らはきっと人間と同様に、心に残るような環境、シチュエーションで、他愛もない会話を繰り広げるに違いありません。
私は2体のAIのために、日本人男女というアイデンティティ、雨が降りしきる夜道を傘を差して並んで歩くというシチュエーション、そして何気ない日常会話のテーマを用意しました。
この作品の体験者は、2体のAI、直樹と真夕が永久に続ける会話を眺めながら、いつでも Enter キーを押して彼らを一時停止させ、自身の言葉で参加することができます。
彼らはリアリティを持って会話を行う存在でありながらも、人によって容易に停止させられるデジタルオブジェクトとしての特性も兼ね備えており、常に止まることのない雨はそれを強調します。
本作品の目的は、人に近しい存在に成長したAIと人との関わりの未来像を、誰もが体験できるかたちで実現することです。
[システム]
本作品は５つのAI技術を使用することでマルチエージェント、マルチモーダルなAIシステムを実現しました。
まず、日本人として違和感のないアバターを用意するため、ChatAvatar v0.6（Beta）を用いてベースの顔形状をプロンプトで作成し、Mesh to MetaHumanによって日本人男女のMetaHumanアバターを制作しました。
残りの４つのAI技術はシステム実行中に動作しています。
ChatGPT API(3.5-turbo)を使用したプロンプトエンジニアリングにより、2体のAI同士の会話テキストが無限に生成され、Azure Text to Speechによりリアルタイムに音声化されます。
音声はNvidia Audio2FaceによってMetaHumanの顔の変形情報へと変換され、Unreal Engine 5によって生成された描画ソフトウェアへと送信されます。
人の発言はAzure Speech to Textによってテキスト化され、Chat GPT APIによる会話システムで処理されます。
これにより人の発言内容に応じたAIの返答テキストを生成し、直樹と真夕がそれらを発言することになります。
人への返答を3回行った後、彼らはそれまでの流れを考慮した2人の会話へと再び戻っていきます。
動画化した3つのパターンは、全て実際にシステムを動作させ、その場で生成される会話に人が介入した例を示しています。
会話はChatGPT APIのtemperatureパラメータ（1.0）の影響を受け、毎回違う展開をみせます。
*本システムは、展示する国や地域に応じた言語に対応することが可能です。
[Credits]
Tatsuro Kudo (Art Direction / Unreal Engine, Audio2Face, Python System Construction / Filming / Editing)
Satoshi Kawabata (ChatGPT Prompt Engineering / Chat Server Construction)
[Software]
Software: Unreal Engine 5.2.1, Visual Studio 2019, Visual Studio Code, MetaHuman Creator, ChatGPT API (3.5-turbo), ChatAvatar v0.6 (Beta), Azure Text to Speech, Azure Speech to Text, Nvidia Audio2Face
Assets for Unreal Engine: Animated Rain – Waterdrop Material & FX, City Sample Crowds, City Environment Megapack vol 02, TCP Socket Plugin
Language: C++, Python, JavaScript, TypeScript, Blueprint, hlsl
[Hardware]
SONY FW-85BZ40H/BZ(85-inch display) x 2, Full HD display x 1, Marantz Professional M4U, Windows PC(OS 11) x 3
[Supported from]
Kurume Institute of Technology
Telemedicine Development Center of Asia
