家庭内の物やシーンなどを3Dスキャンしてデータ化し、Unityを使用して家のデジタルコピーを作成しました。また、各部屋に対して、家族のメンバーがその記憶に関する説明を残しました。最終的には、没入型のインタラクティブ・インストレーションを通じて、超現実的な家族の記憶の場を作り出しました。観客は、投影画面に触れることで作者の家族の記憶と対話することができ、作者の家族の記憶を多感覚で体感することができます。
本プロジェクトでは、センサーとしてSLAM LiDAR A2M8を使用し、収集したデータをInteractiveEngineを用いてスクリーンの座標データに変換しました。このデータはTUIOを介してUnityに送信されました。祖母の家のような照明が不足している場所や狭い通路などの問題のため、点群のスキャンはLuma.AIのNeRFベースのスキャン方法を使用して行いました。点群ファイルを書き出した後、BlenderのPoint Cloud Visualizerプラグインを使用してデータをクリーンアップしました。Unityでは、VFX Graphを使用して点群を可視化し、パーティクルエフェクトを作成しました。各シーンにコライダーを配置して非表示にし、C#スクリプトを作成して、画面空間の点をレイキャスティングの方法で三次元の点に変換しました。この点を中心にタッチエフェクトを生成し、点群に影響を与えました。
