これは、視覚的錯覚とヒューマン・マシン・インタラクションの分野における継続的な研究プロジェクトです。

仮想空間、インタラクティブなメディア、そして3Dオブジェクトのショーケースとして機能します。

このプロジェクトでは、ゲアクツォイク「Gerkzeuk」 を擬人化するために、できる限り説得力のある人間らしい機械とのインタラクションを創出することが求められました。Pepper’s Ghost 効果による（疑似）ホログラフィックな表現はその一端を担っており、クリスタル自体にはカメラ、マイク、スピーカー、マイクロコンピュータが搭載されています。

2015年から取り組んできた人工知能に関する人間の外見やインタラクションのシミュレーションへの考察が、このサブプロジェクトでの技術的実装を通じて、最も具体的かつ集中的な形で具現化されました。

また、バーチャルヒューマノイドの頭部を、ゲアクツォイク「Gerkzeuk」 のペルソナとして、そしてクリスタルに接続された形で表現したものが、展示「ALLEZ ALLEZ」で公開されました。

ソフトウェア実験としては、以下の技術を活用しました：

• OpenFace – 顔認識。ディープラーニングを用いて、コンピュータが顔を識別し、区別し、名前を割り当て、記憶する技術。
• Affdex – 表情認識。7つの基本感情に基づき、観客の顔の表情を解析。
• SpeechRecognition – 音声認識。キーワード検出や自然言語ツールキットを用いた文法解析の実験。
• ChatterBot – 機械学習を活用した対話システム。観客の言葉遣いを学習し、対話で再現。
• Watir Webdriver – コンピュータが自律的にインターネットを利用するためのツール。Google Translate を介してテキスト読み上げプログラムと連携。
• Unity – これらのモジュールを統合するためのゲームエンジン。

その他、制作プロセスから生まれたデザインのアイデア：