音と香りのインタラクティブ・アート

当研究室では、東京藝術大学との共同研究において「香るアートアニメーション」、「香る料理体験ゲーム」といったコンテンツの制作を行ってきた。
それらの研究から、各シーンに適した匂い提示を行うことによって各場面の注目度を制御できることがわかった。
この度、私たちが制作しデモを行った作品は人間の嗅覚と聴覚に焦点を当て、そのクロスモダリティ(感覚融合)を通じて体験者の情動面における想像性・創造性の喚起につながるようなインタラクティブ・アートである。
具体的には、バーチャル・アイスクリーム・ショップをパソコンからの制御で展開するディジタル・コンテンツで「音と香りのアイスクリーム屋さん」という名称で工大祭2012に出展し、一般来場者に作品を体験してもらった。

1.「音と香りのアイスクリーム屋さん」の概要

体験者があたかも店のカウンターで好きなフレーバーを選び、そして選んだフレーバーの匂いに最適と思える音色を割り当て、その状態で鍵盤を弾くとヘッドセットから音と香りが同時に提示されるという仕組みである。


図1 「音と香りのアイスクリーム屋さん」の概念図

本作品はユーザーがタッチパネル液晶モニターをみながら操作を進め、MIDI鍵盤で自由に演奏した音楽と、提示される香りをヘッドセットから同時に感じ取る。鍵盤演奏に慣れている人のための「手弾きモード」と、不慣れな人のための「自動演奏モード」を設定した。
各モードの操作方法は、次のとおりである。

<手弾きモード>
@ 音と香りを提示するヘッドセットを装着する。
A タッチパネル上の好きなアイスクリームのメニュー・アイコンに触れてフレーバーを選ぶ。
B Aの時、音色が8個プルダウン表示されるので、その中から任意の音色(電子音)を1つ選ぶ。
C AとBの操作を連続して3回繰り返して行い、3段あるMIDI鍵盤それぞれにフレーバー(A,B,C)と音色のデータセットを割り当てる。
D 3段の鍵盤を弾いて、ヘッドセットから提示される音と香りを同時に体験する。

<自動演奏モード>
@ 音と香りを提示するヘッドセットを装着する。
A タッチパネル上の”DEMO”の曲番号を1つ選択する。
B 選択した番号の楽曲のデモ演奏と香りの提示を自動的に体験できる。(アイスクリームのフレーバーと音色は、予め用意した組合せとなっている。また、1つの作品で、曲調の変化に合わせて数小節ごとにフレーバーが切り替わるようにプログラムを設定している。)


図2 体験の様子

私たちは、映像作品の“シーン”に香りを提示するのと同じように、音楽作品においても“シーン”の概念が当てはまることに注目した。
映像作品の多くには視聴者に提示するストーリー性があり、具体的な印象から情動に訴えるものがある。一方、音楽作品の多くにも“楽節”が存在し、この数小節のユニットが組み合わさって1曲が成り立っている場合が多い。
この楽節の移行をシーンの変化ととらえて、その時間軸に沿った表現を香りで助長することにより、映像シーンの臨場感とは趣の異なった演出手法を試みた。
なお、<自動演奏モード>では時間軸に沿って、数小節ごとに提示される香りの変化を自動的に感じることができる他、本作品の特徴を端的に知ることができる。


2.「音と香りのアイスクリーム屋さん」の評価
本作品は工大祭(2012年10月6日・7日)において実験室でデモ展示を行い、一般来場者に体験をしてもらい、その感想からアンケートを得た。
Q1.については、計107人(98%)から香りと楽曲が合っていたとの回答であった(図3)。
Q2.については、計83人(97%)から香りと音色が合っていたとの回答であった(図4)。
Q3.については、計33人(85%)が、アイスクリームの香りが楽曲とともに提示された方がよいとの回答であった(図5)。
これらの結果から、本作品における音と香りの同時提示は、体験者の心理面に調和した印象を与えるとともに、概ね、楽曲だけよりも香りを伴った方がよい(情動に強く訴える)ものと考えられる。


図3 アンケートの集計結果-1


図4 アンケートの集計結果-2


図5 アンケートの集計結果-3