腹話術効果:人形が喋っているようにみえるのはなぜ?

腹話術効果:人形が喋っているようにみえるのはなぜ?

多くの方は腹話術を見たことがあると思います。人と人形が軽快な会話を繰り広げて、見ているととても楽しくなりますね。人形が喋っているとき人形の口から声が発せられているように感じますが、もちろん実際に声を発しているのは隣にいる腹話術師です。腹話術師が自身の口は動かないようにして、人形の声を出したり口を動かしたりしています。そのため人形が喋っている時は、人形の口の位置と声が出ている位置は本当はずれがあるはずです。一方、腹話術師が喋っているときは、もちろんその人から声が出ているように感じます。このことは聴覚刺激の発生位置は同じにも関わらず、誰(腹話術師または人形)が口を動かしているかという視覚情報によって、音声の発生位置が移動していることを示しています。
このような現象は腹話術でなくても普段から起きています。例えば映画や動画を見ている時、映像と音を出すスピーカーは異なる位置にあります。それにも関わらず、映像の中の人が喋ったり物が音を出したりする場合、視覚と聴覚の位置のずれ を感じることはなく、映像の中から音が出ているように感じます。
このように、聴覚刺激の発生位置が、視覚情報の位置に引き寄せられる現象を腹話術効果と呼びます。腹話術効果は、視聴と聴覚による空間的な錯覚現象であり、視聴覚統合のメカニズムを探るため広く利用され研究されてきました。今回は、この腹話術効果についてご紹介します。

腹話術効果が起こる空間・時間的な範囲

基本的に、視覚刺激と聴覚刺激の空間的な位置が離れるほど、また、両者の発生タイミングに時間差があるほど、腹話術効果は小さくなっていきます。単純な光や音の刺激を用いて、どれくらい空間的・時間的に離れると腹話術効果が弱まるかを調べた実験(1)では、視覚刺激に対して聴覚刺激が水平方向に4°離れていても、視覚と聴覚が同じ位置から発生したように感じる傾向がありました。しかし距離が8°以上離れると、同じ位置と感じる傾向は大きく減少しました。ただ4°の場合も、視覚刺激と聴覚刺激の発生タイミングが100msずれると、同じ位置から発生したように感じる傾向は減少しました。
他の研究では、視覚と聴覚刺激の空間的なずれが15°、時間的なずれが800msのように大きな差異がある場合でも腹話術効果が見られる場合もありました(2)。ずれが大きいにもかかわらず腹話術効果が起きた時は、被験者は視覚と聴覚刺激を単一の出来事と感じる傾向があることも示唆されました。腹話術効果が起きるには、視覚と聴覚刺激が単一のイベントから発生したと感じるのが重要なのかもしれません。
腹話術効果が起こる空間的・時間的なずれの範囲は、実験で用いた刺激の性質や回答方法などの条件に依存するところが大きく、研究によってその値は変わるようです。

腹話術効果は刺激に依存する

腹話術効果の大きさには、視覚や聴覚刺激の持つ性質や意味も影響を与えます。一例をあげると、視覚情報が動物や楽器などで、聴覚情報がその対象が発する音の場合、視覚と聴覚刺激の性質が一致する(例えば視覚刺激がある動物で、聴覚刺激がその動物の鳴き声)時は一致しない時に比べて、音の発生位置は視覚情報が提示された位置に引っ張られやすいという実験結果があります(3)。この場合、刺激の意味や記憶といった比較的高次な処理が、腹話術効果に関係していることが示唆されます。このことから、腹話術の際には、声をできるだけ人形の姿からイメージされるような声質にすることで効果が高まることが期待されます。
他にも、視覚刺激が人物の場合、視線の向きが、音声刺激のずれに依存することも報告されています(4)。実験では顔写真を被験者の正面に設置し、音声刺激をその横方向にずらしながら提示しました。被験者は音声刺激の発生位置が、正面か左か右かを判断しました。顔写真は、目を開けて被験者に視線を向けているものと目を閉じているものがありました。結果は、正面の写真の人物が目を開けていた時のほうが、音声刺激が正面から発生しているように感じる傾向がありました。目を開けて被験者を向いているときの方が、被験者の注意を引きつけ、その結果、音声の位置が写真の位置に引き込まれた可能性があります。腹話術の人形も目を大きくして観客の方に向けるようにすると、より効果が大きくなる可能性があります。

視覚刺激がはっきりしなくても効果がある

腹話術効果は、光刺激が意識にのぼらず主観的に見えていない状態でも起こることが報告されています(5)。実験では、光刺激は存在するが、被験者が意識的に知覚できない状態を作り出し、光刺激と音刺激を同時に呈示し、音の発生位置を回答させました。結果は、音の発生位置のずれは、光刺激が主観的に見えていた場合の方が大きくはありましたが、光刺激が主観的に見えなかった場合でも音刺激のずれは観察されました。これは視覚と聴覚の空間的な統合は、意識的な処理が関わらない比較的低次な処理段階でも行われていることを示唆しています。
また、光刺激が実際に存在しなくても、腹話術効果が起こるようです(6)。実験では、被験者に空間のある位置に白い円があることをイメージしてもらい、同時に実際の音を提示して、イメージした視覚刺激が音の発生位置に影響をするかを調べました。結果は、実際に光刺激が存在した場合に比べて効果は小さいものの、イメージした光刺激でも、音刺激が発生した位置を引き寄せる効果がみられました。存在しない視覚刺激が音の位置のずれを起こすことから、腹話術効果には高次な処理も関わっていると考えられます。また、視覚刺激をイメージするだけでも、視覚と聴覚が統合されるには十分であることも示唆しています。

腹話術効果が起こりにくい人

腹話術効果の起こりやすさは人によっても変わるようです。例えば、継続的に楽器を演奏しているような音楽家は腹話術効果が起きにくいこともわかりました(7)。音楽家は音に対して注意を向ける能力が高く、視覚情報に惑わされにくいため、音の発生位置のずれが起きにくかった可能性がありますが、明確な理由はまだ不明です。

まとめ

腹話術効果には、上記の研究例のように様々な段階の処理が関わっているとみられ、その発生メカニズムの解明にはさらなる研究が待ち望まれます。また、記事中に記載したように、これらの研究結果を用いることにより、より腹話術を効果的に見せることが可能になるかもしれません。さらに腹話術に限らず、視覚と聴覚を使ったエンターテイメントでも上手くこの現象を使って、観衆が驚くような面白い効果を作り出せるようになるかもしれません。

センタンでは、脳波や心拍、皮膚電気活動などの生体情報の計測・解析から、ヒトの状態や影響などを深く知るサポートを行っています。研究・開発支援(受託研究)生体データの利活用支援など様々な課題解決のサポート実績がございますので、興味を持たれた方がいらっしゃいましたら、どうぞお気軽にお問合せください。

引用文献

  1. Slutsky, D. A., & Recanzone, G. H. (2001). Temporal and spatial dependency of the ventriloquism effect. Neuroreport, 12(1), 7-10.
    DOI: 10.1097/00001756-200101220-00009
  2. Wallace, M. T., Roberson, G. E., Hairston, W. D., Stein, B. E., Vaughan, J. W., & Schirillo, J. A. (2004). Unifying multisensory signals across time and space. Experimental brain research, 158, 252-258.
    DOI: 10.1007/s00221-004-1899-9
  3. Delong, P., & Noppeney, U. (2021). Semantic and spatial congruency mould audiovisual integration depending on perceptual awareness. Scientific Reports, 11(1), 10832.
    DOI: 10.1038/s41598-021-90183-w
  4. Lavan, N., Chan, W. Y., Zhuang, Y., Mareschal, I., & Shergill, S. S. (2022). Direct eye gaze enhances the ventriloquism effect. Attention, Perception, & Psychophysics, 84(7), 2293-2302.
    DOI: 10.3758/s13414-022-02468-5
  5. Delong, P., Aller, M., Giani, A. S., Rohe, T., Conrad, V., Watanabe, M., & Noppeney, U. (2018). Invisible flashes alter perceived sound location. Scientific Reports, 8(1), 12376.
    DOI:10.1038/s41598-018-30773-3
  6. Berger, C. C., & Ehrsson, H. H. (2013). Mental imagery changes multisensory perception. Current Biology, 23(14), 1367-1372.
    DOI: 10.1016/j.cub.2013.06.012
  7. O’Donohue, M., Lacherez, P., & Yamamoto, N. (2023). Audiovisual spatial ventriloquism is reduced in musicians. Hearing Research, 440, 108918.
    DOI: 10.1016/j.heares.2023.108918
● 引用・転載について
  • 当コンテンツの著作権は、株式会社センタンに帰属します。
  • 引用・転載の可否は内容によりますので、こちらまで、引用・転載範囲、用途・目的、掲載メディアをご連絡ください。追って担当者よりご連絡いたします。
● 免責事項
  • 当コンテンツは、正確な情報を提供するよう努めておりますが、掲載された情報の正確性・有用性・完全性その他に対して保証するものではありません。万一、コンテンツのご利用により何らかの損害が発生した場合であっても、当社およびその関連会社は一切の責任を負いかねます。
  • 当社は、予告なしに、コンテンツやURLの変更または削除することがあり、また、本サイトの運営を中断または中止することがあります。

Contact

お問い合わせ

センタンへのサービスに関するご相談はこちらよりお問い合わせください