コラム

光と音の時間的なズレを補正するメカニズム

まずは、伝達速度の違いにより発生する、光と音のズレを補正するメカニズムについての研究を紹介します。紹介する研究では、被験者と光や音の発生位置の間の距離を変えていき、光と音の時間差が大きくなった時の被験者の反応から、ズレの補正のメカニズムについて考察しています。実験では、距離を変えても光の到達時間はほとんど変わりませんが、音の到達時間が距離にしたがい遅れることを利用しています。

1つ目の研究(1)では、音声刺激はヘッドフォンで外部から鳴っているようにシミュレートした音を用い、光刺激はLEDを被験者から1m～50mの位置に設置しました。光と音の間には遅延が挟まれ、被験者は光が音より先に提示されたか否かを判断しました。判断の際、光と音は、光刺激の発生位置から発生したと想像してもらいました。
結果をみると、距離が離れるほど、光に遅れて音が鳴なった時に同時と感じていました。（音をヘッドフォンで聴いているため、解釈が少しややこしいですが）これは、距離に応じて、この距離なら音はこれくらい遅れるはずだという、音の伝達速度や到達時間を考慮して同時と感じるタイミングを補正していることになります。ただし、この補正はどれだけ離れていても機能するわけではなく、結果によると40m程度までが限界のようです。遠くの打ち上げ花火や雷、飛行機など視覚と聴覚のズレをはっきりと感じるのは、距離が遠すぎて時間補正の範囲外になってしまったためとも考えられます。

2つ目の研究(2)では、1つ目と同じように光と音の刺激が発生する位置と被験者の間の距離を1mから32mまで変化させた時に、光と音の同時性がどのように影響を受けるか調べました。この実験では1つ目と異なり、音の発生位置も実際に移動させました。光と音の発生時には遅延が挿入され、被験者はどちらを先に感じたかを判断しました。加えて、光または音を感じたらすぐにボタンを押す反応課題も行い、実際に刺激が発生してからどれくらい経過して光や音を知覚しているかも取得しました。
結果によると、刺激の発生位置と被験者の間の距離を変えても、光と音を同時に感じるのは、実際に光と音が同時に発生している時に近い傾向がありました。あたりまえのように思いますが、距離を大きくすると、光と音が同時に発生しても、光より音が遅れることを思い出してください。実際、光や音へ反応するだけの課題の結果をみると、被験者と刺激発生位置の距離が遠くなると、光に比べて音へ反応するのにより時間がかかっていました。これは、同じ位置で光と音を同時に発生させると、先に光を感じ、遅れて音を感じることを予測します。しかし、実際はこの遅れは感じず補正されて、光と音を同時に感じるようになっていました。
さらに、光刺激の強度を落としたり、周辺視野に提示したりして光刺激への反応を鈍らせて同様の実験を行いました。反応課題の結果では、先ほどと異なり、どちらの場合も音に比べて光への反応に要する時間は大きくなっており、光と音の時間的な関係性は大きく変わりました。しかし、光への反応が鈍くなったにもかかわらず、どちらも実際に光と音が同時に発生したときに、それらを同時に感じる傾向がありました。

このように、外部で発生した刺激が自分に到達し感覚器官で処理された時点では時間差があるにも関わらず、それらを同時に感じるような柔軟なメカニズムが脳には備わっているようです。

光と音の同時性の窓

時間のズレを補正するメカニズムに加えて、人には光と音が多少ずれていても同時に感じる時間幅、いわゆる同時性の窓というものが存在します。この同時性の窓の時間幅は固定したものではなく、柔軟に変化します。
例えば、光と音の間に時間差をつけた刺激を与え続けると、同時性の窓はその時間差が同時に感じる方向へと変化し、同時と感じなかった時間差を同時と感じるようになりました(3)。他にも、光と音の同時性判断のトレーニングを行うことでも、同時に感じる時間幅が変化しました(4)。トレーニングでは、時間差が挿入された視覚と聴覚刺激の同時性を判断した時に、正解か不正解かを被験者にフィードバックしました。
このトレーニングを繰り返すと、同時性の窓が狭くなる、つまりこれまで同時と感じていた時間差の視覚と聴覚刺激を同時と感じなくなるようになりました。

また、一般的に外的な刺激が自分の体が届く範囲内にある場合とない場合で、脳の処理方法が変わると言われていますが、光と音の同時性の窓の幅も変化することが示されました(5)。
実験では光と音の発生位置を頭部からの距離が同じ1mになるようにして、体が届く範囲に設置した場合（足元）と届かない範囲に設置した場合（斜め上や正面）で、光と音の同時性の判断をしてもらいました。結果は、体が届く範囲内に刺激を設置した方が、同時性の窓の幅が大きくなっていました。これは、光と音の時間差が大きくなっても同時と感じる確率が上がったことを示しています。刺激が頭部に到達する時間や刺激の強度は条件間で同じと考えられるので、自分の手足が刺激に触れることができるか否かといった刺激と体の位置の関係性が影響していると考えられます。なぜ同時性の窓の幅が変化したのかや、その機能的な有用性は明確には不明ですが、光と音を同時と感じるか否かは自身の体の近い範囲でも柔軟に変化しているようです。この結果を応用すれば、例えば動画等を見ている時に、映像と音のズレが気になる場合は、スクリーンを自分の手の届く範囲内に設置すると、ズレた感じが緩和されるかもしれませんね。

まとめ

ここで紹介したように、私たちが周囲の環境を知覚する際には、柔軟な時間の補正メカニズムによって処理された後の光や音を感じています。このような補正メカニズムがないと少し距離が離れただけで、光と音の時間差に気が付いてしまい、落ち着かない世界になってしまうことが予想されます。
このような柔軟な時間補正メカニズムや同時性の窓の機能が存在することは、例えば映像製作時に必要以上に光と音の同期をとる必要はないのかもしれません。さらに、うまく利用すれば、スポーツやゲームでの技術向上に役立つ可能性もあります。
また、本当は時間的にズレているのに同時と感じる時間幅が存在することは、私たちが感じている＂今この瞬間＂というものは一瞬ではなく、ある程度時間幅を持った”今”が連なって構成されているのかもしれません。

センタンでは、脳波や心拍、皮膚電気活動などの生体情報の計測・解析から、ヒトの状態や影響などを深く知るサポートを行っています。研究・開発支援（受託研究）や生体データの利活用支援など様々な課題解決のサポート実績がございますので、興味を持たれた方がいらっしゃいましたら、どうぞお気軽にお問合せください。

引用文献

1. Sugita, Y., & Suzuki, Y. (2003). Implicit estimation of sound-arrival time. Nature, 421(6926), 911-911.
2. Kopinska, A., & Harris, L. R. (2004). Simultaneity constancy. Perception, 33(9), 1049-1060.
3. Fujisaki, W., Shimojo, S., Kashino, M., & Nishida, S. Y. (2004). Recalibration of audiovisual simultaneity. Nature neuroscience, 7(7), 773-778.
4. Powers, A. R., Hillock, A. R., & Wallace, M. T. (2009). Perceptual training narrows the temporal window of multisensory binding. Journal of Neuroscience, 29(39), 12265-12274.
5. Noel, J. P., Łukowska, M., Wallace, M., & Serino, A. (2016). Multisensory simultaneity judgment and proximity to the body. Journal of Vision, 16(3), 21-21.