우리는 어떻게 입체 지각을 가질 수 있을까? 세상에 대한 입체 지각을 갖게 되는 것은 학습을 통해서이다. 즉, 갓 태어난 아기는 세상에 대한 완전한 입체 지각을 가지고 있지 않다. 깊이 지각이 없고, 높은 곳에서 떨어져 본 경험이 없기 때문에 아기는 식탁의 모서리를 향해 겁없이 기어갈 수 있다. 겁을 내는 것은 그 상황을 보고 있는 부모일 뿐! 우리가 입체적인 시각을 가질 수 있는 여러 가지 이유 중의 하나는 두 개의 눈을 가지고 있기 때문이다. 두 개의 망막에 서로 다른 상이 맺혀지고 이 차이를 통해 우리는 거리와 깊이, 대상의 부피를 알아채게 된다. 이러한 기제는 청각에서도 마찬가지일까? 그렇다. 우리는 두 개의 귀를 가지고 있기 때문에 공간 음향을 가질 수 있다. 이번 글에서는 공간 음향을 가능하게 하는 청각 기제와 이를 이용한 청각 디스플레이에 대해 이야기 하려고 한다.

자, 본격적으로 공간 음향을 가능하게 하는 청각 기제를 알아보기에 앞서 이를 이용한 청각 디스플레이의 예시를 먼저 좀 살펴보자! 어차피 글의 제목이 청각 디스플레이니까! 작년에 새로 구입한 내 아내의 자동차에는 차선 이탈 경고시스템이 장착되어 있다. 내가 왼쪽 차선을 밟으면 왼쪽에서 “띠리릭” 하고, 오른 쪽 차선을 밟으면 차의 오른쪽에서 “띠리릭” 하고 작고 가벼운 경고음을 내준다. 내 아내는 나보다 운전을 잘 하기 때문에 차선을 잘 밟지도 않고, 그 소리를 별로 좋아하지도 않지만, 나는 가끔씩_{사실은 매일} 듣는 그 소리가 어쩐지 친절한 듯이 느껴지고 소리도 별로 짜증나지 않아서 항상 켜두는 편이다. 더구나 왼쪽 오른쪽 번갈아 소리를 내주기 때문에_{나의 불안한 운전 덕분에} 재미있기도 하다. 그렇다고 그 소리를 듣기 위해 일부러 차선을 이탈하지는 않으니 그리 걱정하실 필요는 없다. 이렇게 공간 음향을 이용한 청각 디스플레이는 이미 상용화 되어 있다.

필자의 랩에서는 이러한 원리를 이용해서 자율 주행 자동차에서의 제어권 전환 디스플레이를 디자인해서 실험을 해보았다_{Sanghavi et al., 2021.} 완전히 자율적으로 운전을 할 수 있는 자동차는 아직 세상에 나와 있지 않다. 테슬라를 비롯한 많은 회사들의 자율 주행차는 현재 부분적인 운전 기능만을 수행하고 있다. 따라서, 기계가 다루기 힘든 운전 상황에 맞닥뜨리면 운전자가 다시 수동으로 운전을 해야만 한다. 제어권 전환 디스플레이는 자율 주행 상태에 있던 차가 운전자에게 다시 운전을 하라고 알리는 신호를 말한다. 우리 실험에서는 24명의 젊은 운전자가 운전 시뮬레이터를 이용해서 실험에 참가했다. 실험은 자율 주행 상태에서 작은 휴대 기기로 게임을 하던 운전자가 제어권 전환 청각 디스플레이를 들으면 수동으로 운전을 해서 차선을 변경하도록 구성되어 있었다. 제어권 전환 디스플레이로는 방향성이 있는 공간 음향과 소리가 차의 중앙에서 재생되는 비공간 음향을 사용하였다. 예상했던 대로 공간 음향의 조건에서 참가자들은 유의미하게 빠른 반응 시간을 보였다. 참가자들은 공간 음향이 더욱 직관적이고 덜 짜증이 나는 것으로 생각하는 경향도 함께 보였다. 재미있는 점은 공간 음향 조건에서 참가자들이 평균적으로 더 느린 속도로 차선을 변경했다는 것이다. 너무 급하지 않게 차선을 변경한 것은 조금 더 안정적인 운전 수행을 나타낼 수도 있다. 아마도 참가자들이 방향성이 있는 소리를 통해 차의 경로를 어떻게 바꿔야 할지에 대해 미리 계획할 수 있었기 때문으로 보인다.

그럼, 우리가 어떻게 소리의 공간적인 진원지를 알아챌 수 있는 것일까? 앞서 말한 것처럼 여러 가지 이유 중의 하나는 우리가 두 개의 귀를 가지고 있기 때문이다. 내가 운전하는 동안 내 아내가 내 오른쪽에 타고 있다고 해보자. 그렇다면, 내 아내가 나에게 말을 할 때, 그 소리가 내 오른쪽 귀에 닿는 시간과 내 왼쪽 귀에 닿는 시간이 아주 미세하게 다를 것이다. 이 시간 차이가 공간 음향 지각의 첫 번 째 원리이다. 우리 뇌 안에서는 이렇게 같은 소리가 서로 다른 귀에 들어와서 시간차_{배구에서처럼} 처리되는 것을 알아채는 똑똑한 기관_{Superior Olivary Nucleus}이 발달되어 있다. 과연, 아내의 목소리가 내 두 귀에 닿는 시간만 다를까? 그 소리의 크기는 어떨까? 물론 오른쪽 귀에 전달되는 목소리가 왼쪽 귀에 전달되는 목소리보다 클 것이다. 물론, 아내가 내 오른쪽에 앉아 있으니까! 이런 소리 강도의 차이가 두 번 째 원리이다. 소리는 공기의 진동 혹은 파형이다. 자, 그렇다면 약간 어렵지만 오른쪽 귀에 전달되는 소리와 왼쪽 귀에 전달되는 소리의 파형은 같을까? 다를까? 물론 똑같은 내 아내의 꾀꼬리 같은 목소리이니까 엇비슷하겠지만, 그 소리파의 위상이 왼쪽 귀에 도달할 때 약간은 달라져 있을 것이다. 왜냐하면, 그 소리 파형이 공기를 따라 진동하는 동안 내 머리를 만나서 부서지거나 찌그러지기 때문이다. 이렇게 소리의 위상이 달라지는 것이 우리가 공간 음향을 지각할 수 있는 세 번 째 원리이다. 우리 머리의 존재는 두 번 째 이야기했던 소리 강도의 차이도 키운다. 즉, 나같이 머리가 큰 사람의 왼쪽 귀는 아쉽게도 내 아내의 목소리를 더 작게 들을 수 밖에 없다. 우리가 공간 음향을 들을 수 있다는 사실 뒤에는 이렇게 두 개의 귀, 똑똑한 뇌 말고도 머리의 존재가 소리의 강도와 소리파의 위상을 바꾼다는 사실도 숨어 있다. 재미있지 않은가?  

다음 글에서는 이번 글의 연장선에서 필자가 가장 재미있어 하는 분야 중 하나인 공간 음향과 방향을 지시하는 언어가 서로 부딪힐 때를 다루고 있는 연구들을 소개하려고 한다. 기대하시라!mind

   <참고문헌>

• Sanghavi, H., Jeon, M., Nadri, C., Ko, S., Sodnik, J., & Stojmenova, K. (2021, July). Multimodal takeover request displays for semi-automated vehicles: Focused on spatiality and lead time. In International Conference on Human-Computer Interaction (pp. 315-334). Springer, Cham.