우리 눈의 망막에는 “어디” 정보와 “무엇” 정보를 처리할 수 있는 서로 다른 세포들이 존재한다. “어디 세포” rod들은 눈의 주변 부에 많이 퍼져 있기 때문에 대상이 무엇인지 정확히 파악하는 데에는 서툴지만, 적은 양의 정보를 통해서도 대상의 움직임을 빠르게 인식할 수 있다. 반면, “무엇 세포” cone들은 눈의 초점이 맺히는 곳에 적게 분포되어 있고, 대상이 무엇인지, 어떤 색깔인지 등을 정확히 파악할 수 있다. 재미있는 것은 이런 세포들에서 파악된 정보가 시각 뇌까지 처리되는 경로도 역시 두 부분으로 나누어져 있다는 것이다. 이 역시 “어디 경로”와 “무엇 경로”라고 부른다. 이 두 정보는 나중에 더 높은 인지 처리를 하는 뇌의 영역에서 합쳐져서 우리가 대상을 온전하게 이해할 수 있도록 해준다. 그렇다면, 청각 정보 처리에도 이와 같은 두 가지 경로가 존재할까? 대답은 ‘그렇다’이다.
오늘의 청각 실험을 이해하기 위해 먼저 시각에서의 스트루프 효과stroop effect실험이 어떻게 진행되는지를 알아보자. 스트루프 효과는 과제에 대한 반응 시간이 주의 혹은 간섭에 따라 달라지는 효과를 말한다. 예를 들어, "파랑", "초록", "빨강"과 같이 색깔을 나타내는 단어가 하나씩 화면에 나타났을 때, 이를 빨리 읽는 것이 과제인 실험을 생각해 보자. 만약, 이 글자의 폰트 색깔이 그 의미값인 실제 색깔과 일치하지 않을 경우, 즉 "빨강"이라는 글자가 노란색으로 화면에 나타날 경우, 이 글자를 읽는 반응시간은 더 오래 걸리고, 실수로 노랑이라고 잘못 응답하는 경우가 생기게 된다. 이 실험에서는 그 글자가 우리의 머리 속에 떠올리는 의미색깔가 화면 상에 나타난 글자의 색깔과 서로 충돌하여 간섭현상을 일으키고 있는 것이다.
이러한 실험 패러다임을 청각 영역에 적용하여 연구자들은 청각-공간 스트루프auditory-spatial stroop 실험을 만들었다. 이 실험 패러다임에서는 소리가 나는 실제 공간왼쪽 혹은 오른쪽과 공간을 의미하는 단어“왼쪽” 혹은 “오른쪽”가 서로 충돌 할 때, 사람들이 어떤 자극에 더 민감하게 반응하는지를 연구해왔다. 예를 들어, 필자의 연구실에서는 이 실험 패러다임을 운전 상황에 적용하여 실험을 진행하였다Sun et al., 2017. 운전 모의 실험 장치를 사용한 실험에서 참가자들은 주어지는 시각차선 위에 X 자 표시 혹은 청각비언어 자극: 삐 소리, 혹은 언어 자극: “왼쪽”, “오른쪽” 자극에 따라 차선을 변경하도록 하였다. 실험 결과, 예상했던 대로 청각 자극이 시각 자극보다 먼저 주어진 경우, 참가자들은 시각 자극만 주어진 경우보다 일반적으로 빠른 반응을 보였다. 하지만, 청각 자극과 시각 자극이 동시에 주어진 경우에는 시각 자극만 주어진 경우에 비해 그 효과가 잘 나타나지 않았다. 또한, 청각 자극이 옮겨가야 하는 차선에 대한 시각 자극과 일치할 때의 반응 시간이 그렇지 않은 경우보다 더 빨랐다. 이 실험에서 가장 관심이 있었던 부분은 청각 자극에서 주어진 실제 공간과 언어 자극의 의미가 충돌하는 경우였다 (예를 들어, “왼쪽" 이라는 언어 자극이 오른쪽에서 주어질 때). 자, 과연 두 자극이 서로 충돌할 때 어느 편이 더 힘이 셀까? 실제 소리가 들려오는 공간일까? 아니면 주어진 단어의 의미일까? 정답은 실제 공간이다. 청각 자극이 주어지는 시점에 따라 결과가 영향을 받기는 했지만, 공간적으로 일치하지만 의미적으로 일치하지 않는 자극에서 참가자들은 상대적으로 빠른 반응 시간을 보인 반면, 의미적으로 일치하지만 공간적으로 일치하지 않는 자극에 대해서는 상대적으로 느린 반응 시간을 보였다.
왜 그럴까? 왜 우리는 공간 정보를 의미 정보보다 더 빨리, 더 민감하게 처리할까? 예를 들어, 한밤 중에 저 멀리서 희미한 물체가 움직이는 것이 보인다고 해보자. 그것이 귀신인지 곰인지는 판단할 수 없지만, 왼쪽 언저리라는 것은 확실하다. 그렇다면, 나는 오른 쪽으로 도망을 갈 것이다. 같은 원리로, 한밤 중에 나의 왼편에서 사각사각 소리가 들려오는데, 그것이 뱀 소리인지 귀신소리인지 알 길이 없다. 하지만, 그 소리가 위협적으로 들린다면 나는 그 소리를 피해 지체없이 오른 쪽으로 뛰어 갈 것이다. 물론 생존을 위한 이런 진화론적인 시각이 현상 전체를 말끔하게 설명해 줄 수는 없겠지만, 그럴 듯한 설명을 제공해 주는 것 같다. 우리는 대상이 “무엇”인지 미처 확인하기 전에 이미 그 “움직임”이나 “위치”를 파악하고 반응하기 시작한다! mind
<참고문헌>
- Sun, Y., Barnes, J., & Jeon, M. (2017). Multisensory cue congruency in the lane change test. Proceedings of the 23rd International Conference on Auditory Display (ICAD2017) (pp. 251-222), PA, USA, June 20-23.