본다는 것은 무엇인가

지난 번 ‘내 삶의 심리학 mind’에 원고를 투고한 뒤 갑자기 편집인이 ‘본다는 것’에 관해서 글을 작성해 달라는 제안을 받고 지각심리학자로서 특히 시각을 전공한답시고 살아온 저자의 경력을 한 번 반추해보는 기회로 삼고자 이 과제에 한 번 도전해 보기로 했다. 이 작업이 왜 도전이냐 하면 나 자신 솔직하게 ‘본다는 것’을 정확하게 인지하고 있다고 자신 있게 대답할 수 없기 때문일 것이다.

인상주의 화가들은 빛에 의한 변화를 포착함으로써 본다는 것을 새롭게 이해하기 시작했다. 특히 모네는 동일한 물체(런던의 워터루 다리)를 다양한 시점에서 그림으로써 전혀 다른 모습으로 인식될 수 있음을 보여주었다. Claude Monet, Waterloo Bridge, Sunlight Effect 1903, 65x101cm, oil on canvas,Art Institute of Chicago, USA.

당연히 서양 학문은 그리스 철학에서 기원한다. 그리스어로 철학은 ‘지혜에 대한 사랑’을 뜻하는 단어로 궁극적인 질문에 대한 답을 찾는 학문을 뜻한다. 그리스 철학자들에게 있어서 가장 궁극적인 질문 중의 하나가 우리가 소유하고 있는 지식이 어디서 기원하는가였다. 이 질문에 대한 답을 찾는 철학의 분야가 ‘인식론’이다, 그리스 철학자들은 지식의 근원을 감각 기관을 통해 습득한다는 주장과 선천적으로 소유하고 있었다는 주장으로 갈려 논쟁을 벌였다. 아쉽게도 이 논쟁은 생득주의_{혹은 이성주의}와 경험주의_{혹은 연합주의, 행동주의}라는 이름으로 중세와 근대를 거쳐 현재에 이르기까지 해결되지 못하고 여전히 진행 중이다. 이 논쟁에서 빠질 수 없는 것이 지식의 통로로 작용하는 감각 기관이며, 감각 능력 중에서 가장 큰 역할을 하는 시각 능력은 당연히 이 논쟁에서 가장 큰 비중을 차지한다. 최근 방법론에 있어서 획기적인 도약과 다양한 뇌영상 도구들의 개발로 인해 시각 기능에 대한 이해가 증폭하고 있지만, 그럼에도 불구하고 여전히 많은 의문들이 남아 있다. 이 원고에서는 ‘본다는 것’에 대한 학계의 대표적인 이론에 대한 개략적인 소개와 문제점의 제시로 국한할까 한다.

우선 ‘본다는 것’을 설명하기 위해서는 당연히 눈을 언급하지 않을 수 없다. 구조적 측면에서 눈은 액체로 채워진 공과 같은 조직으로 두개골의 안와라는 움푹 파인 곳에 위치하고 있다. 그 중 밖으로 돌출되어 우리가 식별할 수 있는 부위로 홍채와 수정체가 있다. 홍채는 카메라의 조리개와 같은 역할을 하는 막으로 중앙에 뚫려있는 동공으로 유입되는 빛의 양을 조절하며, 수정체는 그 두께를 조절하여 물체에 초점을 맞추게 하여 눈 뒤 망막에 선명한 상이 맺히게 한다.

그림 2. 데카르트가 망막에 상이 형성되는 과정을 설명하기 위해서 작성한 삽화(Le Dioptrique, 1637).

그리스 로마시대 학자들은 ‘본다는 것’을 설명하는 이론으로 관찰자의 눈에서 광선이 뻗어나가 물체에 도달하는 순간 그 물체를 인식하게 된다는 유출설_{extramission theory}과 물체가 아이돌라_eidola라는 신의 복제품을 만들어 관찰자에게 보냄으로서 사물을 보게 된다는 유입설_{intromission theory}이 있었다. 중세기에 들어서면서 이슬람학자 이븐 알하삼_{Ibn al-Haytham, 967-1042}과 지동설로 잘 알려진 케플러_{Johannes Kepler, 1571-1630}, 그리고 ‘나는 생각한다, 고로 나는 존재한다’로 알려진 데카르트_{Rene Descartes, 1596-1650}는 ‘본다는 것’을 광학적인 측면으로 접근했다. 본다는 것은 망막의 상_image에 의해서 이루어지는 현상으로 생각하기 시작한 것이다. 여기서 눈은 하나의 광학 도구로 간주된다. 물체로부터 반사된 빛이 눈을 통과해서 망막에 상을 형성한 뒤, 그 상이 뇌로 전달되어 뇌에서 사물을 인식하게 된다는 새로운 시각 모형을 제시하였다.

데카르트는 심지어 죽은 황소의 눈알을 뽑아서 실험까지 하였다. [그림 2]에서 보여주듯이, 데카르트는 눈 안의 액체_유리체가 새지 않을 정도로 눈 뒤의 막을 제거한 뒤에 제거한 부위에 종이를 부착한다. 그리고 창문에 구멍을 뚫은 뒤 그 구멍에 눈알을 놓으니 빛이 동공을 통과하여 종이 위에 바깥 관경이 형성되는 것을 확인하였다. 이렇게 형성된 시각 모형은 현대 시각이론의 기본 틀로 작용하고 있다.

그 후 해부학 기술이 발전하면서 눈 안에 소재하는 여러 종류의 신경세포들이 밝혀졌다. 특히 빛에 직접적으로 반응하는 두 종류의 광수용기와 이들과 직·간접적으로 연결된 다양한 시신경 세포들이 광수용기의 반응에 활성화하며 그 반응이 시신경 섬유를 통해 눈 밖으로 빠져나와 후두엽으로 보내진다는 것도 밝혀졌다.

이렇게 ‘본다는 것’이 눈 속에 소재하는 다양한 시신경 세포들의 반응에 기반을 둔다고 이해하게 되었는데, 그런데 문제는 망막에 형성된 상에 상당힌 많은 정보가 결손되어 외부 세계를 정확히 대변하지 못한다는 것이다. 참고로 중세 학자들은 ‘호문쿨루스_homunculus’이라 지칭하는 영혼과 같은 지적인 존재가 뇌에서 그림을 보듯이 이 상을 보고 사물을 인식하다고 생각했다. 따라서 정보가 부족하다는 것이 문제가 된다는 것을 인식하지 못했다. 이렇게 본다는 것을 ‘호문쿨루스’을 통해 설명할 경우, 호문쿨루스의 보는 능력을 어떻게 설명할 것인가 하는 문제가 발생한다.

그림 3. 수많은 3차원 물체가 동일한 2차원의 상을 형성할 수 있으며, 따라서 투사면에 형성된 상이 어떤 물체에 대응하는지를 상에 담긴 정보만으로는 결정할 수 없다.

그러면 망막의 상에 어떤 정보가 결여되어 있는지 한 번 알아보자. 가장 큰 문제 중의 하나가 우리 주변 환경이 3차원인 반면, 망막에 맺힌 상은 2차원이란 것이다. 그럴 경우 기하학의 원칙에 따르면 수많은 3차원 물체가 동일한 형태의 2차원 상을 형성해 낸다는 것이다[그림 3]. 즉 망막의 상이 어떤 물체에 의해서 형성되었는지를 상에 담긴 정보만 가지고서는 밝혀낼 수 없다는 것이다. 이런 문제를 역투사문제_{inverse projection problem}라 한다. 보다 심각한 문제는 상이 하나의 형태를 유지하면서 시신경 세포를 거쳐 뇌로 전달되는 것이 아니라 수많은 세포들의 반응으로 분리되어 뇌로 전달된다는 것이다. 예를 들어 직선을 생각해 보면, 직선은 연결된 하나의 개체다. 하지만 직선에 의해서 형성된 상은 그 상에 대응하는 수많은 광수용기들의 반응으로_{모자이크 같이}분리되어 뇌로 전달된다. 따라서 직선을 인식하기 위해서는 수많은 광수용기들의 반응에서 직선에 반응한 광수용기들을 찾아내어야 한다.

부연하면, 눈이 뇌로 전달한 정보는 3차원이 아니라 2차원 정보일 뿐 아니라 모자이크같이 조각조각 분리되어 실체와는 일치하지 않는 ‘수준 낮은 정보’라는 것이다. 하지만 우리의 경험은 너무나 생생하여, 그 실제를 부정하기 어렵다는 것이다. 그렇다면 입력된 정보가 실제와 일치하지 않음에도 불구하고 어떻게 우리의 경험은 이토록 생생한 것일까라는 의문이 발생한다.

이 문제를 뇌가 어떻게 해결하는가는 최근 급속도록 발전하는 스스로 움직이는 로봇이나 자율주행차들의 작동 방식을 통해서 이해해 보자. 이런 기계들은 다양한 센서가 부착되어 있을 뿐 아니라, GPS 신호도 함께 활용하여 이런 계기들로부터 수집한 정보들에 근거하여 전후측방의 차량을 포함한 주변의 장애물과의 충돌 여부를 탐지한다. 하지만 수시로 변화하는 상황에 적절하게 대응하기 위해서는 탑재된 카메라를 통해 습득한 주변 환경에 대한 개괄적인 정보가 보다 핵심적인 역할을 한다. 카메라는 인간의 눈과 같이 작동하여 주변 환경을 2차원 영상으로 캡쳐한 뒤, 그 영상으로부터 잡음을 제거하고, 여러 가지 알고리즘을 적용하는 일련의 과정을 거쳐 3차원 정보로 복원시킨다. 하지만 이 과정이 간단하지 않기 때문에 그동안 엄청난 수의 알고리즘들이 개발되었으며, 앞으로도 지속적으로 개발될 것이다. 그중 가장 널리 알려진 것은 아마 ‘모서리 찾기_{edge detection}’ 알고리즘일 것이다.

그림 4. 모서리 찾기 알고리즘을 적용하여 우측 사진으로부터 추출한 모서리들(좌측)

태양이나 전등과 같은 발광 물체로부터 발생한 빛은 주변 환경을 구성하고 있는 물체 표면에 반사되어 사방으로 흩어지는데 그중 일부는 관찰자의 눈으로 투사되어 망막에 도착한다. 지금 필자기 앉아있는 책상 위에 필자의 전화기가 놓여있다. 전화기의 표면은 절전모드에 들어가 검은색을 띠고 있지만 유리 재질로 제작된 관계로 거울과 같이 반짝거리고 있다. 전화기가 놓여있는 책상은 나무로 제작되어 많은 빛을 흡수하여 전화기에 비해 칙칙해 보인다. 그러면 전화기 표면과 책상 표면은 각각 강도는 다르지만 일정한 양의 빛을 반사하고 있는 반면, 두 물체의 경계선에서는 두 표면에서 반사하는 빛의 양이 다른 관계로 불연속점이 생성된다. 이렇게 전화기 주변으로 불연속점들이 생성되고 그 점들을 연결할 경우, 전화기의 윤곽이 드러난다. 사실 이런 불연속점들은 일반적으로 물체의 모서리에서 나타나며, 이런 사실을 이용하여 2차원 영상에서 3차원 물체들을 분리시킬 수 있는 근거를 확보할 수 있게 된다. 이런 현상들을 가급적 많이 활용하면 2차원 영상으로부터 3차원 정보를 추출하는 것도 가능해 진다[그림 4].

이를 기술적으로 구현하는 일은 쉬운 일이 아니다. 대부분의 물체들이 서로 중첩되어 앞의 물체가 뒤의 물체 일부를 가리고 있기 때문에 2차원 영상에서 중첩된 물체들을 분리시키는 것이 용이하지 않다. 특히 2차원 영상의 일부가 두 물체로 구성되었다는 것을 판단하는 것도 쉬운 일이 아닐 뿐 아니라, 앞의 물체를 분리하였을 때 뒤에 가려진 물체는 그 일부만 남아있기 때문에 그런 물체를 복원하기 위해서는 상당히 복잡한 알고리즘이 요구된다.

그에 못지않게 심각한 문제는 물체는 보는 각도에 따라 형태가 달라진다는 것이다[그림 5]. 예를 들어 사람의 얼굴도 정면에서 보는 것과 측면에서 볼 때 완전히 다르기 때문에 이 두 상만을 가지고 동일인인지를 판단하는 것이 용이하지 않다. 그럼에도 불구하고 스마트폰안면 인식 기능은 큰 문제없이 사용되고 있다. 꼭 정면을 주시하지 않더라도 얼굴을 인식해서 잠금을 푸는 것을 보면 상당히 융통성있는 알고리즘이 적용되었다는 것을 알 수 있다.

그렇다면 인지심리학자들은 본다는 것을 어떻게 이해할까. 그들은 뇌에 입력된 정보, 즉 시신경의 반응 상태로부터 시작하여 그 정보를 여러 단계를 거치면서 처리하여 실물과 같은 복제품으로 재구현하여 그 복제품_{혹은 심적 표상}에 근거하여 시각 작용이 이루어진다고 이해한다.

이런 이론은 1980년 35세의 나이로 요절한 MIT 심리학과 교수였던 데이비드 마르_{David Marr}에 의해서 체계화되었다. 사실 마르_Marr가 저술한 『Vision』이라는 책은 1985년 MIT에 설립된 Media Lab의 핵심 멤버들의 인지기능에 대한 계산론적 접근법_{computational approach to cognition}의 이론적인 틀을 제공하였다 해도 과언이 아니다. Media Lab이 인류에 미친 영향을 고려할 때 마르_Marr의 영향은 상상하기 어려울 정도다.

그 당시 필자는 대학원에서 언어학을 전공하고 있었는데, 특히 노암 촘스키_{Noam Chomsky}라는 MIT 언어학 교수가 제안한 변형생성문법에 심취해 있었다. 이 이론에 따르면 우리가 말하기 위해서는 우선 마음에서 심층구조_{deep structure}가 생성되며, 이 심층구조에 변형규칙_{transformational rules}이 적용되어 변형 과정을 거쳐 표층구조_{surface structure}로 표출된 뒤, 그 표층구조에 적절한 단어가 부착되어 궁극적으로 조음기관을 통해 발화되는 것으로 설명한다. 이렇게 마음속에서 어떤 기본 구조에 규칙이 적용되면서 여러 변형 과정을 거치며, 그때 각 단계에서 처리되는 정보들을 심적표상_{mental representation}으로 지칭한다.

이렇게 우리의 생각이 마음속 깊은 곳에서 생성된 뒤 여러 가지 규칙을 거치면서 표층으로 부상하여 궁극적으로 발화될 뿐 아니라, 그런 일련의 문법 규칙들이 인류가 보편적으로 소유하고 있는 능력_{universal grammar}이라는 촘스키_Chomsky의 주장은 마음이란 것을 형체가 없는 막연히 개념적으로만 존재하는 것으로 생각하고 있던 필자에게는 굉장히 충격적이었다. 사실 이렇게 마음이란 것을 체계적으로 규명할 수 있구나 하는 생각이 필자가 언어학에 매료된 가장 큰 이유일 것이다. 하지만 계산론적 접근법의 대상이 언어가 아니라 시각일 경우, 우리가 본다는 것은 마음속에서 재생한 주변 환경의 복제품이라는 것을 함축하고 있는데, 이런 주장은 쉽게 납득이 되지 않았다.

사실 현실과의 접촉이 자신의 마음속에서 재구성한 복제품을 통해 이루어진다는, 즉 복제품이 나와 현실 간의 관계를 매개한다는 주장은 선 듯 받아들이기 어렵다. 그럼에도 불구하고 이런 설명이 현재 심리학, 철학을 포함하는 인지과학에 있어서 인간의 인지 기능에 대한 가장 널리 수용되고 있는 대표적인 이론이라 한다면 의아스럽게 느껴질 수도 있다. 하지만 위에서 기술하였듯이 시각의 출발점이 충분한 정보가 결여된 망막에 형성된 상이라 한다면, 이런 결론은 피할 수가 없다. 사실 케플러가 망막의 상이 그림과 같이 외부 세계를 대변하며 이 대리품을 뇌_‘영혼’가 보고 사물을 인식한다고 주장할 때 이런 결과는 이미 예상되었다. 단지 중세철학자들은 그 대리품이 불량품이라 하더라도 호문쿨루스가 상을 보기 때문에 문제가 되지 않았다. 하지만 이런 이론이 정확한 설명이 될 수 없다.

이런 문제점을 데이비드 마르_{David Marr}는 깊이 인식하고 있었다. 이런 점을 반영하듯이 마르_Marr가 제안한 시각 모델은 시각체계가 당면한 과제, 즉 2차원의 망막 상으로부터 3차원의 정보를 추출하는 문제를 해결하는 과제를 여러 하위 과제로 분리한 뒤, 각 과제를 해결하는 계산 모형을 제시하였다. 이때 광학 현상에 내재하고 있는 다양한 빛의 규칙성을 최대한 활용하여 계산 모형을 개발하였다. 이렇게 정보처리가 감각자료부터 시작하여 점진적으로 향상되어가는 방식을 상향처리_{bottom-up process}라 하며, 미리 답을 기억에 저장한 뒤 그 저장 공간_{데이터베이스}으로부터 답을 찾는 하향처리_{top-down process}모델과 대비된다. 즉 마르_Marr는 ‘본다는 것’을 설명하는 것이 ‘호문쿨루스’ 없이도 가능하다는 것을 보여주고자 하였으며, 그런 점에 있어서 마르_Marr가 높이 평가되고 있는 것이다.

최근 출고되는 고급 차종에는 “첨단 운전자 지원 시스템_{Advanced Driver Assistance Systems}”라고 하는 자율주행 기능이 일부 장착되어 차선을 이탈할 경우 경보음을 울리거나 앞차와의 충돌 위험이 클 경우 스스로 브레이크를 걸어 감속시킨다. 이런 기능들은 위에서 기술한 시각의 계산론적 접근법의 시험장이라고 해도 과언이 아닐 것이다. 이런 기술을 바탕으로 많은 기업들이 완전자율차을 만들고자 한다.

그런 계획이 실현된다면 우리 모두 재구성된 현실의 복제에 의존해서 주변 환경 속에서 이동하게 될 것이다. 더 나아가 그런 상황은 ‘본다는 것’을 현실의 복제에 의존한다는 계산론적 접근법의 설명을 증명하는 사례로 볼 수도 있다. 개발과정에 있어서 많은 문제들을 봉착하겠지만 완전자율차 또한 가까운 시간내 실현될 것이 분명하다. 그렇다고 하여 인간의 지각능력 또한 동일한 방식으로 구현되는 것인가란 질문에 대해 ‘그렇다’라고 대답할 수 있을까? 사실 그렇지 못하다.

위에서 기술한 계산론적 접근법에서 주장하는 일련의 영상처리 과정을 거쳐 외부 세계가 완벽하게 재창조된 복제품이 완성되었다 하자. 그런 복제품의 구현으로 ‘본다는 것’이 완전히 설명되었는가? 지금 나는 내 앞에 놓인 컴퓨터 키보드의 키를 누르면서 그 철자들이 모니터에 나타나는 것을 보고 있다. 다시 말해, 내 앞에 놓은 물체들의 복제품을 구현해 낼 뿐 아니라 내가 구현해낸 물체들을 내 자신이 보고 있다는 것을 의식하고 있다. 이렇게 ‘본다는 것’은 보고 있는 장면의 구현으로 끝나는 것이 아니라 그 장면을 보고 있다는 사실을 의식한다는 사실, 즉 내가 ‘본다는 것’을 경험한다는 것, 그리고 더 나아가 내가 그 경험의 주체라는 것을 인식하고 있다는 것 또한 설명할 수 있어야 한다.

사실 의식의 문제는 금세기 모든 과학을 통틀어서 가장 어려운 문제라 해도 과언은 아니다. 망막의 상에서 출발하여 그 상에 알고리즘을 적용시켜 상 속에 담긴 모서리들을 추출해내고, 그 다음 단계에서는 그 전 단계의 출력에 다른 알고리즘을 적용해서 물체의 형태를 찾아낸다. 다음 단계에서는 형태의 색채를 판별하고 하는 등의 과정을 반복해서 적용해서, 마지막으로 3차원 세계를 완벽하게 재현한 결과물을 추출하는 일련의 과정이 진행된다. 이를 음식 조리 과정에 비유하면, 재료를 준비한 뒤 조리법_레시피에 적힌 대로 재료를 넣고 적당한 시간 조리하는 것은 기계적으로 진행하면 된다. 하지만 조리하는 과정 동안 음식 냄새가 야기하는 공복감, 곧 요리한 음식이 입 안을 채울 때 느낄 행복감, 그와 함께 쌓이는 식기로 인한 설거지에 대한 공포심 등과 같은 다양한 느낌들은 조리법에는 명시되어 있지 않는 주관적인 경험들이다. 이렇게 ‘본다는 것’이 조리법과 같이 단순한 기계적인 절차만 명시하는 것으로 모든 설명이 끝나는 것이 아니라 동반하는 다양한 주관적 경험들도 설명할 수 있어야 할 것이다. 그런 이유로 이 문제는 그리스 철학 시대부터 인류를 괴롭혀온 난제_{hard problem}로 손꼽히고 있다.

아마 심리학을 전공하는 학생들은 심리학이 심리현상을 과학적인 방법으로 규명하는 학문이라는 정의에 익숙할 것이다. 이런 맥락에서 20-30년 전까지만 하여도 의식의 문제는 심리학에서 거의 취급되지 않았다. 보다 정확히 말해서 처리할 능력이 없었다. 과학적으로 검증하기 위해서는 규명하고자 하는 현상을 관찰과 측정이 가능하도록 조작적 정의_{operational definition}로 재정립하여야 하는데 의식이란 개념이 무엇을 뜻하는지 그 정의 조차 내리는 것이 쉽지 않았던 관계로 그 상태를 측정한다는 것은 엄두도 낼 수 없었다. 하지만 뇌영상 장비들의 개발로 인해 뇌손상 환자들 뿐 아니라 정상인의 뇌의 기능 및 대사 상태를 좀 더 정확하게 판별하는 것이 가능해지면서 의식의 문제도 이제는 이론-가설-관찰 과정을 통한 경험적 규명을 시도해 볼 수 있을 정도에 다다랐다. 사실 의식에 대한 관심이 최근 폭발적으로 증가하고 있으며, 그런 연구 결과를 다루는 학술지도 다수 창간되었다.

최근 심리학에 대한 관심이 증폭하고 있다. 그 인기를 반영하듯 대학입시에서 학과별 경쟁률을 살펴보면 대부분의 대학에서 심리학과의 경쟁률이 거의 최상위권을 차지하고 있는 것을 발견한다. 하지만 심리학과를 선택하는 대부분의 학생들은 심리학의 응용적인 면에 매료되어 있는 것 같다. 심리학이 이런 인간의 근본적인 의문에 대한 답을 추구하는 학문이라는 것을 인지하는 학생은 발견하기 어렵다. 자연히 심리학의 이런 측면에 대한 학생들의 수요 또한 극히 낮은 관계로 이런 과목을 개설한다는 것을 생각조차 하지 못하고 있다. 심리학이 우리의 마음을 다둑거리는 치유의 학문으로서 가능성을 넓혀가고 있는 것과 마찬가지로 인간의 근본문제를 탐구하는 학문으로서 더 중요한 가능성이 있다는 것을 인식하였으면 한다.mind

김남균 계명대 심리학과 교수 지각심리 Ph.D.

University of Connecticut에서 실험심리학으로 박사학위를 수여받았으며, 그 뒤, William Paterson University (NJ 주립대학)과 영국 University of Leicester 심리학과 교수를 거쳐 현재 계명대학교 교수로 재직 중이다. 시각에 근거한 운동 통제에 관심을 갖고 있으며, 최근에는 퇴행성 뇌질환 환자, 특히 알츠하이머형 치매 및 파킨슨병 환자들의 시각 및 운동 장애에 관한 연구를 진행 중 이다.