앞에서 살펴본 것처럼 시각 정보 처리 과정에서 지각의 하위 체계인 단순 물리자극을 조합해 지각의 대상인 물체의 전체적인 형태를 파악하는 처리 방식을 상향적(bottom-up) 처리라 일컫는다. 반면에 기억 또는 학습을 통해 습득한 과거의 지식이 지각의 하위 체계 처리 과정에 영향을 미치는 경우를 하향적(top-down) 처리라 일컫는다. 이 두 과정은 지각 과정의 여러 모형을 이해하는 데 매우 중요한 역할을 한다.
1) 상향적 시각 정보 처리 모형
시각 정보 처리 과정에서 나타나는 상향적 정보 처리 과정을 이론화한 예로 세부특징모형(feature-matching model)이 있다. 셀프리지(Selfridge, 1959)가 제안한 이 모형에 따르면, 시각 이미지에 대한 지각은 그 이미지를 분석하고 조직화하는 과정에서 발견되는 세부 특징과 기억 속에 저장된 이미지의 세부 특징이 서로 얼마나 유사한가를 토대로 이루어진다고 가정한다. 예를 들어, 알파벳 'R' 자는 수직 및 수평 그리고 사선이라는 직선과 하나의 곡선이라는 시각적 세부 특징을 가지며, 각각의 세부 특징이 조합되는 모양과 각도에 따라 제한된 수의 몇 가지 세부 특징들로 조직화된다. 이 과정에서 분석된 세부 특징을 부분적으로 공유하는 또 다른 알파벳들의 수는 지극히 제한적이다 (예, R, P, D, G 등), 이 제한된 수의 알파벳 중 세부 특징들이 정확히 일치하는 기억 속의 글자('R')를 찾아냄으로써 그 패턴을 지각하게 된다.
세부특징모형은 시각 정보를 분석한 결과물인 기본 세부 특징 단위로부터 조금 더 복잡한 형태의 상위 세부 특징으로 조직화하는 과정에 존재하는 위계성(hierarchy)을 강조한다. 이러한 세부특징모형의 위계성 원리는 신경해부학적 연구를 통해 발견된 피질 수준의 신경 세포들이 가지고 있는 위계적 처리 특성과 매우 유사하다. 후벨과 위젤(Hubel & Wiesel, 1959)은 고양이의 시각피질에 존재하는 여러 세포 중 일정한 방위(orientation)를 가진 직선 자극이 수용장 내에 제시될 때 활발하게 반응하는 세포를 발견하였다. 후벨과 위젤은 이 세포들을 '단순세포(simple cell)'라 명명하였으며, 특정 방위의 선분에 선별적으로 반응하여 마치 세부특징탐지기(feature detector)와 같은 특성이 있음을 보여 주였다. 흥미롭게도 수용장 내에서 특정 방향(direction)을 향해 움직이는 선분 자극에 민감하게 반응하는 세포 또한 관찰되었는데, 이를 '복합 세포(complex cell)' 라고 한다. 이 세포의 수용장은 단순세포의 수용장들을 조합한 형태의 수용장을 가지고 있다. 복합세포는 단순세포보다는 더 복잡한 상위 단계의 세부 특징 분석을 담당하는 것으로 보이는데, 앞서 위계적 조직화를 강조하는 세부특징모형의 주장처럼, 이는 인간의 시각피질에 존재하는 세포들 또한 위계적으로 세부 특징을 처리하고 있을 가능성을 시사한다.(Hubel & Livingstone, 1987).
상향적 처리는 사물의 재인(object recognition) 과정을 체계적으로 설명하려는 시도의 일환으로 나온 구조기술이론(Recognition-By-Components: RBC)에서도 그 흔적을 찾을 수 있다. 어빙 비더만(Biederman, 1987)은 관찰을 통해 사물의 기본 구성 요소(component)를 파악하여 그 사물을 재인한다는 모형을 제안하였다. 마치 문장을 구와 절 및 단어와 낱자 등의 기본 요소들로 분해하고 재조합할 수 있는 것과 마찬가지로, 이 과정은 기본 구성 요소의 분해와 재조합이 자유롭다고 가정한다. 비더만은 기본 구성 요소들을 지온(Geometric-fon: Geon)이라고 명명하였는데, 이 지온들은 시각적 관점에 따라 변하지 않는 특성(viewpoint-invariant)을 가지고 있다. 지온은 이와 같은 특징으로 인해 어떤 관점에서 보아도 쉽게 재인되고 부분적으로 그것과 중첩되는 방해물의 영향을 별로 받지 않는다. 지온 개념을 도입한 구조기술이론은 사물의 기본 구성 요소 간의 관계를 기술하는 데 매우 유용한 것으로 알려져 있다.
2) 하향적 정보 처리 모형
하향적 접근은 상향적 접근에서 강조하는 세부 특징이나 사물의 구성 요소간의 분석 및 조합 과정보다는 지각의 대상이 속한 주변의 정황(context) 정보와 과거의 지식 (knowledge)을 강조한다. 하향적 접근은 지각의 대상이 속한 주변 정황 정보와 과거의 지식에 근거해 그 사물이 무엇인지에 대한 가설을 세우고, 그다음 그 가설을 검증하는 과정의 일환으로서 세부 특징과 구성 요소를 분석하고 재조합한다고 주장한다. 예를 들어, 차도 주변의 표지판이 붉은색 표지판일 경우 표지판에 씌인 글씨는 경고 문구 중의 하나일 가능성이 크다. 우리의 지각 과정은 표지판의 붉은색을 지각하여 그 표지판에 쓰여 있을 문구가 경고문 ‘정'이나 ‘위'일 것으로 예상한다. 여러분이 쉽게 예상하는 바와 같이, 경고문은 '정지'나 '위험' 등일 가능성이 크다.
최근에는 상이한 두 접근법을 절충하려는 시도가 주를 이루고 있는데, 상향적 접근은 단순 세부 특징의 분석과 조합 과정을 설명하는 데 유용한 모형을 제공하는 반면에, 하향적 접근은 자극의 명확한 분별이 모호한 상황(예, 어두운 곳에서 글자 읽기)을 해결하는 과정에 유용한 지각 모형을 제공한다.
3) 마 (David Marr)의 시각 계산 모형
지각 과정을 체계적으로 설명한 이론 중 현재까지 널리 인정받고 있는 모형에는 데이비드 마(David Marr)의 계산이론이 있다. 마(Marr, 1982)는 엄격한 의미에서는 상향적 접근을 강조한 시각심리학자지만, 하향적 접근에서 강조하는 정황 정보와 지식의 중요성도 깊이 공감한 학자다. 그의 모형이 중요한 이유는 무엇보다도 신경생리학적 구조에서 도출되는 시각의 기능적 측면을 정교한 계산 모형을 통해 설명할 수 있는 방법을 제공하였기 때문이다.
마는 시각연구의 가장 중요한 목적이 물리적으로 구현(implementation)된 시신경기관의 구조와 그 구조가 결정하는 알고리듬(algorithm)을 이해하여 시각기관이 수용기로부터 피질 수준까지의 정보 처리 과정에서 무엇을 계산(computation) 하는가를 밝히는 데 있다고 주장하였다. 마는 시각의 계산 과정을 대략적으로 세 단계로 구분하였다. 첫째 단계는 망막을 통해 들어온 2차원 정보에 대해 이미지의 대략적인 스케치 (예, 의자의 스케치)를 형성하는데, 이를 원시 스케치(raw primal sketch)라 부른다. 둘째, 원시 스케치에 깊이 단
서와 물체 표면의 굴곡 등을 첨가함으로써 2와 1/2차원적 스케치가 만들어진다. 마지막으로 2와 1/2차원적 스케치는 사물의 각 부분 간의 공간적 관계를 명시한 3차원적 스케치로 완성되며, 이 과정에서 사물의 정체를 파악하게 되는 재인(recognition)이 이루어지게 된다. 마의 이론은 그 자체로 복잡한 지각 현상을 명료한 수리적 원리로 설명하려 한 시도로 평가받고 있다.