TL;DR

  • 신경망의 회로(circuit)를 뉴런 또는 뉴런 방향과 그 사이의 연결로 정의하고, 회로 분석에 쓰이는 핵심 용어를 정리함.
  • 회로 모티프(circuit motif)는 등변성이나 사례별 결합처럼 회로에서 반복되는 추상 패턴임.
  • 특징(feature)은 입력의 스칼라 함수이며, 신경망의 특징은 방향 또는 개별 뉴런으로 나타나고 의미 있는 속성에 반응하는 것으로 주장함.
  • 특징은 여러 잠재 변수에 반응하는 다의미적(polysemantic) 특징과 하나의 잠재 변수에만 반응하는 순수(pure) 특징 등으로 구분됨.
  • 표현(representation)은 한 층의 모든 뉴런 활성값으로 이루어진 벡터 공간이며, 그 층에 존재하는 특징의 집합으로 볼 수 있음.

회로와 회로 모티프

  • 회로(Circuit)는 신경망의 부분 그래프임. 노드는 뉴런 또는 뉴런들의 선형 결합인 방향에 대응함.
  • 인접한 층에 속한 두 노드 사이에는 간선이 있으며, 간선 가중치는 해당 뉴런 사이의 가중치임. 노드가 선형 결합이면 가중치는 n1Wn2T임.
  • 합성곱 층의 가중치는 층 간 상대적 위치별 가중치를 나타내는 2차원 행렬임.
  • 회로 모티프(Circuit Motif)는 등변성이나 여러 사례를 결합하는 패턴처럼 회로에서 반복적으로 발견되는 추상적 패턴임. 시스템 생물학에서 회로 모티프를 사용하는 방식에서 착안함.

뉴런과 방향

  • 클라이언트 뉴런 또는 클라이언트 특징(Client Neuron or Client Feature)은 특정한 이전 층 뉴런에 의존하는 후속 층의 뉴런임. 예를 들어 원 검출기는 곡선 검출기의 클라이언트임.
  • 방향(Direction)은 한 층에 있는 뉴런들의 선형 결합이며, 해당 층의 표현 공간에 있는 벡터와 동등함. 개별 뉴런도 벡터 공간의 기저 방향에 해당하므로 방향이 될 수 있음.
  • 방향에 대한 직관은 *Building Blocks*의 “What Does the Network See?” 절과 *Activation Atlases*에서 확인할 수 있음.
  • 하류 / 상류(Downstream / Upstream)는 각각 더 뒤에 있는 층 / 더 앞에 있는 층을 뜻함.

특징의 유형

  • 등변성(Equivariance)은 회로 맥락의 등변 특징이나 등변 회로에 대해서는 등변성 관련 회로 문서를, 수학의 일반적 개념에 대해서는 등변 사상 문서를 참고하는 용어임.
  • 패밀리(Family)는 한 층에서 같은 대상의 작은 변형을 감지하는 특징들의 집합임. 예를 들어 여러 방향의 곡선을 감지하는 곡선 검출기 패밀리가 있음.
  • 특징(Feature)은 입력의 스칼라 함수임. 이 글에서 신경망 특징은 방향이며, 흔히 개별 뉴런임. 신경망의 특징은 대체로 의미 있는 특징이고 엄밀하게 연구할 수 있다는 것이 주장 1의 내용임.
  • 의미 있는 특징(Meaningful Feature)은 곡선의 존재나 늘어진 귀처럼 말로 설명할 수 있는 입력 속성에 실제로 반응하는 특징임. 잡음이 있거나 불완전할 수 있음.
  • 다의미적 특징(Polysemantic Feature)은 고양이/자동차 뉴런처럼 서로 관련 없는 여러 잠재 변수에 반응하는 특징임. 여러 사례에 반응하는 다면적 특징의 특수한 경우로 볼 수 있으며, 자세와 무관하게 개의 머리에 반응하는 특징 같은 ‘실제’ 다면적 특징과 다의미적 뉴런을 모두 포함함. 순수 특징과 대조됨.
  • 순수 특징(Pure Feature)은 단 하나의 잠재 변수에만 반응하는 특징이며, 다의미적 특징과 대조됨.
  • 범용 특징(Universal Feature)은 서로 다른 모델과 과제에서 안정적으로 형성되는 특징임.

표현

  • 표현(Representation)은 한 층의 모든 뉴런 활성값으로 이루어진 벡터 공간임. 벡터는 (뉴런 1의 활성값, 뉴런 2의 활성값, …) 형태임.
  • 표현은 한 층에 존재하는 모든 특징의 집합으로 볼 수 있음. 시각 모델의 표현에 대한 직관은 *Activation Atlases*에서 확인할 수 있음.