실용의 격률과 정보이론

1. 단단하다는 말의 뜻

다이아몬드가 단단하다는 말은 무슨 뜻인가. 퍼스는 가추를 세운 같은 해에 이 질문으로 답을 보였다. 단단하다는 것은 다른 많은 물질로 긁어도 긁히지 않는다는 것이다. 그 밖에 단단함이라는 말에 남는 뜻은 없다. 한 번도 긁혀 본 적 없는 다이아몬드가 단단한지 무른지를 따지는 논쟁은 어느 쪽으로 결론이 나도 세계에 아무 차이를 만들지 않으므로 말다툼이다.

이것이 실용의 격률이다. 퍼스의 문장을 옮기면 이렇다. 우리가 생각하는 대상이 실제로 영향을 미칠 수 있다고 여겨지는 효과들을 떠올려 보라. 그 효과들에 대한 생각이 그 대상에 대한 생각의 전부이다.

격률은 명제를 가르는 칼이다. 어떤 명제가 참이든 거짓이든 떠올릴 수 있는 효과가 하나도 달라지지 않으면 그 명제는 아무것도 말하지 않은 것이다. 그럴듯한 형식을 갖추고 있어도 격률을 통과하지 못한다.

2. 섀넌의 잣대

클로드 섀넌은 1948년에 같은 칼에 눈금을 새겼다. 그 논문에서 섀넌은 정보량을 불확실성이 줄어든 정도로 정의했다. 앞면과 뒷면이 반반인 동전을 던진 결과를 들으면 불확실성이 1비트 줄어든다. 스무고개에서 예와 아니요로 답이 갈리는 질문 하나가 최대 1비트를 준다. 식으로는 H = -Σ p(x) log p(x) 이다.

이 기준을 명제에 대면 판정이 선다. 어떤 명제를 듣기 전과 들은 뒤에 가능한 상태들의 목록이 조금도 줄지 않았다면 그 명제의 정보량은 0이다. 어떤 상태도 배제하지 않는 명제는 아무리 깊어 보여도 정보가 아니다.

퍼스의 격률과 섀넌의 정보량은 같은 것을 다른 쪽에서 잰다. 격률은 효과가 달라지는지를 묻고 정보량은 가능한 상태가 줄어드는지를 묻는다. 둘 다 정보량이 0인 명제를 걸러내는 기준이다. 퍼스가 판정의 원리를 세웠고 섀넌이 거기에 수치를 붙였다.

3. 의미는 빼도 목표는 못 뺀다

섀넌은 논문 첫머리에서 의미를 명시적으로 배제했다. 메시지가 무엇을 뜻하는지는 공학 문제와 무관하다고 못박았다. 그러나 목표는 배제하지 못했다.

계산을 시작하려면 먼저 정해야 할 것이 셋 있다. 무엇을 기호로 셀지가 정해져야 확률이 정의된다. 무엇이 신호이고 무엇이 잡음인지가 정해져야 한다. 같은 파형이 통신에서는 잡음이고 천문학에서는 신호이다. 어디까지 같으면 재현으로 볼지도 정해져야 한다. 비트 단위로 같아야 하는지 들리기만 하면 되는지에 따라 답이 다르다.

셋 다 계산 이전에 정해지고 정하는 것은 목표이다. 이론 안에서 유도되지 않는다. 의미는 잘라낸 뒤에 붙는 것이라 없어도 계산이 돌지만.. 목표는 자르기 자체를 수행하는 것이라 없으면 자를 수 없다.

4. 의미 있는 인지연산은 목적을 가진다

격률과 정보량을 겹쳐 놓으면 한 명제가 선다. 의미 있는 인지연산은 모두 목적을 가진다.

격률은 효과가 달라지는지를 물었다. 그런데 무엇이 달라져야 차이로 치는지는 격률 혼자 정하지 못한다. 정보량은 가능한 상태가 줄었는지를 물었다. 그런데 무엇을 상태로 셀지는 섀넌 혼자 정하지 못한다. 두 기준 모두 판정을 내리기 전에 무엇을 위해 가르는지를 요구한다. 그래서 격률을 통과한 인지연산.. 곧 정보량이 0이 아닌 인지연산은 목적을 품을 수밖에 없다. 목적 없이 돌아가는 연산은 무엇도 가르지 못하고 가르지 못한 연산은 정보를 내지 않는다.

이것은 가추에도 그대로 걸린다. 가추가 공간을 연다고 했지만 어느 방향으로 열지는 목적이 정한다. 목적이 없는 가추는 공간을 아무렇게나 여는 것이고 그렇게 열린 공간은 판정할 기준이 없어 정보가 되지 못한다.