연말연시 개인적으로 가지고 있던 화두는 연산과 인출의 구분에 대한 고민이었다. 형식주의 언어학의 큰 전제 중 하나는 연산부로서의 '문법'(grammar)과 저장부로서의 '어휘부'(lexicon)의 구분이다. 자연언어모델은 어휘부로부터 연산가능단위를 가져다가 문법(그것이 제약군이 되었건 규칙군이 되었건)으로 연산한다는 것이 큰 그림이다. 마치 컴퓨터가 RAM이나 HDD SSD등의 메모리에서 정보를 인출하여 CPU나 GPU로 연산을 하는 것과 동일한 모델이다. Chomsky (1981) 이후 아래와 같이 표준적인 Y-Model로 표현한다. 사람들은 무작위로 저장소에서 정보를 가져오는 것을 쉽고 재미있어한다. 저장소에서 정보를 가져오는 것을 '인출'이라고 한다. 인출을 정확하고 빠르게 하는 것은 재밌는 놀이가..