SILVERCitYz

자연어 처리 기법이 어떤 식으로 발전했는지 N-grams, Clustering, Caching, Smoothing, Skipping models, sentence-mixture 모델 등에 대해 이야기하면서 간략하게 알려주는 논문이다. 2001년에 나온 논문이라 SOTA 기법들에 대한 내용은 없지만, 전체적인 흐름을 읽기엔 좋을 듯 하다. 73쪽의 방대한 분량이라 파트를 몇 개 나눠서 정리하려 한다. 자연어 모델은 보통 시작을 전에 있던 단어 배열의 확률을 가지고 타겟 단어의 확률을 예측하는 것이 기본이다. 수식으로 표현하면, P(w_1w_2...w_i) = P(w1)P(w_2|w_1)P(w3|w_1w_2) ...P(wi|w_1w_2...w_i-1) 이렇게 정리되는데, P(w1)이나 P(w_2|w_1)과 ..

Abstract 트레이닝 데이터의 부족은 문장 중의성 해소를 위한 코퍼스 기반의 접근의 큰 문제 점이였다. 선택적 선호도는 전통적으로 모호성과 연관되어있다. 이 논문은 어떻게 선택적 선호도의 통계적 모델이 직접 manual annotation of selection restrictions 또는 supervised training 없이도 중의성 해소에 사용될 수 있는지 보여준다. Introduction selectional constraints와 word sense disambiguation이 서로 밀접한 관련이 있다는 사실은 오래전부터 관찰되어왔다. 물론, most computational settings에서 대표적인 sense disambiguation의 예는 Katz and Fodor's use of..

Artificial Intelligence and Language Processing 무언가를 깊게 이해하기 위해서는 그에 대한 역사와 변혁과정을 아는 것이 중요하다. 머신러닝의 초기 아이디어와 어떻게 발전해왔는지에 대해 알고싶었다. 레딧에서 추천한 리스트를 기반으로 논문들을 정리해보고자 한다. A Theory of the Learnable - L. G. VALIANT(1984)는 기계가 학습한다는 것에 대한 개념이 없었을 때, 어떻게 하면 기계가 사람이 무언가를 학습하는 과정을 모방할 수 있을까에 대한 아이디어에 대해 다룬 논문이다. 논문 전반적으로 propositional calculus에 대한 내용이 자주 등장한다. propositional calculus (명제논리)는 명제에 논리합과 같은 논리연..