Notice
Recent Posts
Recent Comments
Link
Tags
- selectional preference
- L2 Distance
- 역전파
- defaultdict
- 인사이드
- 워드 임베딩
- 동사 술어
- nlp
- 유사도
- back propagation
- 자연어 처리
- 자연어처리
- Sliding Window
- word2vec
- 클래스
- 거리 재기
- 파이썬
- 동시 출현
- L1 Distance
- 벗기다
- 슬라이딩 윈도우
- 자카드 유사도
- KoNLPy
- 선택 선호도
- Strip
- Infinity Distance
- 워드투벡
- 명사 클래스
- cooccurrence
- selectional association
Archives
- Today
- Total
목록동사 술어 (1)
SILVERCitYz
선택 선호도 (selectional preference)
문장의 일부만 알고 있을 때, 다음 단어가 무엇이 나올지 알고 있다면, 혹은 그 구조에 특정 단어가 출현할 확률을 알고 있다면, 자연어 처리에 도움이 될 것이다. 선택 선호도는 특정 단어들이 동시 출현할 확률(서로 연관됐을 확률)이 있다면, 그 조건부 확률 p(w|x)는 문서에서 w가 출현할 확률 p(w)의 확률과는 확연히 다를 것이라고 가정한다. 예를 들어, "커피를"이라는 단어 뒤에 "마시다"가 나올 확률은 기존 문서에서 "마시다"가 나올 확률보다 훨씬 더 높을 것이다. (더 낮은 경우도 있을까?) 이를 쿨러-라이블러 발산 (KL divergence)를 사용해 선호도를 나타낸다. 더 세부적으로 들어가보자. 어떤 명사를 형용하는 동사를 동사 술어라고 한다. 어떤 명사들은 꼭 특정한 동사와 짝을 이뤄서 ..
NLP
2020. 3. 31. 18:30