문제 05. n-gram

주어진 시퀀스(문자열이나 리스트 등)에서 n-gram을 만드는 함수를 작성하시오. 이 함수를 이용해 "I am an NLPer"라는 문장에서 단어 Bigram과 문자 Bigram을 구하시오.

 

s = "I am an NLPer"

def bigram(idx, n):
    return [idx[i:i+n] for i in range(len(idx)-n+1)]

w = s.split(" ")

print(bigram(w,2))
print(bigram(s,2))

 

[출력 결과]

[['I', 'am'], ['am', 'an'], ['an', 'NLPer']]
['I ', ' a', 'am', 'm ', ' a', 'an', 'n ', ' N', 'NL', 'LP', 'Pe', 'er']

 

- 언어 모델 (language model)

단어 시퀀스에 확률(probability)을 부여(assign)하는 모델

 

+) Bigram: 단어의 활용이 바로 전 단어에만 의존 

 

[참고]

ratsgo.github.io/from%20frequency%20to%20semantics/2017/09/16/LM/

언어모델(Language Model) · ratsgo's blog

pdfs.semanticscholar.org/7958/db0c6d4ee4453e133f6479cb05bb88f9c37c.pdf

www.slideshare.net/hunglq/lecture-6-56160116

Lecture 6

datascienceschool.net/view-notebook/a0c848e1e2d343d685e6077c35c4203b/