N-그램 추출기

n-그램 길이별로 알 수 있는 것

이 도구가 텍스트를 나누는 방식

• 모두 소문자로 바꿉니다. 따라서 “The”와 “the”는 같은 행으로 합쳐집니다.
• 단어는 글자, 숫자, 아포스트로피가 이어진 덩어리입니다. 그 밖의 문자(문장 부호, 기호, 줄바꿈)는 모두 구분자로 보고 버립니다.
• 문장 경계는 유지되지 않습니다. 앞 문장의 마지막 단어와 뒤 문장의 첫 단어가 하나의 n-그램으로 묶일 수 있으므로, 문장을 넘나드는 조합은 걸러서 보세요. 이 점이 중요하다면 문장이나 문단 단위로 나누어 분석하십시오.
• 불용어는 그대로 둡니다. 대신 걸러 주지 않으니, 의미 있는 구만 남기려면 나중에 CSV에서 해당 행을 지우면 됩니다.
• 단어는 공백과 문장 부호로 찾습니다. 한국어는 띄어쓰기를 하므로 이 도구를 그대로 쓸 수 있습니다. 다만 조사가 붙은 어절이 그대로 한 단어로 잡히니(예: “검색”과 “검색을”이 다른 행), 정밀한 분석이 필요하면 형태소 분석기(KoNLPy, Mecab-ko)로 먼저 처리한 결과를 붙여넣으세요. 반면 중국어, 일본어, 태국어는 단어 사이를 띄지 않아 문장 전체가 한 단어로 잡히므로, jieba나 MeCab, 태국어 분절기로 띄어쓰기를 만든 뒤에 사용해야 합니다.

불용어를 제거해야 할 때

불용어란 “the”, “a”, “of”, “and” 같은 고빈도 기능어이며, 한국어에서는 “그”, “및”, “등”, “수” 같은 말이 여기에 해당합니다. 이런 단어를 남겨 두면 “of the”, “in a” 같은 무의미한 조합이 바이그램 목록을 채웁니다. 이 추출기는 불용어를 그대로 두므로, 의미 있는 구만 필요하면 내려받은 CSV에서 해당 행을 지우세요. 반대로 문체 분석, 저자 판별, 기능어 자체가 신호가 되는 언어 모델 연구에서는 남겨 두는 편이 낫습니다.

SEO 활용 사례

“nginx config generator”를 노리는 글이라면 다음을 확인하세요.

• 목표 바이그램과 트라이그램이 상위 20위 안에 있는가. “nginx config”가 40위라면 해당 표현을 충분히 쓰지 않았을 가능성이 큽니다.
• 키워드를 남용하고 있지는 않은가. 압도적인 차이로 1위라면 그 글은 스팸처럼 읽힙니다.
• 의미가 가까운 표현이 함께 있는가. “server block”, “proxy pass”, “ssl certificate” 같은 관련 바이그램이 있어야 검색엔진이 주제를 충실히 다뤘다고 판단합니다.

NLP 및 학술적 활용

• 언어 모델은 평활화와 백오프에 n-그램 빈도를 사용합니다(Kneser-Ney, Good-Turing).
• 저자 판별 연구는 후보 저자별 트라이그램 분포를 비교합니다.
• 기계 번역 평가(BLEU)는 번역문과 참조 번역 사이의 n-그램 중첩도로 점수를 매깁니다.