느프트, 자연어처리 연구 결과물 ‘알맹이 말뭉치’ 공개

느프트(대표 유정욱)는 신조어와 합성어 처리에 강점을 가진 AI 자연어 처리 데이터베이스 ‘알맹이 말뭉치’를 공개한다고 밝혔다.

새롭게 공개된 ‘알맹이 말뭉치’는 CHAT GPT를 대표로 하는 AI 언어 처리 기술에 중요하게 활용 가능한, 새로운 신조어와 합성어에 강점을 가진 한국어 데이터베이스이다.

특히 다양한 뉴 미디어와 SNS를 통해 쏟아지고 있는 합성어∙신조어에 가장 초점을 두고 생성한 데이터베이스로 매일 업데이트 되는 RSS뉴스피드 및 WIKI 내용을 학습해 얻은 데이터와 기존의 말뭉치를 필터링하여 새롭게 구성한 결과물이다.

‘알맹이 말뭉치’는 기존 형태소 분석기에서 분석 오류가 많이 나타나는 합성어, 새롭게 탄생하는 신조어들을 지속적인 문자데이터 수집과 비지도 학습(Unsupervised learning)과 같은 최신 AI 기술의 적용을 통해 학습한 보다 정확한 형태의 데이터베이스이기 때문에 키워드 형태 분석에서 장점을 가지고 있다.

느프트는 내달 초 뉴스 키워드 공유 플랫폼 ‘알맹이’를 공개할 예정으로 사용자에게 현재 가장 이슈가 되고 있는 주제가 무엇인지, 그 주제의 키워드가 무엇인지를 제공하는 것이 알맹이 플랫폼이 추구하고 있는 방향이며, 궁극적인 목표는 자연어처리 학습을 위한 양질의 데이터를 수집해 제공하는데 있다고 설명했다. 

유정욱 느프트 대표는 “자연어처리의 시장규모는 빠르게 성장할 것이며, 한국형 CHAT GPT의 개발과 더불어 한국어 자연어 처리 시장에 ＇알맹이 말뭉치＇가 크게 기여할 것을 확신” 한다고 말했다.

한편 ‘알맹이 말뭉치’에 관한 자세한 정보는 공식 홈페이지에서 확인할 수 있다. /정의준 기자 firstay@sedaily.com