“하이퍼클로바X, 한국판 AI 능력 평가서 美 빅테크보다 높은 점수”
네이버클라우드 “한국특화지식 종합한 성능 우수”
45개 분야 3만여 개 전문가 수준 문항 구성
GPT-3.5-Turbo와 Gemini-Pro보다 높은 점수
보안·성능 모두 갖춘 ‘소버린 AI’ 솔루션 발전 계획
[사진=네이버]
[서울경제TV=황혜윤 인턴기자] 네이버클라우드는 하이퍼클로바X가 한국판 인공지능(AI) 성능 평가 체계 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록했다고 27일 밝혔다.
KMMLU는 국내의 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학·기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5,030개 문항으로 구성돼 있다. 수학적 추론 능력과 같이 전세계에서 공통적으로 적용할 수 있는 광범위한 지식을 묻는 문항 비중이 약 80%, 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%다.
이를 통해 AI의 보편적 능력과 로컬 지식을 고르게 측정함으로써 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다는 설명이다.
오픈AI, 구글 등 북미 테크 기업들은 자사 AI 성능 확인을 위한 지표로 주로 ‘MMLU’를 사용하고 있다. 그러나 이를 한국어로 번역하는 경우, 문항의 부정확한 번역과 여러 문제에 내재된 영어권 국가만의 문화적 맥락 때문에 AI 모델의 한국어 능력을 제대로 가늠하기 어려운 한계가 있었다.
네이버클라우드는 KMMLU가 한국어 원본의 시험 문제들로 구성돼 국내·외 AI의 한국어 이해 역량도 보다 정확하게 평가할 수 있다고 설명했다.
KMMLU 연구 논문에 따르면, 하이퍼클로바X는 오픈AI GPT-3.5-Turbo와 구글 Gemini-Pro보다 높은 점수를 기록했다.
이에 네이버클라우드는 하이퍼클로바X의 일반 지식과 한국 특화 지식을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다고 설명했다. 또 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록해, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 유용할 수 있다고 덧붙였다.
네이버클라우드는 KMMLU를 통해 입증된 하이퍼클로바X의 성능 경쟁력을 바탕으로, 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린(Sovereign) AI’ 솔루션으로 발전시켜나가겠다는 계획이다. 지난해 10월에는 고객사가 폐쇄된 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 ‘뉴로클라우드 포 하이퍼클로바X’를 출시했고, 향후 다양한 기업용 솔루션도 선보일 방침이다.
성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로, 우수한 성능, 강력한 보안을 갖춘 솔루션과 함께 국내 산업계 전반에서 도입이 이뤄지고 있다”며 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다. /mohyeyun@sedaily.com
[ⓒ 서울경제TV(www.sentv.co.kr), 무단 전재 및 재배포 금지]
주요뉴스
주간 TOP뉴스
- 1[단독] 대한항공 청자색 유니폼 20년만에 바뀐다
- 2'토허제' 재지정에 거래 위축?…목동, 신고가 속출
- 3포커스미디어 “아파트 입주민 효도 콘서트 1위 임영웅”
- 4실적 눈높이 오른 네이버, 28만원 간다…"라인 영향 제한적"
- 5[기자수첩]심사평가원장은 소속 직원들의 행태를 알고 있는지?
- 6'프리미엄'으로 승부하는 카드사…우량고객 유치 집중
- 7'오산세교2 오산역 금강펜테리움 센트럴파크' 8일 1순위 청약
- 8티웨이항공, 월간 티웨이 5월 프로모션 진행…여름 휴가 대비 초특가 항공권 판매
- 9간편결제사 맹추격…위협받는 카드업계
- 10전기차 판매 숨고르기…‘RV 하이브리드’ 시장 주도
공지사항
더보기
핫클립
-
- [강세테마주] 폴라리스오피스, 와이씨 │ 애플, AI 연산 성능 높인 아이패드 프로 공개, AI 슈퍼사이클 테마 탑픽! 神들의 매매신호 2024-05-10 (금) 방송
- [종목상담 주식콜콜] 제이앤티씨, 주성엔지니어링, LG전자, 대원전선│최충성 전문가 베스트 트레이딩 맨 2024-05-09 (목) 방송
- [오늘장핫스탁5] 코스피, 외국인 '팔자'에 2,710선 후퇴 | 삼성중공업, 카페24, 폴라리스오피스, 실리콘투, 제이엘케이 베스트 트레이딩 맨 2024-05-09 (목) 방송
- 내일 시장 원픽 섹터와 종목은? 위성통신주의 AP위성와 미용 의료기기주의 제이시스메디칼!│ 주가,특징주 오늘장 내일장 2024-05-09 (목) 방송
-
- 지수상승하면 우량주, 혼조세면 개별주, 하락하면 관망 평택촌놈의 정석투자 2019-03-26 (화) 방송
- 메타버스와 교육이 합쳐진다? 웅진씽크빅 지금이 매수 타이밍!│ 매매전력(웅진씽크빅,교육주,윤석열관련주) 마감임박! 60분의 승부 2021-11-12 (금) 방송
- [내일의 BOOM] 탄소감축 = 원전? 달리는 말 '세보엠이씨' 탑승 전략은? │ 매매전략 (세보엠이씨,원전주,종가베팅) 오늘장 내일장 2021-11-12 (금) 방송
- 2월 25일이 반등 고점은 확실, 이제는 하락 속도의 문제 평택촌놈의 정석투자 2019-03-26 (화) 방송
이 시각 이후 방송
-
03:00주식포맨
재방송 최민호 PD 이정원 MC
-
04:00베스트 트레이딩 맨 2부
재방송 박아인 PD 김혜연 MC
-
05:00해선시대
재방송 신민정 PD 박수연 MC
-
06:00월간 서울경제TV
재방송 SEN PD SEN MC
-
06:50증시7
생방송 김호빈 PD 오은비, 이소연 MC
오늘의 날씨
2024-05-10(금) 03:00마포구 상암동14.0℃
강수확률 0%