SKT, 자체 언어모델 기반 문서 해석 기술 공개
경제·산업
입력 2025-07-29 10:54:09
수정 2025-07-29 10:54:09
오동건 기자
0개

이날 SKT가 오픈소스 커뮤니티 허깅페이스에 공개한 모델은 A.X Encoder(인코더)와 A.X 4.0 VL Light(비전 랭귀지 라이트) 2종이다. 해당 모델들은 학술 연구나 상업 이용 등에 자유롭게 활용 가능하다.
SKT는 7월 한 달 동안 대규모 학습에 기반한 A.X 4.0 모델 2종(표준, 경량)에 이어 프롬 스크래치 방식의 A.X 3.1 모델 2종(표준, 경량)을 순차적으로 선보였다. 이번에 LLM을 산업 영역에 보다 폭넓게 활용하기 위한 기술 2종을 추가하면서 총 6개의 모델을 발표했다.
SKT는 프롬 스크래치 방식의 LLM 개발을 꾸준히 이어가는 한편, 향후 발표할 A.X 4.0 추론형 모델 등 지속적으로 개발중인 LLM의 활용도와 성능을 높여갈 계획이다. 자연어처리 기술에서 인코더란, 입력된 문장을 문맥으로 변환하고, 이를 바탕으로 다양한 자연어 처리 작업을 수행하도록 돕는 핵심 구성요소다. 문장의 모든 단어들의 상호 관계를 파악하고 전체 의미와 맥락을 이해하는 역할을 한다.
SKT는 A.X 모델에 필요한 데이터의 전 과정 처리 프로세스에 적용하기 위해 ‘A.X 인코더’를 개발했다. ‘A.X인코더’는 긴 문서도 빠르고 효율적으로 처리 가능해 대규모 LLM 학습에 적합하다.
A.X 인코더는 1억4900만개의 매개변수를 바탕으로 작동하며, 자연어 이해 성능지표 평균 85.47점을 달성해 글로벌 최고수준(SOTA)급 성능을 확인했다. 기존 글로벌 오픈소스 모델을 기반으로 RoBerTa-base의 성능지표(80.19점)를 상회하는 수준이다.
A.X 인코더는 1만6384개의 토큰까지 처리가 가능해 기존 모델들보다 최대 3배의 추론속도와 2배의 학습속도를 구현할 수 있다. 통상적으로 기존 모델들이 512개의 토큰을 처리해 보통 문장 혹은 문단 정도의 처리가 가능했다면, 그보다 월등히 큰 문맥을 빠르고 효율적으로 처리한다. 이러한 대규모, 고속 문서 처리 기술은 LLM 학습 외에도 AI 기반의 다양한 문서 처리에 효율적으로 적용할 수 있을 것으로 기대된다.
김태윤 SK텔레콤 파운데이션 모델 담당은 “독자적인 기술력 확보가 소버린 AI의 핵심인 만큼, 자체 역량을 높이고 컨소시엄 기업들과의 협업에도 박차를 가해 글로벌 최고 수준의 AI 경쟁력을 확보할 것”이라고 밝혔다. /oh19982001@sedaily.com
[ⓒ 서울경제TV(www.sentv.co.kr), 무단 전재 및 재배포 금지]
#Tag
관련뉴스
- 삼성전자 ‘XR 헤드셋’ 베일 벗었다…“멀티모달 AI로 혁신”
- ‘시흥 교량 붕괴’ SK에코플랜트·계룡건설 영업정지 6개월
- HD현대·한화오션, APEC서 K조선 알린다…수주 총력
- 현대차, 印 상장 1년…현지 경쟁 ‘격화’에 전략 강화
- 무신사, 7년만 BI 변경…브랜드 리빌딩 가속
- 리스크 벗은 카카오엔터, SM엔터와 시너지 극대화
- LG전자, 신용등급 3년만 상향…“印 IPO 흥행·실적개선”
- SK이노베이션, 6000억원 CB 발행…SK온 지분매입
- S-OIL, 샤힌 프로젝트 공정률 85% …"석유화학 새 도약"
- 동성제약 “인가 전 M&A로 거래재개”…기업 정상화 의지 천명
주요뉴스
기획/취재
주간 TOP뉴스
- 1한명숙 남원시의원 "물 재이용, 미래세대 위한 투자"
- 2출렁다리 254개 시대...지역관광, 다리만 놓고 끝났나
- 3이천쌀문화축제, “쌀로 잇는 즐거움”...22일 개막
- 4해리농협 천일염가공사업소, 코스트코 매장 입점 기념식 개최
- 5김병전 부천시의회 의장, 지역 미식 산업 활성화 캠페인 참여
- 6인천관광공사, 경찰·기업과 함께 치안산업 혁신 기술 선보여
- 7삼성전자 ‘XR 헤드셋’ 베일 벗었다…“멀티모달 AI로 혁신”
- 8‘시흥 교량 붕괴’ SK에코플랜트·계룡건설 영업정지 6개월
- 9동양·ABL 품은 우리금융, 분기 1조 클럽 기대
- 10HD현대·한화오션, APEC서 K조선 알린다…수주 총력
댓글
(0)