중소형 오픈소스 VLM 모델 선보여

“동급 모델 중 한국어 최고 성능”

바르코 로고 자체 거대언어모델(LLM) ‘바르코’를 개발한 엔씨소프트(엔씨)가 이를 이미지 분석 기능까지 갖춘 비전언어모델(VLM)로 업그레이드했다. 자연어만 인식할 수 있던 기존 생성형 인공지능(AI)에 ‘눈’을 추가한 것으로,빠르면 내년부터 외부 콘텐츠 기업 등에 관련 서비스를 판매하는 수익화 사업에도 나선다는 계획이다.

엔씨는 4일 비전언어모델(VLM) ‘바르코-비전’과 한국어 멀티모달 벤치마크 5종을 공개했다. VLM은 자연어와 이미지를 함께 활용해 입력 값을 넣을 수 있는 언어모델이다. 현재 오픈소스로 공개된 대부분의 VLM은 영어와 중국어 기반이며 한국어 지원 모델은 소수에 불과해 국내 기업들은 GPT나 클로드 같은 해외 빅테크 기업에 의존하고 있다.

이날 엔씨가 공개한 오픈소스 VLM 모델 바르코-비전은 한글,영어 프롬프트와 함께 이미지 입력 값을 이해할 수 있는 중소형 모델이다. 대형언어모델(LLM)과 유사한 수준의 언어 능력을 보유하고 있어 애플리케이션에서 LLM과 VLM 두개의 모델을 운용하지 않고 바르코-비전 단일 모델 만으로 이미지-텍스트 작업과 텍스트 전용 작업을 모두 처리할 수 있을 전망이다.

바르코-비전은 한국어 부문에서 동종 크기 모델 중 성능이 가장 높다는게 회사측 설명이다. 특히 이미지를 인식하고 추론하는 비전 태스크에서도 뛰어난 결과값을 제공한다.

바르코-비전을 활용하면 AI 서비스 개발 기업은 이미지 인식 및 질의응답,이미지 설명,글자인식(OCR),사물 위치 검출(그라운딩) 기능을 활용한 각종 서비스를 개발할 수 있다.

엔씨소프트 비전언어모델 작동 예시. <엔씨소프트> 콘텐츠 제작 기업은 이미지 상세 설명을 자동 생성해 콘텐츠 제작 시간을 아끼거나,이미지 내 텍스트 인식을 통해 보다 많은 자료를 빠르게 수집하는 등 기획 업무에 도움을 받을 수 있다.

엔씨는 이날 한국어 AI 모델 연구 발전에 기여하기 위한 벤치마크 5종도 공개했다. 일반적으로 언어모델의 성능을 평가하기 위해서는 수행능력 판별의 기준점이 되는 벤치마크가 필요하다. 반면 한국어의 경우 멀티모달 벤치마크가 거의 없어 올바른 성능 평가가 어려운 상황이었다.

엔씨는 영미권에서 대표적으로 사용되고 있는 객관식 벤치마크 3종과 주관식 벤치마크 1종을 기반으로 새로운 한국어 벤치마크 4종을 구축했다. 더불어 한국어 문서,표,차트에 대한 이해능력을 검증할 수 있는 ‘K-DTCBench’ 벤치마크 1종을 새롭게 더했다.

이연수 엔씨 리서치 본부장은 “향후 VLM의 접목 분야를 오디오,비디오까지 확대하고 콘텐츠 제작 지원 기능을 강화하는 등 다양한 산업에서 활용할 수 있도록 성능을 끌어 올릴 것”이라고 밝혔다.