국내 AI 스타트업 투디지트, SQuAD2.0 이어 GLUE에서도 상위권 등극
SQuAD2.0 7위·13위, GLUE 14위 기록…MS,구글보다 좋은 성능 입증
문법 정확도·유사도·의미 묻고 AI가 문제 풀이, 자연어처리 AI 성능 평가

투디지트는 광주 AI 협약기업으로 협약 지원을 통해 글로벌 최고 AI 팀이 365일간 경쟁하는 'SQuAD2.0'(미국 스탠퍼드 대학이 주최하는 기계 독해 대회)에 참가해 페이스북, 마이크로소프트 등을 제치고 7위를 차지했다. 또한 딥마인드와 뉴욕대, 워싱턴대가 주최한 AI 문해력 자연어 평가 대회‘GLUE’에서도 마이크로소프트, 페이스북 AI를 뛰어넘는 14위를 기록하며 동시 상위권 입상을 기록했다.  (사진=투디지트 제공).
투디지트는 광주 AI 협약기업으로 협약 지원을 통해 글로벌 최고 AI 팀이 365일간 경쟁하는 'SQuAD2.0'(미국 스탠퍼드 대학이 주최하는 기계 독해 대회)에 참가해 페이스북, 마이크로소프트 등을 제치고 7위를 차지했다. 또한 딥마인드와 뉴욕대, 워싱턴대가 주최한 AI 문해력 자연어 평가 대회‘GLUE’에서도 마이크로소프트, 페이스북 AI를 뛰어넘는 14위를 기록하며 동시 상위권 입상을 기록했다.  (사진=투디지트 제공).

AI 데이터센터에 새롭게 입주한 투디지트가 입주한 기업들 중 가장 좋은 성과를 드러내고 있다. 세계 3대 자연어 이해 인공지능 대회 2개에서 인간을 뛰어넘는 성능을 동시에 달성한 것. 투디지트는 광주 AI 협약기업으로 협약 지원을 통해 글로벌 최고 AI 팀이 365일간 경쟁하는 'SQuAD2.0'(미국 스탠퍼드 대학이 주최하는 기계 독해 대회)에 참가해 페이스북, 마이크로소프트 등을 제치고 7위를 차지했다.

또한 딥마인드와 뉴욕대, 워싱턴대가 주최한 AI 문해력 자연어 평가 대회 'GLUE'에서도 마이크로소프트, 페이스북 AI를 뛰어넘는 14위를 기록하며 동시 상위권 입상을 기록했다. 투디지트가 이같이 세계대회에서 석권할 수 있었던 핵심 기술은 무엇일까.

세계 기계독해 대회 7위 기록한 투디지트의 LANet모델

투디지트는 광주 AI 협약기업으로 협약 지원을 통해 글로벌 최고 AI 팀이 365일간 경쟁하는 'SQuAD2.0'(미국 스탠퍼드 대학이 주최하는 기계 독해 대회)에 참가해 페이스북, 마이크로소프트 등을 제치고 7위를 차지했다.(사진=투디지트 제공).

미국 스탠퍼드 대학이 주최하는 SQuAD2.0은 기계독해(MRC) 테스트로 10만 개의 답변 가능한 질문과 5만 개의 답변이 불가능한 질문을 통해 AI 시스템의 능력을 평가하는 대회다. 참여하는 팀은 트레이닝 데이터를 이용해 모델을 개발하고 Dev.Data Set로 자체 검증이 한다. 실제 테스트는 철저한 비공개로 진행해 각 팀의 기술을 보호하고 참가팀의 공식적인 점수와 순위는 모두에게 공개한다. 일반 언어와 금융 언어의 차이점을 인지할 수 있는 인공지능 기술을 개발하는 투디지트는 이번 SQuAD2.0 참가를 위해 LANet(Linguistic Acceptability Net) 기술을 적용했다.  

LANet는 금융에 특화된 NLP 처리를 위해 만든 모델이다. 금융 관련 부족한 데이터를 투디지트 만의 데이터 증강 기술로 정확도를 향상시켰다. LANet는 뉴스의 본문과 해당 종목 간의 관련성을 모델이 사전 학습함으로써 종목에 대한 특징을 모델이 이해하는 기술이다. 그 결과 투디지트는 SQuAD2.0에서 90.420점의 높은 점수를 기록하며 Human Performance 86.831을 뛰어넘는 성능을 달성했다. 

SQuAD2.0의 중요한 이슈는 크게 세가지다. 첫째, '지문에 없는 질문-오답찾기'가 추가돼 스쿼드 1.0보다 난이도가 높아졌다. 이어 인간의 독해 능력을 넘어섰는지가 중요한 기준이다. 과거의 1위 팀이라고 하더라도 현재 이 기준을 넘어서지 못한 경우가 다반사다. 마지막으로는 참가팀의 기술격차다. 기준을 넘지 못한 기업들의 격차는 매우 크다. 'GLUE'대회에서는 두 문장 간의 관련성을 LANet를 이용해 좀 더 심층적으로 분석해 추론 할 수 있도록 모델을 파인튜닝 했다는 게 투디지트의 설명이다.

전 세계에서 대적할만해…국내 자연어 인공지능 기술 주목

국내 AI 스타트업 투디지트는 딥마인드와 뉴욕대, 워싱턴대가 주최한 AI 문해력 자연어 평가 대회‘GLUE’에서도 마이크로소프트, 페이스북 AI를 뛰어넘는 14위를 기록하며 동시 상위권 입상을 기록했다. (사진=투디지트).

자연어 이해 인공지능 관련해 특히 두각을 보이던 투디지트는 또 한 번의 성과를 냈다. GLUE(General Language Understanding Evaluation) AI 자연어 이해 평가 대회에 참가해 리드보드 89.3으로 14위에 오른 것. 1위 91.3점과 불과 2점 차이이며 GLUE Human Baseline인 87.1점을 뛰어넘는 점수다. 

투디지트가 사용하는 금융 자연어 인공지능 기술 소개서. (사진=투디지트 제공).

자연어 이해 평가 대회 GLUE는 10개의 task에 대한 총점수가 높은지를 겨루는 대회다. 대회 방식은 자연어처리 AI 모델을 훈련하고 성능을 평가, 비교하기 위한 9개의 데이터세트로 구성됐다. 쉽게 말해 일종의 문제은행 방식인데 문법의 정확도, 두 문장의 유사도, 문장의 의미 등을 묻는 문제를 내고 AI가 이를 풀도록 한다. 다수의 AI 모델을 평가할 수 있고, 평가 결과를 시각적으로 확인할 수 있어 AI 모델에 대한 객관적인 품질 측정이 가능하다는 장점이 있다.

이처럼 GLUE는 자연어 처리 모델의 성능을 평가하는 가장 기본이 되는 벤치마크로 많은 글로벌 업체가 참여하고 있는 대회임에도 난이도가 높아 국내 기업은 상위권에 전무했다. 투디지트 박석준 대표는 "전 세계에 우리나라 인공지능 기술의 개발력을 알린 것에 힘입어 더 많은 글로벌적 성과를 내고 싶어 대회에 참가했다"며 "회사의 성과에 집중할 뿐 아니라, 세계 대회 등 글로벌적 성과에도 집중해 우리나라 인공기술의 힘을 널리 알리고 싶다"라고 전했다.

AI타임스 조형주 기자 ives0815@aitimes.com

[관련 기사]"온라인으로 구매해도 내 몸에 착!"…빅웨이브에이아이, AI 의류 피팅 서비스 개발 주력

[관련 기사] [Aidea] ㉝ “우리 아이 괜찮을까?”…AI가 어린이집 아동 학대 막는다

키워드 관련기사
  • "원석을 보석으로"…엑센트리벤처스, 광주특구 스타트업 성장 돕는 엑센트리로켓단 10기 모집
  • 메타, 200개 언어를 실시간 번역하는 AI 모델 출시
  • "온라인으로 구매해도 내 몸에 착!"…빅웨이브에이아이, AI 의류 피팅 서비스 개발 주력