오픈AI GPT 시리즈의 4세대 출시 임박
모델 크기 보다 작은 모델 활용에 중점
InstructGPT 기반의 텍스트 전용 모델
GPT-3 보다 사용자 의도 추론 능력 향상
GPT-n 시리즈의 4세대 출시가 임박했다. 지난해 오픈AI(OpenAI)의 CEO인 샘 알트만(Sam Altman)은 AC10 온라인 모임에서 GPT-4 릴리스가 올해로 예정되어 있다고 언급한 바 있다. 그러나 오픈AI는 출시일을 엄격하게 제한했으며 공개 도메인에서도 사용할 수 있는 확실한 정보가 없다.
오픈AI의 세 가지 GPT 모델은 모두 1년 만에 출시됐다. GPT-1은 2018년, GPT-2는 2019년, GPT-3은 2020년에 출시됐다. 이 패턴으로 가면 GPT-4의 출시가 코앞에 다가왔을 수도 있지만 업계 전문가들은 GPT-4가 2023년 초에 출시될 것으로 보고 있다.
GPT-3가 출시된 지 2년이 지났다. 3세대 GPT는 1,750억 개의 매개변수를 가진 딥러닝 모델을 사용해 인간과 유사한 텍스트를 생성한다. 오픈AI는 2020년 9월 22일에 마이크로소프트(Microsoft)의 GPT-3 독점 사용을 승인했다. 사용 가능한 정보와 온라인 세션에서 샘 알트만의 진술을 기반으로 GPT-4에서 기대할 수 있는 개선사항을 알아 본다.
GPT-3과 같은 큰 언어 모델은 많은 모델 매개변수 업데이트 없이 뛰어난 결과를 얻었다. GPT-4는 매개변수 측면에서 GPT-3보다 클 가능성이 가장 높지만 샘 알트만은 크기가 차세대 오픈AI 언어 모델의 차별화 요소가 되지 않을 것이라고 분명히 밝혔다. 매개변수 규모는 GPT-3과 고퍼(Gopher) 사이인 1750억~2800억에 있을 가능성이 높다. 메가트론 튜링(Megatron Turing) NLG 및 구글의 PaLM과 같은 최신 언어 모델에는 5,000억 개 이상의 매개변수가 있다. 흥미롭게도 2,800억 매개변수의 고퍼 및 700억 매개변수의 친칠라(Chiinchilla)와 같은 소형 모델은 여러 벤치마크에서 MT-NLG를 능가했다.
2020년 오픈AI는 매개변수의 규모가 커짐에 따라 성능이 향상됐다고 주장하고, 구글은 PaLM 모델에서 규모가 성능 향상에 영향을 미쳤다고 주장했다. 그러나 샘 알트만은 "큰 것이 항상 더 나은 것은 아니며 GPT-4는 리소스를 더 잘 활용하고 더 나은 기능을 제공하는 데 더 집중할 수 있다"며 오픈AI가 다른 접근 방식을 취하고 있다고 암시했다. 오픈AI가 더 이상 초대형 모델을 만드는 데 초점을 맞추지 않고 더 작은 모델을 최대한 활용하는 데 중점을 둘 것이라고 말했다. 오픈AI는 데이터, 알고리즘, 매개변수화 또는 정렬과 같은 다른 측면을 살펴보고 상당한 개선을 가져올 것이다.
오픈AI는 이미 개선된 버전의 GPT-3를 출시한 바 있다. 예를 들어 InstructGPT 모델은 사용자 의도(사용자가 수행하고자 하는 작업)를 이해하고 보다 명확한 지침을 따라 더 나은 작업을 수행한다. 또한 소스 코드를 생성하고 코드 또는 텍스트의 내용을 수정하거나 삽입하는 GPT 기반 모델인 코덱스(Codex)를 출시했다. 또한 잠재적으로 유해한 콘텐츠 생성과 편향에 대한 AI 안전을 위한 기술 개발도 지속해 오고 있다.
GPT-4는 텍스트 전용 모델이다. 반면 다중 모드(multimodal) 모델은 미래의 딥러닝 모델이다. 우리는 다중 모드 세계에 살고 있기 때문에 우리의 두뇌는 다중 감각이다. 한 번에 하나의 모드로만 세상을 인식하는 것은 AI가 탐색하고 이해하는 능력을 심각하게 제한한다. GPT-4를 텍스트 전용 모델로 만드는 것은 차세대 다중 모드 AI로 이동하기 전에 모델 및 데이터 세트 크기와 같은 매개변수를 조정해 언어 모델을 한계까지 밀어 붙이려는 시도가 될 수 있다.
최근 매우 적은 단서로 필요한 정보를 찾아내는 희소 모델(Sparse model)은 성공적이었다. 이러한 모델은 높은 컴퓨팅 비용을 들이지 않고 1조 매개변수 이상으로 쉽게 확장된다. 이에 구글 등의 기업들은 MoE(Mixture of Experts) 기술을 통한 희소 모델을 확장하는 방식을 채택하기 시작했다. 그러나 MoE 접근 방식의 이점은 매우 큰 모델에서 점점 줄어든다. GPT-2 및 GPT-3과 마찬가지로 GPT-4는 고밀도 모델이 될 것이다. 즉, 모든 매개변수는 주어진 입력을 처리하는 데 사용된다.
GPT-4가 GPT-3보다 클 수 있다고 가정하면 컴퓨팅 최적화에 필요한 훈련 토큰의 수는 현재 데이터 세트보다 10배 더 많은 약 5조가 될 수 있다. 최소 훈련 손실을 위해 모델을 훈련하는 데 필요한 FLOP 수는 GPT-3의 10-20배다. 알트만은 GPT-4가 GPT-3보다 더 많은 컴퓨팅을 요구할 것이라고 말했다. 오픈AI는 모델을 확장하는 것보다 변수를 최적화하는 데 중점을 둘 것이다.
GPT-4는 InstructGPT 모델의 학습을 기반으로 할 가능성이 높다. InstructGPT는 오픈AI의 API에 기본 언어 모델로 배포됐고 GPT-3보다 사용자 의도를 따르는 데 훨씬 뛰어났다. InstructGPT는 사용자의 의도를 더 명확하고 덜 유해하게 만든다. 따라서 InstructGPT를 기반으로 하는 GPT-4는 GPT-3에 비해 인간과 더 일치할 가능성이 있다. GPT-3을 통해 사용자가 자연어를 입력할 수 있지만 좋은 결과를 제공하는 방식으로 프롬프트를 작성하는 데는 여전히 약간의 기술이 필요하다. GPT-4는 사용자의 의도를 추론하는 데 훨씬 뛰어날 것이다.
인터넷 사용자는 GPT-4의 출현으로 훨씬 더 많은 AI 생성 콘텐츠를 보게 될 것이다. 이미 일어나고 있지만 더 나은 결과로 인해 사용량이 폭발적으로 증가할 것이다. 기업의 경우 일상적인 콘텐츠 생성에 필요한 시간을 단축하고 에세이 및 전체 기사와 같이 이전에는 불가능하거나 매우 어려운 사본을 생성할 수 있는 가능성을 볼 수 있다.
알트만은 GPT-4 외에도 GPT-5를 살짝 엿봤다. 그는 GPT-5가 튜링 테스트를 통과할 수 있을 것이라고 말했지만 한편으론 노력할 가치가 없을 수도 있다고도 말했다. 튜링 테스트는 시스템이 인간처럼 생각할 수 있는지 여부를 평가하는 방법이다. 이는 오픈AI가 궁극적으로 지향하는 범용 인공 지능(AGI)을 위한 노력과 일치한다.
AI타임스 박찬 위원 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com