FRL 연구진, VR 키보드 위한 핸드 트래킹 기술 개발 박차
AR‧VR 헤드셋 등 텍스트 입력 문제 해결 실마리 제공
AI 기술 등 활용…손가락 동작 기반해 글자 출력 예측
실제 키보드를 치지 않고 손가락만 움직여 보이지 않는 가상 키보드로 타이핑할 수 있는 날이 머지않은 듯하다. 페이스북 리얼리티 랩스(FRL) 연구진이 물리적인 키보드 없이도 가상현실(VR)에서 타이핑할 수 있는 기술 개발에 박차를 가하고 있다고 지난 21일(현지시간) 미국 IT 전문매체 씨넷(CNET)과 VR타임스 등 외신이 전했다.
FRL은 최근 ‘사용자 인터페이스 소프트웨어 테크놀로지’ 컨퍼런스에서 AR‧VR 사용자가 물리적 키보드를 사용할 필요 없이 터치 타이핑이 가능하도록 돕는 핸드 트래킹 기술에 관한 새로운 연구 성과를 공개했다.
손동작을 인식하는 핸드 트래킹은 AR‧VR 분야에서 매우 유용한 기술이다. 그러나 현재로서 그 기술 수준은 아직 걸음마 단계에 불과하다. 이에 FRL 연구진은 자사의 AR‧VR 사업영역 확대를 위해 핸드 트래킹 시스템 개발에 집중해왔다.
물론 ‘오큘러스 퀘스트(Oculus quest)’는 이미 기본적인 핸드 트래킹 기능을 갖추고 있다. 이 기능을 통해 사용자는 UI(사용자 인터페이스) 시스템을 다루고 웹을 탐색하고 별도의 컨트롤러의 도움 없이 게임을 즐길 수 있다. 여기서 한발 더 나아가 연구진은 최근 AR‧VR 헤드셋 등을 위한 문자 텍스트 입력 문제를 해결하고자 관련 기술 개발에 주력하고 있다.
페이스북 연구진은 인공지능(AI) 훈련과 통계 단어 예측 등을 활용해 오큘러스 퀘스트와 같은 VR 헤드셋과 함께 사용 가능한 보이지 않는 손가락 추적 키보드를 개발하고 있다고 전했다.
연구진은 손가락의 움직임을 토대로 글자의 출력을 예측하는 데 AI 기술과 통계적 디코딩 기술 등을 활용한다. 그동안 사용자의 불규칙한 타이핑 패턴은 기술 개발에 걸림돌이 돼왔다. 이에 연구진은 AI 모델을 기반으로 사람들이 일정치 않은 타이핑 동작을 보임에도 불구하고 무엇을 타이핑하려고 하는지 예측하고자 했다.
이 같은 새로운 방식에 따라 테스트한 결과 타이피스트는 자신의 손만을 이용해 평평한 표면 위에서 분당 평균 73단어를 쳤으며 약 2.4%의 오류율을 보였다. 동일한 타이피스트가 물리적 키보드로 입력할 때와 거의 유사한 속도와 정확성을 달성할 수 있었다는 게 연구진의 설명이다.
연구진은 FRL 시스템이 아직 연구 초기 단계에 있다고 밝혔다. 현재 시스템은 가상 키보드가 소문자만 지원하는 등 몇 가지 과제를 안고 있다. 하지만 동시에 다양한 분야에서 핸드 트래킹 기술의 활용 가능성을 보여줌으로써 향후 AR‧VR 기술 활용 영역이 더욱 확대될 것이라는 기대감도 커지고 있다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com