공간 컴퓨팅(spatial computing)으로 만드는 새로운 현실

퀄컴 코리아님의 프로필 사진

퀄컴 코리아

공식

2021.06.15. 10:213,203 읽음

지금 우리 스마트폰에 탑재된 놀라운 기술과 기능들을 보면 다음에는 과연 어떤 혁신적인 기기가 등장할까, 궁금하지 않으신가요? 도이치 텔레콤(Deutsche Telekom)이 운영하는 테크 인큐베이터, 허브라움(hubraum)은 이 질문에 답하기 위해 최근 혼합현실 데모 데이(Mixed Reality Demo Day) 행사에서 퀄컴과 엔리얼(Nreal), 유니티(Unity)를 비롯한 여러 기업과 만났습니다. 행사는 컴퓨팅의 다음 진화 단계, 공간 인터넷(spatial Internet) 혹은 모바일 인터넷의 공간화(spatialization)의 개념을 다루었는데요. 이 차세대 진화의 단계에서 인터넷에 접근하는 방식은 2D 화면을 통해 응시하던 것에서 확장현실(XR) 헤드셋을 통해 ‘몰입’하는 방식으로 전환될 겁니다. 몰입감을 제공하는 이러한 매개체로 인해 스크린은 사라지는 대신 세상 전체가 여러분의 데스크탑이 되는 거죠.

공간 컴퓨팅(spatial computing)이라고도 불리는 이 개념은 XR, 온디바이스 AI, 5G의 세 가지 주요소가 결합한 덕분에 가능해집니다. 데모 데이에서 유니티가 언급한 내용이 이 기술의 중요성을 잘 요약합니다. “우리는 휴대폰을 꺼내지 않아도 될 미래를 향해 가고 있습니다. AR 글래스의 역할이 확대될 것이기 때문이죠. 공간 컴퓨팅은 미래의 우리 생활과 근무 방식의 중심에 서 있을 겁니다.”

이번 포스팅에서는 XR과 공간 컴퓨팅이 우리가 인터넷에 접속하는 방법을 어떻게 혁신하려 하는지 살펴보려 합니다. 그리고 개발자가 몰입형 솔루션을 개발하는 데 도움이 될 몇몇 퀄컴 기술을 함께 살펴보겠습니다.


추진력
공간 컴퓨팅을 이끄는 요소들이 몇 가지 있는데요. 현재 팬데믹으로 인해 새로운 협업 방식을 찾아야 하는 상황에 처하면서 원격 회의가 주목받고 있지요. 가상 온라인 회의도 좋긴 하지만, 이렇듯 비대면 만남이 지속되고 잦아질수록 대면 만남에서만 경험할 수 있는 친밀감을 재현하고 싶은 바람이 생기기 마련이죠.

기기 측면에서 살펴보자면 강력한 모바일 프로세서 덕분에 이제는 XR 경험을 작은 기기에도 넣을 수 있게 되었습니다. 엔리얼의 Light AR 글래스나 레노버의 ThinkReality A3 등을 예로 들 수 있죠. 아이 트래킹이나 핸드 트래킹과 같은 기능을 활용해 가상 아바타의 눈이나 손 움직임을 제어할 수 있으며, 공간 AR 사용자 인터페이스(UI)로 자세나 상호작용을 제어할 수도 있습니다. 한편 3D 오디오와 3D UI 디자인이 발전하면서 몰입형 경험의 완성도 역시 높아지고 있습니다. 마침내 5G를 통해 가능해진 고대역폭, 저지연 커뮤니케이션은 초고속 클라우드 연결성을 제공해 이러한 경험에 동력을 제공합니다.



사용사례
몰입형 3D 콘텐츠를 위한 높은 처리량과 높은 반응성의 상호작용과 사이버 멀미(cybersickness)를 줄이기 위한 모션 투 포톤(motion-to-photon, 움직임에서 화면까지) 지연시간에서의 니즈를 고려하면, XR은 5G 시대의 킬러앱이 되리라 예상합니다. 인지 전송, 프로세싱, 렌더링, 인코딩, 와핑(warping) 등 XR에서 필요한 고화질 그래픽 처리 부하 때문에 XR 요건은 일반 스트리밍 앱(영화 스트리밍 등)의 요건을 훨씬 뛰어넘습니다. 그리고 이 모든 작업은 거의 실시간으로 이루어져야 하죠. 허브라움 행사에서 공유된 수많은 사례를 통해 개발자가 이러한 요건과 퀄컴의 제한 없는 XR(boundless XR) 비전을 충족할 방법을 확인할 수 있었는데요. 눈에 띄는 사용사례로는 다음이 있었습니다.

• 홀로그램 아바타: 더 사람 같고, 현실감 있으며 동시에 공동으로 작업 가능한 원격 회의 니즈로 인해 가상 아바타가 회의 참여자나 심지어 개인 비서를 표현하는 데 사용되고 있습니다. 이러한 기술은 표정이나 미세한 움직임과 같은 비언어 소통까지도 잡아낼 수 있습니다. 동시에 비슷한 특징의 AI 기반 음성 제어 가상비서는 (가령 음성 기반의 가상 비서 탑재 스피커에서 완전한 홀로그램 가상 비서로 진화하는 등) 스마트 오디오 솔루션의 발전 방향을 잘 보여줍니다. 아바타와 더불어 홀로그램으로 가상 물체를 보여줄 수도 있습니다. 예를 들면 참가자가 원격 회의에서 가상으로 물체를 띄워 다각도에서 보여주며 신제품 디자인과 관련해 협업할 수 있겠죠.
• 이커머스: XR 덕분에 이제 인터랙티브하고 몰입감 있는 디지털 상점이 가능해집니다. 사용자는 AR 글래스로 제품을 살펴보며 상세 정보를 얻거나 여러 각도에서 가상으로 제품을 살펴볼 수 있습니다.
• 개인별 객체 인식: 이미지 촬영 및 인식 기술을 탑재한 AR 글래스는 실제 객체를 기록하고 이후 이 사물들이 사용자 시야에 들어왔을 때 식별할 수 있습니다. 예를 들어 특정 크기와 나삿니를 가진 볼트가 어떻게 생겼는지 기록해 놓으면 제품을 조립할 때 이 볼트를 빠르게 식별할 수 있습니다. 
• 몰입형 도서: 교과서와 아동용 동화책의 경우도 AR에 캐릭터와 장면을 가상으로 구현해 독자의 몰입감을 높일 수 있습니다.
• enTV(Enhanced TV): AR 글래스로 보는 TV도 프로그램 방영 중에 추가 정보를 보여줄 수 있는 기능을 제공합니다. 가령 AR로 TV를 보고 있는 경우 스포츠 게임의 점수를 화면 한편에 추가적으로 띄워서 보여주는 거죠.
• 라이브 게이밍: AR 글래스를 착용하면 농구와 같은 실제 경기를 원격으로도 할 수 있습니다. 컴퓨터 비전 기술 덕분에 플레이어가 득점하면 이를 자동으로 감지해 글래스상에 게임 점수를 보여줍니다.
• 몰입형 위치 추적: GPS 및 기타 여러 센서를 활용하는 AR은 사용자의 시야에 들어온 (식당 같은) 관심 지역의 메뉴를 가상으로 보여주고, 사용자는 이 메뉴와 인터랙션하며 방향이나 별점 등의 추가적인 정보를 얻을 수 있습니다.


개발자를 위한 XR 도구
QTI is no stranger to XR, and we have over a decade of XR research stretching back to 2009.
퀄컴은 XR 분야에 대해 잘 압니다. 퀄컴이 XR을 연구를 시작한 건 10년 전, 2009년으로 거슬러 올라가죠.

그때부터 퀄컴은 스냅드래곤 XR2 5G 플랫폼용 퀄컴 스냅드래곤 XR2 HMD 레퍼런스 디자인과 같은 여러 XR 플랫폼과 XR 전용 개발 키트를 선보여 왔습니다. 이러한 도구들은 오큘러스 퀘스트2와 같은 제품의 XR 경험을 가능케 하죠. 개발자는 또한 퀄컴의 플래그십 제품, 스냅드래곤 888 5G 모바일 플랫폼이 탑재된 5G 스마트폰에 USB C로 연결할 수 있는 전력 효율적인 경량 AR 글래스도 개발할 수 있습니다. 

콘텐츠 제작 측면에서는, 지난 수년 동안 퀄컴이 유니티와 협업하여 모바일 게임과 XR 개발을 주도해왔다는 사실은 이미 다들 알고 계실 겁니다. 그리고 유니티는 이제 XR의 영역을 다른 버티컬로도 확장하고 있습니다. 콘텐츠는 역시 XR 개발에서 주요한 부분을 차지하죠. 콘텐츠 제작자 여러분도 유니티 MARS XR 프레임워크를 확인해보시길 추천합니다. 마지막으로, 스냅드래곤 플랫폼용 XR 앱을 개발하는 개발자 여러분이라면 아래를 비롯한 퀄컴의 풍부한 도구와 SDK를 활용할 수 있습니다.

퀄컴® 3D 오디오 도구: 공간 오디오 녹음, 편집, 제작용 도구
유니티용 3D 오디오 플러그인: 유니티용 바이노럴 공간 오디오 플러그인
스냅드래곤 전력 최적화 SDK: 전력과 성능의 균형을 맞춰주는 풍부한 API 제공
스냅드래곤 프로파일러: 개발자가 CPU와 GPU, DSP, 메모리, 전력, 열 성능, 네트워크 데이터를 분석할 수 있는 도구


이제 2D 화면을 통해 인터넷을 보던 시대는 지나가고 있습니다. 공간 컴퓨팅 기술은 어디에서나 접속 가능하고 새로운 방식으로 경험할 수 있는, 인터넷상의 몰입형 인터랙션을 구현할 길을 닦고 있습니다. 퀄컴은 꾸준히 XR 기술을 발전시켜 나가고 있으며, 관련한 발표도 준비하고 있으니 앞으로도 많은 관심 부탁드립니다.

XR과 공간 컴퓨팅에 대한 자세한 정보는 스냅드래곤 ‘XR1 플랫폼, 개발자의 꿈을 실현하다’나 ‘XR 경험 강화를 위한 팁’‘몰입형 현실 개발을 위한 안내서’도 참고해보세요. 엔리얼 라이트 개발자 키트와 오큘러스 개발자 사이트도 함께 확인해보세요.

퀄컴의 기술을 활용해 흥미로운 공간 컴퓨팅 혹은 XR 프로젝트를 진행하고 있다면 공유해주세요퀄컴 개발자 네트워크에 올라오게 될지도 모르니까요!


로딩중