Dept. of Media Technology and Media Contents, The Catholic University of Korea
- Byunguk So
- Seonmin Yoon
- Lee Sihoo
- Kyungmin Na
- Myung Geol Choi
이 성과는 정부(과학기술정보통신부)의 재원으로
한국연구재단 의 지원을 받아 수행된 연구임 (No.
2021R1F1A1048002).
혼합현실, 가상인간, 실감미디어, 생성적 대화, 인공지능
요약문
최근 인공지능과 실감미디어 기술 혁신은 일상 생활과 다양한 산업 분야에 깊은 영향을 미치고 있다. 특히, XR(혼합 현실)과 자연어 처리 모델의 융합은 새로운 소비자 경험을 창출할 것으로 기대되고 있다. 본 논문에서는 실감미디어 기술과 생성적 대화 인공지능 (Generative Conversational AI) 모델을 이용하여 사용자에게 몰입감 높은 경험을 제공하는 “XR 테이크아웃 카페”를 모델을 제시한다.
- 서 론
최근 인공지능 기술 혁신은 일상생활의 모든 측면에 깊은 영향을 미치고 있다. 특히, 실감미디어 기술과 인공지능 언어 처리 모델은 우리가 세계를 경험하는 방식을 변화시키는 주요한 요소로 떠오르고 있다. 본 논문에서는 이러한 기술의 융합이 어떻게 새로운 비즈니스 모델을 창출할 수 있는지를 탐구하고자 한다. 구체적으로, XR(혼합 현실) 기술과 자연어 처리 모델을 활용하여 사용자에게 몰입도 높은 경험을 제공하는 “XR 테이크아웃 카페”라는 새로운 컨셉을 제안한다. 최신 기술 변화는 특히 실감미디어와 인공지능 분야에서 두드러지고 있다. XR 스튜디오 기술은 대형 LED 화면에 표시된 3 차원 가상 환경 앞에서 실제 연기자 들이 연기하는 장면을 촬영하여 복잡한 이미지 합성 과정 없이 가상과 현실이 혼합된 영상을 촬영할 수 있게 한다. 이러한 기술들은 영상 제작자가 실제와 가상을 넘나드는 새로운 방식으로 상호작용하게 함으로써 미디어 환경에 혁신을 가져오고 있다. 한편, 거대언어 모델로 대표되는 자연어 처리 인공지능 기술은 인간과 기계 간의 대화를 더욱 자연스럽고 효과적으로 만들고 있다. 본 연구에서 제안하는 “XR 테이크아웃 카페”의 건물은 그림 3 의 개념도에서 보는 것과 같이 가상의 카페 내부와 실제의 카페 외부로 구성되어 있다. 사용자는 실제 테이크아웃 카페 건물의 외부에서 창문을 통해 가상의 카페 내부를 볼 수 있다. 사용자가 가상의 카페 내부를 볼 때 실제와 같은 입체감을 느끼게 하고 높은 몰입감을 제공하기 위해 사용자의 현재 시선의 위치와 방향을 실시간으로 파악하고 그에 부합하는 원근 프로젝션 매핑을 적용하여 가상의 카페를 투영한다. 사용자 시선을 실시간 추적하기위해서 에이져 키넥트 (Azure Kinect)를 사용한다. 또한 가상 점원은 인공지능 기반의 챗봇을 사용하여 사용자와 대화를 하고, 사용자의 주문을 받는다. 사용자가 주문한 음료는 자동 커피 머신을 통해 제조되어 사용자에게 전달된다. 이와 같은 설계의 실현 가능성을 입증하기 위해 본 연구에서는 그림 1 과 같이 커피 머신을 통한 음료 제조를 제외한 나머지 모든 기능을 구현하였다. 사용자 평가를 통해 유용성과 발전 가능성을 확인하였다.
- 본문
2.1 외장 구현
실제 거리에서 볼 수 있는 테이크아웃 카페의 외관들을 조사하여 유사한 형태로 외장을 설계하였다. 가상 카페 실내를 표시하기위한 용도로 85 인치 4K 안티글레어 모니터를 사람의 눈 높이에 맞추어 설치하였다. 모니터 좌우에는 실제 창문 틀을 설치하였다. 왼쪽 창문에는 사용자 시선 관찰과 음성 인식을 위한 에이져 키넥트를 설치하였다. 오른쪽 창문 안쪽은 향후 커피 머신 등 자동 음료 제조기기를 설치하기 위한 공간으로 남겨두었다. 그림 1 은 우리 실험에서 구현한 실제 외장의 모습을 보여준다.
2.2 가상 카페 실내 구현
가상 카페 실내는 UE5 엔진을 사용하여 구현하였으며 일반적인 카페의 실내 모습으로 제작하였다. 사람과 자연스러운 대화가 가능한 가상 점원을 구현하기 위해 본연구에서는 ConvAI [1] 서비스를 사용하였다. ConvAI 는 사용자 요구에 맞는 자연어 처리 시스템을 쉽게 구축할 수 있도록 하는 서비스이다. 또한 자연어 처리 시스템을 기반으로 자연스러운 제스처를 표현하면서 사용자와 대화를 할 수 있는 가상 인간을 만드는 간편한 방법을 제공한다. 본 연구에서는 ConAI 서비스를 이용하여 가상 캐릭터를 생성하고 일반적인 커피 전문점에서 일하는 점원이 자주 사용하는 대화를 학습시켜 가상 카페 점원을 만들었다. 사용자가 가상 카페 실내를 볼 때 실제와 같은 입체감을 느끼게 하기위해 사용자의 현재 시선의 위치와 방향을 파악한 후 해당 위치에서 3 차원 공간을 보는 것과 같은 원근 프로젝션 매핑을 적용하여 가상의 카페를 투영하게 하였다. 사용자 눈의 위치를 실시간으로 관측하기위해 에이져 키넥트 바디 트랙킹 SDK [2]를 사용하였다. 3 차원 가상 공간을 투영하는 프로젝션 프러스텀 (projection frustum)을 사용자 눈의 방향에 맞추기 위해 프러스텀의 가까운 투영면 (near plane)을 기우리는 방식을 적용하였다 [3]. 그림 3 은 사용자의 위치에 따라 가상 카페 실내가 다르게 투영되는 예를 보여준다.
- 결론
본 연구에서는 실제 카페의 외부와 가상 카페의 실내가 결합된 “XR 테이크아웃 카페”를 제안하였다. 사용자가 가상 카페 실내를 볼 때 실제와 같은 입체감을 느끼도록 프로젝션 매핑을 실시간 조정하여 몰입감을 높였다. 사용자 평가 조사에서 모든 참여자들이 몰임감을 높이 평가하였으며 향후 이와 같은 서비스가 실제 운영될 경우 사용할 의사가 있음을 밝혔다. 다만 현재 구현에서는 영어를 통한 대화만 가능하며, 음료 제조기기를 통한 실제 음료 제공 기능은 구현되지 않았다. 향후 이와 같은 기능을 추가하고 통계적 신뢰성이 확보되는 큰 규모의 사용자 평가를 통해 더욱 유용한 서비스로 발전시키는 것이 필요하다.
