촉각 장치 없는 상대방도 물체 '촉감' 파악…"VR 협업 기술 구현"

가상현실(VR)에서 촉각 장치를 착용하지 않은 사용자도 물체의 거칠기를 파악할 수 있는 협업 기술이 구현됐다. 가상 손의 윤곽선 모양과 움직임을 시각적으로 확인해 물체의 촉감 정보를 파악하는 게 핵심이다. 이를 활용하면 서로 다른 촉각 장비를 사용하는 구성원 간에도 VR 협업이 가능해져 작업 효율을 높일 수 있을 것으로 기대된다.

AI 생성 이미지. KAIST

KAIST는 메타버스대학원 우운택 교수가 이끄는 유비쿼터스 가상현실 연구실(UVR Lab)이 VR 협업 기술로 국제 가상융합 학술대회 'IEEE ISMAR 2026'에서 최우수 논문상을 받았다고 3일 밝혔다.

VR에서 다수가 공동 작업을 할 때는 사용하는 장비에 따라 얻을 수 있는 정보가 서로 다르다. 예컨대 촉각 장치를 착용한 사람은 손끝에 전달되는 진동으로 물체의 거칠기를 느낄 수 있지만, 장치를 착용하지 않은 사용자는 시각적으로만 거칠기를 판단해야 한다.

같은 물체를 보고 있어도 한쪽에서만 촉각 정보를 얻는 까닭에 물건을 함께 고르거나 분류하는 데 제약이 따른다.

연구팀은 이런 차이를 줄이기 위해 물체의 거칠기를 '눈에 보이는 신호'로 바꿨다. VR에 나타나는 손의 윤곽선 모양과 움직임을 다르게 해 거칠기를 낮음·중간·높음 등 3단계로 표현함으로써 촉각 장치를 착용하지 않은 사용자도 물체의 거친 정도를 시각적으로 구분할 수 있게 한 것이다.

이를 통해 시각 신호를 구분하는 게 가능한지 그리고 신호가 촉각 장치로 느끼는 거칠기와 제대로 연동되는지를 확인하는 사전 실험도 2회에 걸쳐 진행했다. 또 48명의 참가자를 24개 조로 나눠 일부는 촉각 장치를 착용하게 하고, 다른 일부는 촉각 장치 없이 VR에서 물체를 분류할 수 있는지를 확인했다.

이 결과 두 사람의 가상 손에 모두 거칠기 정보를 보여줬을 때 시각 정보가 없을 때보다 작업 시간은 23%가량 줄었고, 분류 정확도도 상대적으로 높은 수준을 나타냈다. 특히 촉각 장치를 착용하지 않은 사용자는 자신의 가상 손에 정보가 표시됐을 때 판단 과정의 자신감과 협업 기여도에 높은 점수를 매겼다.

이번 연구는 모든 사용자가 같은 촉각 장비를 착용하지 않더라도 협업하는 과정에서 판단에 필요한 정보를 공유하는 게 가능하다는 점을 보여준다.

무엇보다 물체의 거칠기를 어떻게 표현할지와 누구의 손에 정보를 보여주는지가 협업에 영향을 준다는 사실도 이번 연구를 통해 확인됐다.

(왼쪽부터) 김두영 교수, 백민주 박사과정생, 우운택 교수, 브루스 토머스(Bruce Thomas) 교수(심사위원). KAIST

연구팀은 이 기술이 향후 서로 다른 장비를 착용한 사용자가 공동으로 작업에 참여하는 VR 교육·훈련과 원격 협업 환경을 설계하는 데 활용될 것으로 기대한다.

앞서 연구팀은 2024년 '혼합현실(MR) 원격 협업 연구'로 IEEE ISMAR 최우수 논문상을 받았다. 이듬해는 공간 공유와 시각·촉각 경험을 다룬 연구 2편이 동시에 최우수 논문에 선정되는 성과도 올렸다. 여기에 올해도 최우수 논문상을 받으면서 가상융합 분야에서의 연구 성과를 꾸준히 이어가고 있다는 평가다.

우 교수는 "3년 연속 최우수 논문상 수상은 정부의 가상융합 인력양성과 연구지원, KAIST의 연구 기반, 젊은 연구자의 융합연구가 이룬 뜻깊은 성과"라며 "연구팀은 앞으로도 XR과 AI를 융합해 시공간의 제약을 넘어 지식과 경험을 공유하고, 현실 문제해결과 인간 역량을 확장하는 데 기여할 가상융합 연구를 지속하겠다"고 말했다.

한편 이번 연구에는 문화기술대학원 백민주 박사과정생(메타버스대학원 이수)이 제1 저자로 참여하고, 신윤석·이현진·윤보람·윤상호·우운택 연구진이 함께했다.

논문은 국제학술지 'IEEE 트랜잭션스 온 비주얼라이제이션 앤 컴퓨터 그래픽스(IEEE Transactions on Visualization and Computer Graphics·TVCG)'에 게재 승인돼 ISMAR 2026에서 발표됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr