| 초록 |
□ 연구의 목적 및 내용 o 가상과 실 상황이 융합된 실내 공간 내에서 자유롭게 이동하면서 실감형 콘텐츠와 상호작용을 통해 체험·훈련·교육 등이 이루어지는 선도적 가상현실 기반의 몰입형 실내 공간 구축 및 체험 기술 개발 ∘ 가변형 실감 체험이 가능한 몰입환경 실내 공간 구축 기술 개발 ∘ 가려짐에 강인한 사용자 및 객체 고속 정밀 추적 및 피드백 기술 개발 ∘ 자유 이동 사용자-콘텐츠간 실시간 인터랙션 기술 개발 ∘ 대규모 가상 체험 VR 데이터 변환 및 전송 기술 개발 ∘ 물리 시뮬레이션 기반 UI/UX 및 실 사용자 리타켓팅 기반 버츄얼 크리쳐 적용 기술 개발 ∘ 사용자 방향정보 추적 기반 및 콘텐츠 상황 인지형 4D효과 생성 및 제시 기술 개발 ∘ 1인칭 RGBD센서와 가림(occlusion)에 강인한 사용자 위치 및 자세 추적 기술 개발 ∘ 시계열 데이터 학습 및 사전 동작 예측을 통한 실시간 제스처 인식 기술개발 ∘ 하이브리드 센싱 데이터 연동 및 콘텐츠 통합관리 시스템 개발 □ 1차년도 연구개발성과 o 하이브리드 센서 네트워크 기반 실측 공간 정보 융합 및 실측 공간-가상공간 정합 기술 - 키넥트 및 옵티트랙 카메라 데이터 네트워크 시스템 구축 - 멀티 키넥트 카메라간 정합 및 옵티트랙 카메라 캘리브레이션 - 키넥트 좌표계 및 옵티트랙 좌표계를 기준 좌표계로 변환하여 하이브리드 센서 정합 - 실-가상 공간 정합 및 멀티 키넥트 기반 사용자 머리 추적 o 1인칭 완전 몰입 가상 환경 깊이감 휴먼팩터 측정 및 분석 기술 - 3D 입체 영상에 대한 인간의 시감각 거리 인지 특성 조사 ∙ 경험적 인지 요인과 생리적 인지요인으로 구분 ∙ 인간의 시감각 인지 현상을 100% 재현할 수 없는 HMD 및 가시화 S/W의 한계를 휴먼팩터 특성을 고려하여 보정 필요 - 파일럿 실험: HMD 사용에 따른 사용자 반응 현상 측정 및 분석 ∙ 현실과 1:1 scale로 동일한 가상 공간 구축 ∙ 가상 객체의 거리감 측정 실험을 통해 상용 HMD의 거리감 차이발생 및 보정 기술 개발의 필요성 확인 - 본 실험: 피실험자 집단 대상 현실-가상 공간 거리감 비교 측정 실험 ∙ 사용자 신체가 직접 움직이는 상황 – 네비게이션 상호작용 일반화 ∙ 신체(손)로 객체를 충돌하는 상황 – 접촉 상호작용 일반화 - 현실-가상 공간 거리감 일치 보정을 위한 제어 요소 분석 및 알고리즘 ∙ 네비게인션 상호작용 보정 알고리즘: Goal distance(cm) = 54.68 + 0.4279 x perception distance (base distance 85cm) ∙ 접촉 상호작용 보정 알고리즘: AdjustX = 0.5129 + 0.4234 OriginalX +0.1050 OriginalX2. AdjustY = 2.475 - 0.07757 OriginY - 0.01638 OriginY<sup>2</sup> o 다시점 RGBD 영상 기반 실측 공간 객체 인식 및 위치 고속 추적 기술개발 - 컨볼루션 신경망을 활용한 다시점 RGBD 특징 추출 기법 및 분류기 학습 ∙ 사전 학습 모델을 이용한 딥러닝 알고리즘 적용 ∙ 3채널 RGB 영상으로 사전 학습된 모델을 깊이 영상에 적용하기 위하여 깊이 영상에 false coloring 기법을 적용 - RGBD 옵티컬 플로우 및 BRISK 키포인트 추출 기반 객체 추적 o 모션 슈트 기반 사용자 실시간 고정밀 global 자세 추적 및 고정밀 보정기술 - RGB-D 센서 기반 사용자 맞춤형 모션 슈트 관절 측정 ∙ 상대적 모션 센서 데이터와 IK 기반 사용자 관절 측정 ∙ 사용자별 맞춤형 자세 추정 - Inertial과 RGB-D 센서 데이터를 기반으로 한 센서 융합 관절 트래킹 ∙ 센서별 관절 추정 특성과 upper extremities geometric constraints 기반의 센서 융합 관절 트래킹 o 원근거리 멀티 센서 기반 자기 가림 현상 (Self-occlusion)에 강인한 손가락 추적 기술 - 원근거리 멀티 센서 퓨전 기반 자기 가림 현상에 강인한 손가락 추적 ∙ 멀티뷰 컨볼류셔널 뉴럴 네트워크 기반의 손가락 관절 추적 기술 확보 o 1인칭 RGBD 센서 기반 공간내 사용자 위치 추적 기술 - RGB 영상과 Depth 이미지를 결합하여 실시간으로 사용자 시점의 상대적인 취지를 추적하는 Inside-out Tracking 기술 개발 (추적속도 30fps이상) - 기존의 광학 마커 기반의 Outside-in Tracking기술과의 결합을 통해 사용자 간 가림으로 인한 일시적인 추적 실패를 극복 가능 o HMD 착용자 얼굴 캡쳐 기반 아바타 표현 기술 개발 - 가려짐에 강인한 사용자 얼굴 캡쳐 기반 아바타 얼굴 애니메이션 ∙ RGB-D 기반 사용자 얼굴 모션 예측 알고리즘 적용 o 실 객체와 가상 객체간 물리 시뮬레이션을 통한 UI/UX 제어 기술 - 실 객체-가상객체 연계를 위한 실시간 추적 가능한 실 객체 인식 기술 ∙ HSV에 기반한 특정색 검출 모듈 개발 ∙ 다각형 꼭지점과 각 코너 각도를 이용한 다각형 검출 모듈 개발 ∙ 이미지 고정밀/고속 탐지 및 매칭을 위한 Kaze 알고리즘 기반의 Feature2D 검출 모듈 개발 - 실 객체와 연계된 가상 객체 실시간 움직임 제어 기술 ∙ 실시간 사용자 팔 각도 추적 및 가상 객체 연계 모듈 개발 - 석궁(화살)과 충돌 Object를 이용한 물리 시뮬레이션 제어 기술 ∙ 힘, 발사각, 중력가속도를 이용한 포물선 운동 물리 시뮬레이션 모듈개발 ∙ Destructible Properties Matrix를 이용한 Object 충돌 제어 모듈 개발 o 시계열 데이터 학습 기반의 동작 인식 지연 감소 기술 - 제스처 모션 예측으로 영상획득, 인식 및 그래픽 렌더링 과정에서 발생하는 시간 지연을 상쇄하여, 사용자가 Delay를 인지하지 못하는 수준의 실시간 제스처 인터렉션 기능 개발 ∙ 인식 지연시간(Latency) 40msec 이내 o 사용자 방향정보 추적 기반 콘텐츠 적응형 4D 효과 제시 기술 - RGB-D영상기반 특정영역내 다수 사용자 상태정보 추적 기술 ∙ 다수 사용자 상태정보 실시간 추적 모듈 개발 ∙ 다수 사용자 상태정보에 따른 상황인지형 모듈 개발 - 유/무선 고속통신이 가능한 4D 효과 제시 기술 ∙ 아두이노기반 송풍콘트롤 모듈 개발 o PC/모바일 VR 체험 장치 간 가상 콘텐츠 스크립트 변환 기술 - 개별 VR 기기 전용 SDK들 사이의 변환 기능 을 고려한 스크립트 변환기술 설계 - 저작도구 플러그인 방식의 사용자 인터페이스 개발 - VR 리소스 변환 모듈 개발 - VR 스크립트 변환 모듈 개발 o 몰입 콘텐츠를 활용한 360도 영상 콘텐츠 생성 기술 - 몰입 체험을 위해 개발된 가상현실 콘텐츠를 360도 동영상으로 변환하여 현장 및 원격지에 존재하는 다수의 사용자들에게 현재 체험중인 콘텐츠 내용을 임의 시점에서 관찰할 수 있도록 제공 - 개발된 기술은 차후 실사 기반 사용자 영상을 합성하여 실-가상 정합 360 영상 콘텐츠를 개발하는데 필요한 기반 기술로서 최종적으로 VR체험 콘텐츠의 홍보 및 콘텐츠 재사용을 극대화하는데 활용될 예정임 o 외부획득정보변환 및 VR콘텐츠이벤트 전송 기술 - 외부획득정보 전송 속도 (목표치 : 0.2초 이내 달성) ∙ Optitrack-UWB-kinect2 3종 센서의 결합센싱정보가 사용자 단말에 도달하는 속도를 측정하여 목표치 도달여부 테스트 ∙ Optitrack-UWB 멀티센싱 : Optitrack의 가림현상 대응을 위한 테스트 ∙ Optitrack-Kinect2 멀티센싱 : 특정영역 내에서 제스처/표정 센싱 시나리오 구현을 위한 테스트 - VR 콘텐츠 이벤트정보 전달 속도 ∙ 공간내 4D 효과를 다양하게 적용하기 위해 3종 이펙트 장비(포그머신(향기), 바람(에어커튼), 바닥진동)을 대상으로 이벤트정보 전달 속도를 테스트 - 3종 장비 테스트 결과 전달속도 목표치 (0.2초)는 달성했으나 실제 사용자가 4D효과를 체감하기까지 소요되는 시간은 장비별 편차가 있으며 0.5~2.0초로 개선이 요구됨 - 해당 개선사항은 2차년도에 장비의 물리 제원을 개선하고 사용자시나리오는 변경함으로써 해결할 예정 □ 2차년도 연구개발성과 |
