| 초록 |
핵심기술 가상객체와 실객체가 서로 반응하기 위한 비 접촉식 인터랙션 기술과 공간 및 동적객체를 인식 및 추출하여 사용자 공간에 가상의 객체를 증강하고 인터랙션/시뮬레이션하기 위한 인터랙티브 공간증강 엔진 기술과 유니티3D 엔진을 이용하여 공간에 증강되는 3D 콘텐츠 상호작용을 위한 공간증강 저작도구 서비스 최종목표 ▪공간 미디어 스크린을 이용한 다자 참여형 공간증강 인터랙티브 체험전시 서비스 시스템 개발 - VOD 제어/인터랙션 모듈 - 인터랙티브 공간증강 엔진 - 유니티3D 탑재형 공간증강 저작도구 개발내용 및 결과 ▪공간 미디어 스크린을 이용한 다자 참여형 공간증강 인터랙티브 체험전시 서비스 시스템 개발 - VOD 제어/인터랙션 모듈 > 시나리오 따른 VOD 이벤트 제어 기술 > 비디오 스트림 제어 기술 > 동적객체(사용자)와 가상객체의 인터랙션 기술 > 사용자 제스처, 포스처 인식 및 처리 기술 > 실객체와 증강객체의 인터랙션 기술 - 인터랙티브 공간증강 엔진 > 공간 인식 및 세그멘테이션 기술 > 공간 및 객체 추출 기술 > 동적 객체 추적 기술 > 가상 객체 공간증강 기술 - 유니티3D 탑재형 공간증강 저작도구 > ISAR Editor(카메라 매핑 기술, 동적객체 인터랙션 생성 기술, 테이블 추출 객체 생성 기술, 객체 시뮬레이션 기술, 공간 및 객체 변형 기술) > ISAR Add Ojbect(몰고기 인터랙션 반응 기술, 펭귄 인터 랙션 반응 기술, 북극곰 인터랙션 반응 기술) 기술개발 배경 공간증강현실 기술은 일상적인 실내 환경에서 실시간으로 RGB -D 영상을 획득하고, 실공간을 인식하여 인식된 공간 안에 가상객체를 입체적으로 증강시키고, 실사 영상을 변형시켜 보다 실감나게 몰입할 수 있도록 하는 기술이다. 가상의 객체가 실제로 존재하는 것과 같이 느끼게 하기 위해서는 실제와 가상 객체가 적절히 배치되어야 하며 이를 위한 실시간 인식, 추적, 렌더링과 같은 강력한 기술이 필요하다. 증강현실은 게임, 방송, 교육 등 응용분야가 무궁무진하다. 방송에서는 선거개표방송, 스포츠에서는 동계올림픽 스케이팅 경기 중 각 선수 발아래 국기가 펼쳐져 있는 모습을 보여준 것도 증강현실의 한 예다. 증강현실이 응용되는 분야는 향후 건축이나 설계, 의료, 군사 등 더 다양한 영역으로 확대될 전망이다. 시장분석 업체 디지캐피탈에 따르면 2020년 가상 및 증강현실 시장 규모는 1,500억 달러에 달할 전망이다. 현재까지는 가상현실이 시장 규모에서 우위를 점하고 있지만 2017년 이후부터는 증강현실이 성장을 주도하며 역전할 것으로 보인다는 전망이다. 현재 세계 각국에서는 증강현실 기술에 대한 주도권을 잡기 위해 경쟁이 치열하다. 마이크로소프트(MS)는 증강현실과 가상현실 을 접목한 혼합현실(MR)기기 '홀로렌즈'를 선보였다. 미국항공우 주국(NASA)과 협력해 국제우주정거장에서 우주비행사가 사용한다. 구글은 증강현실 기술 '프로젝트 탱고'를 추진하고 있다. 대한민국 정부는 반도체·자동차에 이어 미래먹거리를 책임질 9개 국가 전략 프로젝트 중 하나로 증강현실을 꼽았다. 플랫폼 분야 핵심 원천기술을 개발하고, 콘텐츠 확대와 시장 활성화를 위해 민관 합동 프로젝트를 추진하고 있다. 이와 같이 세계와 더불어 대한민국 정부도 증강현실에 관심을 갖고 전력투구를 하고 있는 가운데 제안된 과제의 상업적 가치는 매우 높다고 할 수 있다. 현재 증강현실이 응용되는 분야 중의 일부는 다음과 같으며, 향후 제안과제가 개발되어 시스템으로 제공되어 진다면 사람들의 다양한 분야에 적용되리라 여겨진다. 1. 전시: 3D 콘텐츠를 근간으로 관람자가 직접 조작할 수 있고 다양한 콘텐츠를 변경 적용하는 전시 마케팅의 수단으로써 가치가 있음 2. 에듀테인먼트: 스마트TV, PC 및 공간형 디스플레이 등 다양한 환경에서 학습자가 가상 환경과 상호작용을 통하여 놀이 학습을 할 수 있는 에듀테인먼트 신규 시장으로써 가치가 있음 3. 공연: 공간증강현실에 적용된 기술을 근간으로 공연자와 3D 가상 콘텐츠가 융합된 무대 공연으로 관람객과 공연자가 하나가되어 공감대를 형성하는데 효과가 있음 4. 체험관: 첨단 ICT 기술을 활용한 새로운 형태의 체험프로그램을 개발하여, 교육참여도 및 효과증대, 체험서비스 만족도를 증대시키고, 실감체험 환경 조성 및 실제 사례 위주의 교육 프로그램 개발로 필요한 지식, 기능, 태도 등에 대한 이해도를 함양함으로써 가치가 높을 것으로 예상됨 5. 테마파크: 일정한 공간에 특별히 선정된 일관된 주제를 가지고 설계된 조경, 건축물, 공연, 놀이 시설, 서비스등이 종합적으로 제공되어 방문객으로 하여금 현재 살고 있는 일상과는 다른 비일상의 경험을 체험하여 즐거움을 느끼게 하는 공간으로 맥락을 같이하는 분야로 가치가 높음 핵심개발 기술의 의의 경쟁기술로는 모바일 3D 증강현실이 현재 가장 많이 알려진 기술이다. 활용측면에서 최근 “포캣몬 GO”가 알려지면서 증강 현실의 게임분야에서는 그 활용도가 높다는 것을 알 수 있다. 하지만 다음과 같은 측면에서 증강현실 기술보다 향상된 공간 증강현실기술을 보다 광범위한 분야에 적용할 수 있는 시스템으로 제안된 과제가 비교우위에 있다고 할 수 있다. 1. 공간증강 체험영상(VOD) 제어 - 외부로부터 Stream 영상을 디스플레이로 출력시키고, VOD를 trigger할 수 있는 외부인터페이스와 연동하여 VOD를 실행한다 2. 가상 객체들과 관람객간의 다양한 상호작용(Interaction)처리 - depth영상과 사용자의 관절 정보(skeleton)를 입력 받아, 사용자의 3차원 공간 정보, 동작 인식 기능을 지원하고, 콘텐츠의 가상 객체들과 사용자간의 다양한 상호작용을 처리한다. 3. 공간증강 엔진 - 입력된 RGB 영상과 깊이 영상을 보정하고 RGB 영상과 깊이 영상의 Homography를 계산하여 두 카메라의 시점을 동일화한다. - 깊이 정보와 3D point cloud 정보를 입력 받아, 전시공간의 전체적인 구조를 인식하고, 공간 상 다수의 객체 영역을 추출하여 각 객체별 ID 부여한다. - 객체 세그멘테이션에서 객체의 영역을 분리하고, 분리된 영역에서 3차원 모델을 추출한다. - 추출된 3D 모델을 이용하여 객체를 변형한다.(울렁임, 재질 변화, 그림자 생성 등) - 3D 증강객체의 이동/배치 상황을 실공간에 알맞도록 실시간으로 변화한다. - 전시공간에 있는 다수 객체에 대한 움직임을 추적한다. 4. 공강증강 체험영상 재현 - 프로젝트별 3D scene 구성 생성 및 관리한다. - 스크립트 기반 실공간 변형 콘텐츠 증강 저작을 지원한다. - 스크립트 기반 공간 증강 객체 인터랙션 저작을 지원한다. 5. 공강증강 인터랙티브 콘텐츠 저작 - 국립중앙과학관과 협의하여 진행한다. 적용 분야 ▪공간증강현실 학습콘텐츠 제작사업(유아/초등학교 교과과정, 과학과목, 학습지) ▪공공기관의 대민서비스를 이한 공간증강현실 서비스 시스템 구축(국립중앙과학관, 전시관) ▪광고서비스 제작(3D 캐릭터를 활용한 인터랙티브 참여 광고) |
