| 초록 |
핵심기술 다양한 서비스로봇에 활용될 수 있는 학습기반의 다섯 가지 HRI 핵심기술인 HRI.MESSI(Map:로봇주변 환경정보 획득기술, Emotion:사람의 감정인식 및 대응기술, Service: 서비스를 학습시키는 기술, System: HRI상황 데이터 취득 및 통합 기술, Intention: 대화이해 및 생성, 행위인식)의 기술 최종목표 ❍ 사람과 로봇이 지속적인 상호작용으로 정서적 교감을 나누고 이를 통해 사용자에게 적합한 서비스를 제공하기 위한 HRI에 필요한 요소기술의 개발 ❍ 이를 검증하기 위한 HRI 그랜드 챌린지 설정 시나리오 설정: 레스토랑(café) 로봇이 레스토랑 대기 장소에서 이동하여 대기 중에 있음(한양대). 새로운 손님이 등장하면 반갑게 맞이하며(카이스트) 자리로 안내함. 손님으로부터 주문을 받기 위하여 메뉴판을 인식하여 어디에 있다고 알려주고(한양대 물체인식, 손님이 손가락으로 메뉴를 가리키면 이해하여 메뉴를 설명함(경북대). 손님의 메뉴에 대한 질문에 적절히 대답을 하며 상호작용(서울대)을 함. 음식이 나오면 테이블까지 가져다주거나 물이 부족한 손님을 인식하여(카이스트, 한양대) 물을 가져다 줌(한양대). 손님이 식사를 마치면 계산을 도와주고 영수증을 건네줌. 손님을 입구까지 배웅(카이스트, 한양대)함. 개발내용 및 결과 HRI.Map분야 ❍ 로봇중심의 self-robo space의 물체/사람/장소 정보 생성기술 개발: 직접적인 상호작용이 일어나는 공간인 self-robo space의 정확한 장소, 물체, 사람 정보생성기술 개발. • 다양한 환경변화에도 강인한 장소정보 학습 및 생성 • 텍스처가 없는 물체의 정보 학습 및 생성 • 다수의 사람을 추적하기 위한 사람 정보 생성 • 실시간 3차원 로봇주변 환경 모델링: 로봇을 중심으로 전후좌우를 바라보도록 설치한 RGB-D 센서 4대를 이용하여 실시간으로 주변환경 3차원 지도를 작성하고 그 안에서 로봇의 현재위치를 추정할 수 있는 기술을 개발 ❍ 상호작용을 위한 로봇의 자율주행: 정보지도를 이용하여 목표하는 물체, 사람, 공간에 도달하게 만드는 주행기술의 개발 및 실 환경에서 제대로 동작하기 위한 개선연구 진행. 이를 통해 로봇은 사람과 물체를 찾아오기가 가능하도록 함. 이와 동시에 목표로 하는 사람에게 상호작용하기 적절한 위치로 로봇을 접근, 목표로하는 사람을 놓치지 않고 추적하는 기술을 개발함. HRI.Emotion분야 ❍ 로봇이 사용자와 지속적인 상호작용을 수행하기 위하여 상호작용 중에 나타나는 사람의 감성상태를 실시간으로 평가할 수 있는 기술. • 순차적 상황 변화 정보를 이용하여, 단일/복수 사용자의 인지-정서 변화에 따른 복합정서 인식 및 예측 기술 개발 • 사용자의 반응과 사용자에 대한 로봇의 정서적 경험을 동시에 고려한 로봇의 복합정서 생성 알고리즘 개발 • 사용자 개인 특성 정보로서 성별과 연령을 인식하는 기술을 개발하였으며, 벤치마크 데이터셋에 대한 실험을 통해 일정 수준의 인식 성능을 확보 • 잡음 신호가 섞여있는 환경에서 암묵신호추출 알고리즘을 이용한 타겟신호 추출을 통해, 소음 환경에서도 목표로 하는 음원을 추출할 수 있는 음원 분리 기술 개발 • 신경회로망을 이용하여 음성 신호로부터 돌발상황을 인식하는 기술 개발 HRI.Service 분야 ❍ 서비스 학습 및 행동기술: 파악된 의도에 부합 하는 서비스 혹은 의도 표현 행동의 학습 기술로써 스스로 배우거나 혹은 사용자와의 상호작용을 통해 학습 하는 기술. 프로그래밍이 필요 없고 HRI(대화 및 제스처의 이해)를 통해서, 새로운 환경과 작업에 필요한 로봇의 지식 확장 및 서비스 행동들을 얻을 수 있는 상호작용 기반의 학습기술을 개발함 HRI.Intention 분야 ❍ 교류의도 파악 기술: 사용자와의 지속적 상호작용을 기반으로 사용자의 교류의도(현재 의도와 연속된 향후 의도 및 의도의 변화)를 실시간 파악하고, 향후의 의도를 보다 정확하게 예측하는 기술을 개발함 • 이 기술은 지속적인 상호 대화를 통한 사용자의 의도파악 기술(언어적 교류의도)과 사람의 시선 및 제스처 정보를 이용한 의도파악기술(비언어적 교류의도)로 분류. ❍ 비언어적 교류의도 파악기술: 비언어적 행위의 순서적 조합을 고려하여 단편적인 의도와 교류의도까지 파악 가능하고 보다 정확한 사용자의 내부의도를 파악하는 기술. • 지속적 행동-지각 순환 학습 기반 교류의도 파악 기술 개발 - 사용자 행위와 객체 정보 기반의 순환 학습을 통한 지속적 교류의도 파악 기술 - 의도와 관련된 행위 및 객체 간 관계를 모델링하기 위한 빅데이터 기반 관계분석 기술 개발 • 사용자 행위 인식 및 예측 - 다중 시상수 LSTM(Multiple Timescale Long Short-Term Memory)을 이용한 사용자 행위 인식 모델 개발 ❍ 언어적 교류의도 파악 기술: 사람과 사람 간의 상호작용에서 정보교환은 주로 언어를 통해 이루어짐. 지속적인 대화를 통해 서로의 의도를 파악하고 상황을 이해하며 관심을 공유함. 로봇과 사람 간의 교류에서도 의도를 파악하기 위해 언어를 통한 정보교환이 필요함. • 이를 위해 로봇은 대화 속에서 사용자의 의도를 정확하게 예측할 수 있는 의도예측 기술 개발 • 예측된 의도에 맞는 대응 발화를 통해 대화를 지속시킬 수 있는 대화 생성 모델 개발. HRI.System 분야 본 과제는 학습에 기반한 요소기술을 개발 하는 것을 방법으로 하고 있으며, 이를 위해서는 상호작용에 관련된 데이터 수집이 필수적임. 이를 위한 데이터 획득 시스템을 개발, 데이터를 취득. • 3D 시뮬레이터환경 구축, 가상환경 데이터 획득 시스템 개발 • 실환경 HRI 데이터 획득 • 시나리오 실행 프레임워크 체계 구축 • HRI 개발 요소기술의 부분통합 • 최종 통합 결과물: 통합 소프트웨어, 검증을 위한 안내배송 로봇(Tray-Bot), 주문배달 로봇(Coffee-Bot) 개발 기술개발 배경 ❍ 단편적인 의도파악, 기본정서인식 및 표현, 제한된 서비스만 제공 가능한 현재 HRI2.0 수준에서 복합적이고 고차적인 의도파악, 정서이해를 통해 상황에 맞게 스스로 서비스를 제공하는 미래 HRI3.0 수준으로 높이기 위해서는 요소기술들의 기술적 업그레이드가 필요함 ❍ HRI Grand Challenge를 해결하기 위한 로봇의 Autonomy기술의 업그레이드 필요 • Human Factor에 집중: 과거 HRI 연구는 로봇의 Autonomy에 관련한 연구보다는 사람의 로봇의 서비스에 대한 선호도/ 반응/ 느낌/ 감정 등에 집중함 • 부족한 자율성: 예상치 못한 상황에서는 로봇이 임무를 수행하지 못함 • 부족한 인식능력과 고가의 센서: 100m 달리기! 응용관점에서 매우 부족함 • 부족한 기능과 부족한 서비스 능력: 서비스 행동능력을 일일이 로봇 전문가가 Programming하거나, 수정/보완해야 함 ❍ HRI가 일어나기 위한 기본 기능 • 자연스러운 대화를 통해 상호 정보전달이 되어야함. 대화상대의 의도 정확성을 극대화시키고 대화 내용의 정합성, 이해도, 대화 이해 속도를 향상시키기 위한 실시간 대화 이해 및 생성할 수 있는 기술의 수준이 낮음. 몇 가지 정해진 대화명령을 이해하는 수준에 있음. • 로봇은 사람과 적정한 거리와 위치에서 상호작용을 할 수 있어야 하며, 목표위치로 자연스럽게 자율주행 할 수 있어야함. 이후에 상호작용이 일어남. 그동안 많은 실내 자율주행 연구가 있어왔지만 실제 복잡하고 환경변화가 심한 곳에서 잘 동작하는 로봇을 보기 힘듦. “잘된다고는 하지만 실제로 우리 주변에서 자율주행 로봇을 볼 수가 없음.” 언어/비언어적 표현 비중 핵심개발 기술의 의의 HRI.Map분야 ❍ 정보지도 학습 및 생성: • 다양한 환경변화에도 강인한 장소정보 학습 및 생성, 그리고 이를 이용한 자율주행 기술: 전방을 바라보는 카메라를 이용하고 있으며, 장면 기반의 위상학적지도(Scene-based topological map)를 구축하여 환경전체 내에서의 위치인식을 수행 가능함. 영상의 직선정보를 이용하여 위치추정 정확도를 높이고 (실내 구조물에는 직선이 많이 검출, 보행자에서는 직선이 검출되지 않음, 따라서 환경변화에 강인함) 있으며, 3차원 정보를 이용하지 않지만 목표지점의 반경 1m 이내에 99%이상의 성공률로 도달함. 이 기술을 다양한 기업에서 기술적 요구가 발생하고 있으며, 다양한 로봇에 테스트 및 상용화 중에 |
