| 초록 |
□ 연구개발 목표 및 내용 ◼ 최종 목표 인공지능 및 데이터 융합 기반 이미지 좌표를 활용하여 무인체를 이용한 시설물 이미지의 품질을 확보하고 점검시간과 3D 모델 구축을 위한 영상 처리시간을 30% 저감 할 수 있는 스마트 유지관리기술 개발 ◼ 전체 내용 - CTE 1: 시설물 점검을 위해 수집된 영상의 인공지능 기반 실시간 품질평가 및 개선알고리즘 개발: 이미지 품질 저하 요소 선별 및 학습 데이터 확보를 통한 인공지능 기반 품질평가 알고리즘 및 품질 저하 요소 및 특질 분리를 활용한 이미지 품질개선 알고리즘을 개발하여 On-board 엣지 컴퓨팅 시스템을 탑재한 무인체를 활용하는 시설물 점검에서 실시간 이미지 평가시스템 개발 - CTE 2: UAV 점검 누락 영역 및 손상 위치 추정을 위한 영상 및 IoT 센서의 데이터 융합을 활용한 초정밀 수준 이미지 좌표 추정 기술 개발: 통합 비전 시스템 기반 영상/거리정보 및 점검로봇의 IoT 센서 데이터 동기화 및 융합을 통한 초정밀 이미지 좌표 추정 알고리즘을 개발하여 점검현장에서 점검에 누락된 영역을 탐지하고 누락된 점검 이미지 확보를 위한 이미지 재획득 자동화 시스템 구축 - CTE 3: 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축 기술 개발: 이미지 좌표점 3차원 매칭 및 평면 요소에서의 이미지 좌표와 인공지능을 활용한 스티칭 기술을 활용하여 기존 방법대비 신속한 시설물의 3D 모델 생성기술 개발 ◼ 1년차 ❏ 목표 인공지능 기반 시설물 점검 영상 품질평가 알고리즘과 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축 요소기술을 개발하며, 데이터 퓨전 기반 초정밀 이미지 좌표 추정을 위한 영상 및 거리 센서가 탑재된 통합 비전 시스템 개발 ❏ 내용 ○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 품질평가 기법 개발 - 이미지 품질 저하 요소 선별 및 학습을 위한 영상 데이터 확보: 실제 구조물을 대상으로 이미지 처리를 위해 필요한 품질 정도 및 잠재적인 품질 저하 요소를 파악하여 인공지능을 위한 학습 데이터를 수집하고 분류 및 병합을 수행하고자 함. - 인공지능 기반 품질평가 알고리즘 구축: 기존의 영상의 픽셀 단위를 분석하여 품질을 평가하는 방법의 한계점을 극복하기 위해, 인공지능 기반 다중 클래스 이미지 품질평가 알고리즘을 활용하여 각 품질 요소의 정량적 평가를 수행하고자 함. ○ CTE 2: 초정밀 이미지 좌표 추정을 위한 비전 및 데이터 퓨전 기술 개발 - 영상 및 센서 데이터 퓨전을 위한 통합 비전 시스템 개발: 초정밀(mm급) 이미지 좌표 추정을 위해 UAV를 포함하는 무인 로봇 검사 장비에 탑재될 영상 데이터와 거리 정보를 얻을 수 있는 추가 장비를 장착한 통합 비전 시스템을 구축하여 요철이 포함된 복잡한 구조물에서도 상세한 좌표추정이 가능한 시스템을 구축함. - 초정밀 이미지 좌표 추정을 위한 비전 및 데이터 퓨전 기술 개발: 통합 비전 시스템에 추가적으로 장착될 고해상도 데이터의 고속처리를 위한 영상 처리 및 연산 장치를 활용한 영상/거리 데이터 퓨전 및 동기화 기술을 개발하고자 함. ○ CTE 3: 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축기술 개발 - 이미지 좌표점 3차원 매칭 기술: 핵심기술 2에서 개발한 초정밀 이미지 좌표 추정 기술을 활용하여 유지관리의 디지털화에 필요한 3D 모델 신속 구축의 요소기술인 이미지 픽셀에 대한 정보를 3차원으로 매칭하는 알고리즘을 개발함. - 평면 요소에서의 이미지 좌표와 인공지능을 활용한 스티칭 기술: 기존 특징점을 추출하여 정합하는 방법의 시간적, 비용적 한계점을 극복하기 위해 이미지 좌표점 3차원 매칭 기술과 인공지능 기반 영상 매칭을 융합하여 평면 요소에서 이미지를 스티칭하는 기술을 개발함. - 3차원 이미지 좌표점 매칭 기술을 활용한 시설물의 3D 모델 생성 기술: 3차원 이미지 좌표점 매칭 기술과 이미지의 특정 정보만을 사용하여 처리속도가 기존의 상용 프로그램을 이용하는 것보다 빠르며, 고해상도의 이미지를 직접적으로 처리할 수 있는 선택적 후처리가 가능한 모델 생성기술을 개발하고, 3D 모델 표출이 가능한 플랫폼에 나타내는 연구를 수행함. ◼ 2년차 ❏ 목표 인공지능 기반 시설물 점검 영상 데이터 개선 알고리즘과 이미지 좌표 및 딥매칭 기법을 활용한 신속 3D 모델 구축 요소 기술 및 무인체의 IoT 센서 및 융합 데이터를 활용한 초정밀(mm급) 이미지 좌표 추정기술 개발을 통해 1차연도 성과물을 고도화하며, 이미지 좌표 기반 점검 영역 자동화 이미지 재획득 실시간 구동을 위한 On-board 컴퓨팅 시스템을 구축하여 연구실 규모 및 실제 구조물 대상 현장 성능 검증 수행 ❏ 내용 ○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 개선 기법 개발 - 인공지능(GAN) 기반 이미지 품질 저하 요소 판단 및 특질 분리를 활용한 이미지 품질 개선 기술 개발: 1차연도에 개발된 시설물 점검 영상 데이터 품질평가 기법에 따라 낮은 품질로 평가된 이미지 데이터에 대해 적대적 생성 네트워크 모델(Generative Adversarial Network, GAN) 기반 딥러닝 기술을 적용하여 품질 저하 요소에 대한 특질을 분리하여 주요한 특징은 보존한 채 세부적인 부분을 개선하여 이미지 품질을 향상하는 기법을 개발함. ○ CTE 2: 점검 로봇의 IoT 센서 및 융합 데이터를 활용한 초정밀 좌표 추정기술 개발 - 이미지 좌표 기반 실시간 무인체 점검 누락영역 탐지를 위한 시스템 구축: 1차연도에 개발된 통합 비전 센서의 융합 데이터와 무인검사장비의 IoT센서를 활용한 위치 정보(GPS 센서)와 자세정보(IMU 센서) 데이터를 통합하여 초정밀(mm급) 이미지 좌표 추정 알고리즘 개발을 수행함. ○ 실시간 구동을 위한 On-board 컴퓨팅 시스템 및 이미지 좌표 기반 점검 영역 자동화 이미지 재획득 알고리즘 개발 - 실시간 이미지 처리를 위한 점검 로봇 및 검사 장비 탑재용 컴퓨팅 시스템 구축: 개발 기술의 실시간 구동을 위해 검사 장비에 탑재될 센서 데이터 획득을 포함한 알고리즘 연산 및 평가 데이터 전송을 수행하는 무선전송시스템 또는 고성능 유선 입출력 인터페이스를 활용하는 On-board 컴퓨팅 시스템을 구축하고자 함. - On-board 컴퓨팅 시스템 및 이미지 좌표 추정 알고리즘 기반 점검 중 누락된 영역 탐지 및 역추적을 통한 이미지 재획득 위치 및 자세 추정 알고리즘 개발: 이미지 좌표 기반으로 검출된 누락된 영역 및 품질 개선 후 여전히 저품질로 평가되는 이미지에 대해 좌표 기반 역추적을 통한 재촬영 위치/자세를 추정하는 연구를 수행함. ○ CTE 3: 추정된 이미지 좌표 및 딥 매칭 기법을 활용한 신속한 3D 모델 요소기술 개발 - 시설물의 형상 도출을 위한 3D 모델의 외곽선 추출 기술 개발: 이미지 좌표 추출 기술과 매칭 기술을 활용하며, 3차원 공간에서 좌표의 경사 및 접합부를 gradient와 통계적 모델을 활용하여 적응형 특징점 추출 및 매칭 기술과 3D 모델에서 구조물의 영역 추출하고 구조물을 둘러싼 점들을 선별하여 최적 외곽선을 추출기술을 개발함. ○ 개발 알고리즘 및 시작품 기반 현장 성능 검증 - Lab-scale 시험체 (벽체, 축소모형)를 활용한 기술 검증: 실구조물 대상 검증에 앞서 본 과제를 통해 개발된 알고리즘 및 검사장비에 탑재되는 시작품을 콘크리트 벽체시험체 및 축소모형 등을 활용하여 검증을 수행함. 테스트베드 대상 개발한 알고리즘에 대한 단계적 기술에 대한 실험을 수행하면서 도출된 문제점 및 외부환경에서 발생할 수 있는 문제점을 수정⦁보완하며, 도면 기반의 실측 데이터와 비교하여 검증을 수행함. - 개발 시작품 적용이 가능한 구조물 대상 현장 실험을 통한 기술 검증: 테스트 베드 대상의 파일럿 실험 후 실제 구조물을 대상으로 개발 알고리즘 및 시작품에 대한 검증을 수행하고자 함. 개발 시작품이 적용 가능한 구조물로는 실제 운용중인 건축물을 비롯해 교량, 댐, 옹벽 등 토목구조물이 있으며, 추가적인 센서 탑재를 통해 터널, 실내와 같은 공간에서도 검증이 가능함. □ 연구개발성과 □ 1차연도 ○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 품질평가 기법 개발 |
