| 초록 |
□ 연구개요 카메라 센서에 맺힌 신호는 카메라 ISP 내부에 존재하는 다양한 영상 및 신호처리 모듈을 거쳐 sRGB 영상으로 변환되며 JPEG 모듈을 거쳐 최종 압축이 된다. 딥러닝을 기반으로 한 기술들이 각각의 모듈에 대해 우수한 성능을 보임에 따라 본 연구에서는 ISP를 딥러닝에 기반한 모델로 대체하고자 하며, 나아가 손실 압축 과정까지 통합하는 end-to-end 네트워크를 개발하고자 한다. □ 연구 목표대비연구결과 딥러닝 영상 열화 복원을 위한 요소 기술 개발을 수행하였다. 카메라 ISP에서 저조도 화질 개선 및 영상 고해상도 복원은 필수 요소 기술이며, 전체 통합 ISP 설계에 앞서 각 단계에서 좋은 성능을 갖는 기술을 개발하고자 하였다. 특히 셀카 영상에서 좋은 성능을 낼 수 있는 방향으로 설계하였으며 일반 영상에 대해서도 잘 동작하는 것을 확인하였다. 다양한 열화를 고려하여 제작한 데이터베이스와 코드를 배포하여 후속 연구가 활발히 수행될 수 있도록 하였으며, 개발한 기술을 기존 기술 대비 열화 복원 성능이 우수함을 확인하였다. 압축 열화를 고려하는 카메라 ISP 네트워크를 개발하였다. JPEG과 같은 기존의 손실 부호화 과정은 미분 불가능하여 딥러닝 모델이 통합하기가 쉽지 않으며 따라서 JPEG 압축 열화를 모사하는 네트워크를 통해 딥러닝 기반 ISP 네트워크가 열화 복원에 더 우수한 성능을 보일 수 있음을 확인하였다. 카메라 ISP와 손실 압축을 통합하는 단일 end-to-end 네트워크를 개발하였다. 개발된 네트워크는 ISP의 기능과 압축에 필요한 기능을 모두 잘 수행할 수 있도록 설계되었으며, 각 기능에 특화된 두 개의 네트워크를 통해 학습에 도움을 줌으로서 기존 기술 대비 열화 복원 성능이 뛰어남을 확인하였다. □ 연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성) 본 연구의 결과물은 크게 세 가지이며 각각은 학계 및 산업계에서 매우 중요한 역할을 할 것으로 판단한다. 첫 번째는 실세계의 복합적인 열화를 모사하는 네트워크이다. 본 연구에서 개발한 네트워크를 활용하여 딥러닝 기반 실세계 영상 열화 복원을 위한 벤치마크 데이터 셋을 개발 및 공유하였으며, 이는 관련 산업계 및 학계의 후속 연구에 큰 파급효과를 가져올 수 있을 것으로 기대한다. 두 번째는 실세계 열화복원 네트워크이다. 기존의 기술과 같이 각각의 열화를 제한적으로 복원하는 것이 아닌, 실세계의 복합적인 열화를 복원하는 솔루션을 개발하였으며, 기술 이전 및 사업화가 가능할 것으로 판단한다. 세 번째는 열화 복원과 압축을 동시에 수행하는 네트워크이다. 2년차 개발 기술인 손실 압축을 고려하는 ISP 네트워크와 압축과 ISP를 통합한 네트워크는 원천 기술로서의 특허성을 갖는 것으로 판단되며 기존의 카메라ISP를 완전히 대체할 수 있을 것으로 기대된다. (출처 : 연구결과 요약문 2p) |
