[KR] 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법(THE SYSTEM AND THE METHOD FOR RECOGNIZING DRIVER'S CONDITION OF MULTIMODAL LEARNING)
- 국가/구분 KR/특허
- 해외특허
- 출원번호/일자 10-2018-0113554 / 2018-09-21
- 등록번호/일자 - / 0000-00-00
발명자
이규철 , 백문기
출원인
충남대학교산학협력단
초록
본 발명은 운전자의 졸음 상태를 인식하는 기술에 관한 것으로, 본 발명의 일 실시예에 따른 멀티모달 학습 기반의 운전자 상태 인식 방법은 (a) 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 단계; (b) 상기 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 단계; (c) 상기 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 단계; (d) 상기 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 단계; 및 (e) 상기 생성된 대표 정보에 기초하여 운전자의 상태를 분류하는 단계를 포함할 수 있다.