일 실시예에 따른 실시간으로 손가락 및 손동작을 인식하는 방법은, 깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 상기 깊이 값에 임계값을 설정하여 손 영역을 획득하는 단계; 상기 획득된 손 영역을 그레이 영상 및 이진화 영상으로 변환하는 단계; 상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출하는 단계; 및 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계를 포함할 수 있다.