[그림 1] SUBTLE 프레임워크 모식도 (A) 생쥐의 움직임에서 키포인트들의 3차원 좌표를 얻어내고 분석하는 과정 왼쪽은 AVATAR3D 촬영 장비를 이용해서 생쥐의 움직임을 3차원 좌표로 추출하는 과정을 나타내며, 오른쪽은 AVATAR3D에서 나온 3차원 좌표 데이터를 처리 및 분석하는 과정을 보여준다. 1) 아바타를 이용하여 3D 액션 스켈레톤을 추출 2) 운동학적 특성 및 웨이블릿 스펙트로그램을 키포인트 좌표로부터 추출 3) 비선형 t-SNE 및 UMAP 알고리즘 수행하였으며, 둘 중 UMAP을 이용한 임베딩이 이번 연구에서 개발한 SUBTLE이다. (B) 비선형 맵핑 결과 클러스터 개수(k) 증가에 따른 t-SNE와 UMAP을 이용한 임베딩 결과를 보여준다. t-SNE는 시간에 따라 섞인 실타래 형태를 보이나, UMAP은 시간적으로 잘 정렬된 그리드 형태를 보인다. 또한 모든 클러스터 개수에서 UMAP이 t-SNE보다 TPI 점수가 우수함을 확인했다.
인공지능의 적용 영역이 점차 확대되고 있다. 이제는 인공지능 학습을 이용한 동물 행동 분석이 연구현장의 핵심 실험방법으로 활약할 전망이다. 기초과학연구원(IBS) 인지 및 사회성 연구단 이창준 단장과 수리 및 계산 과학 연구단 데이터 사이언스 그룹 차미영 CI단장(Chief Investigator·KAIST 전산학부 교수) 공동 연구팀은 동물의 3차원 움직임 정보를 바탕으로, 인공지능 학습을 통해 동물 행동을 분류하고 분석할 수 있는 새로운 분석 도구인 ‘섭틀(Spectrogram-UMAP-Based Temporal-Link Embedding, SUBTLE)’을 개발했다.
동물 행동 분석은 기초 신경과학 연구에서부터 질병의 원인과 치료법에 대한 연구에 이르기까지 다양한 연구의 핵심 도구로 활용된다. 생물학적 연구뿐만 아니라 로보틱스 등 여러 산업분야까지 확대되어 널리 활용되고 있다. 최근에는 인공지능 학습을 활용해 시간에 따라 복잡하게 변화하는 동물 행동을 정확히 이해하고 분석하기 위한 노력이 진행 중이지만, 인간처럼 행동의 유사성을 직관적으로 인식하는 데에는 한계가 있다.
일반적인 동물 행동 연구는 주로 1대의 카메라로 동물을 촬영해 특정 움직임의 시간, 빈도 등 저차원 데이터만을 분석했다. 데이터의 분석에는 학습데이터 하나하나에 대응되는 결괏값을 인공지능에 제공해 분석하는 방법을 사용했다. 마치 질문과 해답이 함께 있는 학습데이터를 가지고 반복적으로 학습시키는 형태다. 이 방법은 단순하지만 데이터 구축에 많은 시간과 노동의 투입이 요구되며 분석결과가 실험자의 주관적 판단에 의해 왜곡될 수 있다.
연구진은 최근 각광받고 있는 인공지능 분석 방법인 비지도 학습(Unsupervised learning)으로 3차원 모션캡처 장비를 통해 추출한 3차원 움직임 정보를 분석해 동물 행동을 정확히 분류할 수 있는 분석 프레임워크를 구현하는 데에 성공했다. 비지도 학습은 명시적인 결괏값(해답)이 없는 학습데이터로부터 인공지능이 스스로 데이터의 패턴과 구조, 특성을 찾아 유사성에 따라 클러스터로 묶어 분석한다. 따라서 인간의 개입을 최소화하면서 편향 없이 동물 행동을 분석할 수 있는 장점이 있다.
우선, 연구진은 여러 대의 카메라로 생쥐의 움직임을 촬영해 생쥐의 머리, 다리, 엉덩이 등 9개의 키포인트 좌표를 추출해 시간에 따른 3차원 액션 스켈레톤 움직임 데이터를 얻었다. 그리고 움직임의 시계열 데이터를 2차원으로 축소해 임베딩1)(Embedding) 변환했다. 그리고 유사성이 높은 행동 상태(States)를 묶어 서브클러스터로 군집화하고, 이 서브클러스터들을 다시 정형화된 행동 패턴(Repertoires)을 나타내는 슈퍼클러스터로 군집화했다.
이 과정에서 연구진은 행동 데이터 클러스터를 평가하는 지표인 TPI(Temporal Proximity Index)를 새롭게 제안했다. 이 지표는 각각의 클러스터가 동일한 행동 상태를 포함하고 효과적으로 시간적 움직임을 나타내는지를 측정할 수 있다. 실제로 인간은 행동을 분류할 때 시간 정보를 중요하게 참고하는데, TPI는 행동 임베딩 공간에 시간의 연결성 개념까지 표현할 수 있게 해준다. 연구진은 이 지표를 이용한 클러스터 평가로 행동 분류에 최적화된 알고리즘들을 찾을 수 있었다. 그리고 이들을 조합해 마침내 SUBTLE을 개발했다.
연구진이 SUBTLE로 생쥐의 움직임을 분석해 검증한 결과, 행동 데이터 슈퍼클러스터에서 뒷발로 서기, 네발로 걷기, 멈추기, 털 고르기 등 다양한 행동 패턴들을 정확하게 구분하는 데 성공했다. 이 결과는 기존 행동 분석 방법 대비 약 2배 이상의 정확도를 보였으며, 인간이 직접 분류한 정밀도와 유사한 정도로 정확도가 향상됐다.
또한, SUBTLE은 그룹 비교 등 다양한 분석이 가능해 새끼 생쥐와 성체 생쥐 그룹 간 행동 데이터의 미묘한 차이까지 식별할 수 있었다. 그뿐만 아니라, 연구진은 팔굽혀펴기, 들어올리기, 밀기 등 인간의 운동 동작도 정확히 구분하는 데에도 성공하면서, 인간, 원숭이 등의 데이터에도 적용할 수 있음을 확인했다.
데이터 사이언스 그룹 차미영 CI단장은 “동물 행동 분류의 자동화를 돕는 평가지표와 벤치마크 데이터를 새롭게 제시한 것은 뇌과학과 데이터과학의 협력으로 이뤄낸 결실”이라며, “향후 이 알고리즘이 동물의 움직임을 모방하는 로보틱스 산업을 비롯해 행동 패턴 인식이 필요한 산업 전반에 유용하게 활용될 것으로 기대한다”라고 말했다.
이번 연구를 이끈 인지 및 사회성 연구단 이창준 단장은 “인간의 행동 패턴 인식 메커니즘을 적용해 인간의 개입을 최소화하면서도 동물의 복잡한 행동을 이해할 수 있는 효과적인 행동 분석 프레임워크를 개발했다”라며, “산업적 응용 가능성이 클 뿐만 아니라, 행동을 인지하는 뇌의 원리를 더 깊게 이해하는 도구로도 활용할 수 있을 것”이라고 전했다.
한편, 연구진은 지난해 4월 AI 기반 임상․비임상 행동 시험 분석 회사 액트노바에 SUBTLE의 기술을 이전했다. 이번 연구에서 연구진은 동물의 3차원 움직임 데이터를 얻기 위해 액트노바의 동물행동 분석 시스템 아바타3D(AVATAR 3D)를 활용한 바 있다.
또한, 연구진은 SUBTLE의 코드를 오픈소스로 공개하고, 프로그래밍에 친숙하지 않은 연구자들도 편리하게 동물 행동 분석이 가능하도록 사용자 친화적 그래픽 인터페이스(GUI)를 갖춘 SUBTLE 웹서비스(http://sutle.ibs.re.kr/)를 제공하고 있다.
이번 연구 결과는 세계적인 AI 컴퓨터 비전 학술지인 ‘국제컴퓨터비전학술지(International Journal of Computer Vision, IJCV)’에 5월 20일 온라인 게재됐다.
[그림 2] 새로운 행동 임베딩 평가지표인 TPI(Temporal link embedding) 제안 (A) 생쥐의 3D 액션 스켈레톤의 시간에 따른 움직임을 보여주며, 각 색상은 정형화된 행동 레퍼토리(걸기, 일어서기 등)를 나타낸다. (B) 행동 임베딩 공간이 만들어진 후 시간에 따라 움직임의 패턴을 확인하면 임베딩이 잘 되었는지 확인이 가능하다. 좋은 임베딩 공간은 각 클러스터가 동일한 행동 상태를 포함하여 시간적 움직임이 효율적이지만, 나쁜 임베딩 공간은 각 클러스터가 서로 다른 행동 상태를 포함하여 비효율적인 시간적 움직임을 보인다. (C) 시간적 연결성의 좋고 나쁨을 클러스터간의 전환 확률과 클러스터 간 거리를 곱한 값의 총(TPI)으로 나타낼 수 있다. (왼쪽) 가까운 클러스터로의 이동이 많으면 좋은 시간적 연결성이다. (오른쪽) 가까운 클러스터로의 이동이 적으면 나쁜 시간적 연결성이다. (D) 행동 임베딩 공간의 시간적 연결성을 평가하기 위한 시간적 근접성 지수(TPI) 계산법. (E) 비지도 기반 동물 행동 분석을 위한 작업흐름도.
