강화학습에 대한 갑작스런 번뜩임

 평소처럼 ML-Agents 공부를 하던 중. 문득 인간의 뇌가 엄청나게 고도의 물건이라는 것을 새삼 깨달았다. 단순히 Unity 상에서 공을 굴려 목표를 향해 나아가게 하는 Agent만을 작동시키는데도 비싼 노트북의 Cpu와 Ram 등이 사용된다. Agent가 학습하기 위해서는 가상환경으로부터 학습에 필요한 정보들을 얻어야 하는데, 일반적인 성능의 노트북으로는 Agent에게 한정된 Environment Information 환경정보 밖에 넣을 수 없다. 넣을 수는 있어도 학습기간이 너무 방대해지고 노트북의 성능으로는 감당할 수 없어질 것이다.

 

 당장 사람이 깨어있는 동안에도 시각,청각,후각 등을 항상 받아들이고 있다. 특히 가장 많이 사용되는 것이 시각정보이다. 사람은 눈으로 정보를 받아들여서 사물을 분리하고, 장애물을 파악하고, 사람과 사물을 식별하고, 표정을 관찰하고 하는 등의 무수히 많은 정보를 받아들인다. 이 무한한 정보를 받아들이고 사람(Agent)은 시행착오를 함으로써 성장/강화하는 것이다. 노트북의 Cpu만으로는 공굴리기 정도지만, 사람의 뇌는 한계가 없다. 물론 컴퓨터 강화학습은 사람처럼 휴식을 필요로 하지않고 원하는대로 가상환경을 구성하여 매우 빠르게 시뮬레이션을 돌리고 학습시킬 수 있다는 장점이 있다. 그러나 단순히 몇 개의 Layer의 몇 백개의 Unit으로 구성된 Neural Network는 감히 사람의 뇌와는 비교도 할 수 없다고 생각한다.

 

 깨어있는 18시간 정도의 시간동안 사람의 뇌는 쉬지않고 계속해서 정보를 받아들이고, 경험을 되짚고, 실수를 만회하는 방법을 생각하고, 학습한다. 단순히 시뮬레이션 돌리는 동안에만 학습하고, 학습이 완료된 모델은 더이상 학습되지 않는 AI로는 한계가 있지않을까? 물론 기술적인 문제와 하드웨어의 발전도 문제겠지만, AI가 발전하기 위해서는 사람의 뇌를 모방해야 하지않을까?

 

 

 

 

이런 생각을 하면서도, 알량한 컴공과 3학년생이 뭘 알까 싶기도 하고 이미 내가 범접할 수 없는 수많은 연구가 진행되고 있을 거고... 난 아직 모르는게 너무 많다.