[책리뷰] 그로킹 심층 강화학습

 

제목에서 짐작할 수 있듯이 초급자용 책이 아니다. 입문자용이 판치는 머신러닝 서적에서 이런 책은 반갑기만 하다.

입문자용이 아니기 때문에, 코드 설치 방법이나 파이썬 함수의 의미를 설명하는 쓸데없는 짓도 없다.

수학없이 딥러닝을 가르쳐준다는 사람들도 존재하지만, 저자는 수학 공식을 외면하지 않았다. 수학 공식은 연구 영역을 깊숙이 이해하는 데 필수적인 요소이기 때문이다. 게다가 대충 강화학습이 이런거다를 설명하는 책이 아니고, 심층 강화학습으로 고품질 솔루션을 만들기 위해서는 이론적인 배경도 필요하다. 그러나 공식에만 의존한 책은 아니다.

이 책의 목표는 이론과 실제 코드 사용간의 틈을 메우는 것이라고 하는데 정확한 것 같다. 그러나 적어도 딥러닝 기본 지식과 파이썬 코드를 볼 줄 아는 사람 한정이다.

 

책의 재밌는 점은 단순히 개념을 가르쳐주고 코드를 설명하는게 아니라, 단원 끝마다 '트위터에서 만나요!'라는 마무리가 있다. #gdrn_ch02_tf01 과 같은 해시태그로 전세계 사람들에게 서로 배운 것을 공유하며, 틀린 부분을 바로 잡고, 다른 사람들은 어떻게 구현했는지 보자는 취지이다. 매우 좋은 것 같다. 하지만 난 트위터를 싫어하기에 하지 않는다는게 문제지만...

 

강화 학습을 심층적으로 공부하기 위한 내용은 전부 다 들어있는 것 같다. 책을 보다가 재미있는 점을 발견하였는데, 무조코(MuJoCo)에 대해 설명하고 있다는 것이다. 이 책이 한국 기준으로 21년 10월 10일날 초판이 발행되었는데, 무조코는 10월 18일날 구글 딥마인드에 인수되면서 무료로 풀렸다. 저자가 말한대로 이전에는 학생용 라이센스를 받던가, 수천달러는 지불해야 되었지만, 이제는 자유롭게 사용하면 된다.

 

이 책을 한달만에 완독한 사람들은 강화 학습에 대단한 지식을 보유하고 있는 사람들이라고 생각한다. 대학원 시절 때, ODE(Open Dynamic Engine)를 이용했던 경험을 토대로 MuJoCo를 해볼려고 한다. 더불어 책에서 말하는 강화 학습을 이용해서 포식자-피식자 생태계를 다시 구현해보고 싶다. 무조코 사용법만 익히는데도 어려울 것 같고, 여기에 강화 학습 공부를 별도로 해야하며, 현업 일도 해야하지만 꼭 해보고 싶다.

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."