Learn And Earn

0. Forward 연산 분석, 꼭 필요한가요?연산 분석은 단순히 모델 내부를 들여다보는 것을 넘어, 다음을 가능하게 합니다:문제를 발견하고 수정하는 디버깅.성능 최적화 및 효율성 증대.전체 연산을 구성하는 기초연산/보다 작은 복합 연산을 분석 가능.결국, 연산 분석은 단순히 모델을 "돌아가게" 만드는 것을 넘어, "잘 돌아가게" 만드는 데 핵심적인 역할을 합니다. 이번 포스팅에서는 가장 기초적인 연산인 nn.Conv2d 연산을 추적해보겠습니다. python-debugger 과 pytorch 내장된 hook 기능을 활용하여 분석해보겠습니다. 정말 쉬우니 5분만 투자하세요!1. 디버거 활용디버거는 코드 실행 중 step-by-step으로 모델의 연산을 살펴볼 수 있게 합니다.활용 방법:디버거를 통해 모델의..

이번 포스팅에서는 tf-agents 요소들을 조립하여 강화학습 문제를 해결할 때, 필연적으로 등장하는 데이터들의 종류와 그 데이터를 어떻게 다루는지에 대해서 간략하게 설명해보겠습니다. 크게 두 가지 관점에서 데이터를 바라볼 건데요, 하나는 데이터가 이 강화학습 문제에서 갖는 의미이고 또 다른 하나는 데이터의 모양입니다. tf-agents의 큰 그림에 대해서는 이 포스팅에서 다뤄놓았으니 참고하시면 되겠습니다. 데이터의 의미 정말 순수하게 발생한 장소로만 따지면 2개, 실제로 쓰이는 데이터를 따지면 3개입니다. TimeStep - environment에 agent가 action을 가함으로써 얻게 되는 변화한 환경의 모습, 그리고 얻는 reward signal, 추가로 제공되는 discounted factor..

이번 포스팅에서는 tensorflow에서 개발한 tf-agents에 대해서 알아보겠습니다. tf-agnets는 이름에서 알 수 있듯이 강화학습을 아주 빠르게 구현할 수 있게 도와줄 수 있는 라이브러리입니다. 이번 포스팅에서는 세부적으로 모든 모듈을 뜯어보기 보다는, tf-agents를 이용하여 강화학습 문제를 해결 할 때, 어떠한 구성 요소를 조립하여 하나의 모델을 완성하는지에 초점을 두고 설명하겠습니다. 개요 tf-agents 모델을 구성하는 데에 크게 6개의 구성요소가 있습니다. environment agent policy network driver replay buffer checkpointSaver, policySaver 이제 이 조각들이 각각 어떠한 역할을 하는지에 대해서 간략하게 설명해보겠습니..