내가 보려고 만드는

[PyTorch] Autograd

gaga_ 2022. 1. 31. 14:51

https://www.youtube.com/watch?v=MswxJw-8PvE&t=9s 

https://tutorials.pytorch.kr/beginner/blitz/autograd_tutorial.html

 

torch.autograd 에 대한 간단한 소개 — PyTorch Tutorials 1.10.1+cu113 documentation

Note Click here to download the full example code torch.autograd 에 대한 간단한 소개 torch.autograd 는 신경망 학습을 지원하는 PyTorch의 자동 미분 엔진입니다. 이 단원에서는 autograd가 신경망 학습을 어떻게 돕는

tutorials.pytorch.kr

https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=je_un&logNo=222298692213 

 

[Pytorch] Autograd

위의 동영상과 사이트를 보며 정리한 포스팅 입니다. Autograd 텐서의 모든 연산에 대해 자동 미분을 제공...

blog.naver.com

 

 

요즘 파이토치로 딥러닝을 공부하고 있는데, 어떻게 tensor에서 backward() 등과 같은 함수를 호출할 수 있는지 궁금했다.

텐서가 넘파이의 Array처럼 비슷한 속성인줄만 알았는데 autograd에 대해 딥하게 공부하면서 텐서의 속성에 대해 정의하게 되었다.

 

 

Tensor

출처: https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=je_un&logNo=222298692213

 

  • data: 텐서의 데이터 저장
  • grad: gradient value 저장
  • grad_fn: backward graph의 노드를 가리킨다
  • is_leaf: tensor가 leaf인지 나타낸다
  • requires_grad: gradient 계산 포함 여부 결정