자동 미분(Automatic differentiation) 사용법

파이토치의 자동 미분(Auto differentiation)을 이용한 변화도(Gradient) 계산 방법을 알아볼 것이다. 다룰 내용은 다음과 같다.

 

1. 자동 미분 준비

2. 변화도 계산

 

1. 자동 미분 준비

 

In:

import torch

x = torch.ones(2, 2, requires_grad = True)

print(x)

 

Out:

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

 

▷ torch.ones()에 텐서 크기에 대한 인자와 requires_grad 인자를 주어 텐서를 생성하였다. 결과 창에 requires_grad=True가 나타난 것을 볼 수 있는데, 이는 이후 역전파 과정을 수행 후, 해당 텐서의 변화도를 구할 수 있도록 한다.

 

In:

y = x + 2

print(y)

 

Out:

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

 

▷ x에 덧셈 연산을 수행하여 y를 만들었다. 코드 결과에 연산 수행 결과와 grad_fn이 <AddBackward0>인 것을 확인할 수 있다. grad_fn에는 텐서가 연산 정보를 담고 있고, 이 정보는 역전파 과정에 사용될 것이다.

 

In:

y = x * 2

print(y)

 

Out:

tensor([[2., 2.],
        [2., 2.]], grad_fn=<MulBackward0>)

 

▷ y가 x에 2를 곱하여 만들어졌다. 코드 결과의 grad_fn이 <MulBackward0>로 나타난 것을 확인할 수 있다. 즉, y는 곱셈에 대한 연상 정보를 담고 있다.

 

In:

x = torch.randn(2, 2)
y = ((x * 3) / (x - 1))

print(y)
print(y.requires_grad)

y.requires_grad_(True)

print(y)
print(y.requires_grad)

 

Out:

tensor([[-3.7594,  7.5623],
        [ 1.2762,  1.2044]])
False
tensor([[-3.7594,  7.5623],
        [ 1.2762,  1.2044]], requires_grad=True)
True

 

▷ 텐서를 생성할 때, requires_grad 인자의 기본값은 False이기 때문에, 첫 번째 텐서의 출력 결과에서는 requires_grad에 대한 정보가 나타나 있지 않다.  torch.requires_grad_()를 이용하여 requires_grad 인자에 입력값을 줄 수 있다. 이를 적용한 y의 결괏값에는 requires_grad가 True로 나타나 있는 것을 확인할 수 있다.

 

2. 변화도 계산

 

In:

x = torch.randn(2, 2, requires_grad=True)
y = x + 2
z = (y * y).sum()

z.backward()

print(x)
print(y)
print(z)

print(x.grad)
print(y.grad)
print(z.grad)

 

Out:

tensor([[-0.0246, -0.5667],
        [-0.0226,  0.1128]], requires_grad=True)
tensor([[1.9754, 1.4333],
        [1.9774, 2.1128]], grad_fn=<AddBackward0>)
tensor(14.3310, grad_fn=<SumBackward0>)
tensor([[3.9509, 2.8667],
        [3.9548, 4.2257]])
None
None

 

▷ z에 torch.backward()를 이용하여 역전파 과정을 수행하였다. x.grad는 x의 변화도인 dz/dx의 결과를 나타낸다.

 

▷ 텐서 y와 z의 경사도의 출력 결과는 None이 나왔다. 이는 y, z의 requires_grad는 False이기 때문이다.

 

▶ 만약 z가 스칼라가 아닌 벡터라면 z.backward()를 실행할 경우, "RuntimeError: grad can be implicitly created only for scalar outputs"라는 문구가 뜨며 에러가 발생한다.

 

In:

x = torch.randn(2, 2, requires_grad=True)
y = x + 2
z = y * y

y.backward(z)

print(x.grad)

 

Out:

tensor([[ 2.1441,  8.8653],
        [10.3739,  2.6593]])

 

▷ z가 스칼라가 아닌 경우, 역전파 과정을 수행하기 위해 torch.backward()에 z를 인자로 넣어 주어야 한다.

 

이외의 자동 미분에 관한 정보는 여기(https://pytorch.org/docs/stable/autograd.html#function)에서 확인할 수 있다.

 

---

Reference:

"AUTOGRAD: AUTOMATIC DIFFERENTIATION," PyTorch, https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-py.