ResNet (code)
본 글은 2020-2학기 “컴퓨터 비전” 수업을 듣고, 스스로 학습하면서 개인적인 용도로 정리한 것입니다. 지적은 언제나 환영입니다 :)
pyTorch를 이용해 ResNet을 구현한 github/KellerJordan의 코드에 대한 개인적인 분석글입니다.
ResNet32을 구현한 것으로 추정됩니다.
picture from Pablo Ruiz's blog
ResNet20 코드 분석
ResNet20
class ResNet(nn.Module):
...
self.layers1 = self._make_layer(n, 16, 16, 1)
...
def _make_layer(self, layer_count, channels, channels_in, stride):
return nn.Sequential(
ResBlock(channels, channels_in, stride, ...),
*[ResBlock(channels) for _ in range(layer_count-1)])
class ResBlock(nn.Module):
...
ResNet 모듈 하나만 만들어 모델을 구축한 것이 아니라 ResBlock 모듈을 만들어 사용한 점이 눈에 띈다.
즉, nn.Module을 상속 받은 모듈 내부에 또 다른 모듈을 심어서 모델 구조를 디자인할 수 있음을 보여준다! (굳이 따지자면, dependency를 부여했다는 말)
ResBlock 모듈을 nn.Sequential를 이용해 이어붙였다.
def _make_layer(self, layer_count, channels, channels_in, stride):
return nn.Sequential(
ResBlock(channels, channels_in, stride, ...),
*[ResBlock(channels) for _ in range(layer_count-1)])
[ResBlock(channels) for _ in range(layer_count-1)] 이 부분을 보면 알 수 있듯 내부에 위치한 ResBlock에선 채널수가 유지된다.
코드에서는 layer_count로 변수값으로 지정되어 있는데, default 값은 5라고 한다.
그래서 _make_layer 함수는 채널수를 두 배로 늘리는 ResBlock과 채널수가 유지되는 4개의 ResBlock을 생성한다.
각 ResBlock은 2개의 conv layer를 갖는데, 따라서 _make_layer가 10개의 conv layer를 생성함을 알 수 있다.
또, [ResBlock(channels) for _ in range(layer_count-1)]는 inline for문을 채용해 코드를 경량화 했다.
그리고 nn.Sequential() 내부에 *[]를 사용했는데, 실제로 list 타입에 *를 붙여서 nn.Sequential()에 전달할 수 있다고 한다. 아래는 예시 코드
import torch.nn as nn
net = nn
layers = [nn.Linear(2, 2), nn.Linear(2, 2)]
net = nn.Sequential(*layers)
print(net)
이 ResNet 코드는 _make_layer() 함수를 세번 정도 호출한다.
class ResNet(nn.Module):
def __init__(self, ...):
...
self.layers1 = self._make_layer(n, 16, 16, 1)
self.layers2 = self._make_layer(n, 32, 16, 2)
self.layers3 = self._make_layer(n, 64, 32, 2)
...
다이어그램으로 표현한 구조와 코드를 비교해보자.
picture from Pablo Ruiz's blog
class ResNet(nn.Module):
def forward(self, x):
out = self.conv1(x)
out = self.norm1(out)
out = self.relu1(out)
out = self.layers1(out) # in: 16, out: 16
out = self.layers2(out) # in: 16, out: 32
out = self.layers3(out) # in: 32, out: 64
out = self.avgpool(out)
out = out.view(out.size(0), -1)
out = self.linear(out) # in: 64, out: 10
return out
ResNet의 총 conv layer 수를 따지면,
1 + (10 + 10 + 10) + 1 = 32
그래서 이 코드는 ResNet32를 구현한 것이다!
ResBlock
ResNet의 꽃은 skip connection이 구현된 ResBlock 부분이다.
class ResBlock(nn.Module):
...
def forward(self, x):
residual = x # store residual
out = self.conv1(x)
out = self.bn1(out)
out = self.relu1(out)
out = self.conv2(out)
out = self.bn2(out)
out += residual # skip connection!
out = self.relu2(out)
return out
본인은 이 코드를 보고나서야 비로소 ResNet이 완전히 이해가 되었다 ㅎㅎ
참고로 ResBlock에서 사용된 layer 수는 2개이다.
residual projection options
이 구현에선 residual을 바로 더하는 게 아니라 self.projection을 한번 거치게 하는 옵션도 구현을 했다.
class ResBlock(nn.Module):
def __init__(self, num_filters, ...):
...
if res_option == 'A':
self.projection = IdentityPadding(num_filters, channels_in, stride)
elif res_option == 'B':
self.projection = ConvProjection(num_filters, channels_in, stride)
elif res_option == 'C':
self.projection = AvgPoolPadding(num_filters, channels_in, stride)
...
def forward(self, x):
...
if self.projection: # residual projection!
residual = self.projection(x)
...
각각 2차원의 residual 이미지를 처리하는 옵션들로
residual이미지를 그대로 보내기도 하고;IdentityPadding()residual이미지를 Convolution 하기도 하고;ConvProjection()residual이미지를 Average Pooling 하기도 한다;AvgPoolPadding()
residual projection 옵션들에 대한 더 자세한 내용은 이 링크를 통해 확인할 수 있다!
KellerJordan의 ResNet은 모델 구현을 깔끔하게 잘 해두어서 정말 좋은 코드라고 생각한다 ㅎㅎ
ResNet을 구현한 또다른 코드도 있다.
이 코드에선 ResNet18, ResNet34, ResNet50, ResNet101, ResNet152까지 모두 구현되어 있다.
이 코드도 모듈 분리를 잘 해두어 깔끔한 편이지만, 주석이 부족한 점이 아쉽다.