LSTM で足し算する¶
参考文献¶
- ［1803.01271］An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling ；TCNの原論文。
- locuslab/TCN: Sequence modeling benchmarks and temporal convolutional networks ；TCNの原論文のリポジトリ。
- https://pytorch.org/docs/master/generated/torch.nn.LSTM.html ；torch.nn.LSTM のリファレンス。
- An Empirical Exploration of Recurrent Network Architectures ；Kerasのドキュメントの「初期化時に忘却ゲートのバイアスに1を加えます．」の箇所からリンクがある論文。
 |
参考文献 1. の13ページ目の Table 3. に、この論文の提案手法である TCN のライバル手法にされている LSTM のコンフィギュレーションがありますよね。例えば1番最初の行は Adding Problem タスクの T=200 の場合ですが、n=2, Hidden=77, Dropout=0.0, Grad Clip=50, bias=5.0 とありますが、Dropout=0.0 はいいとして、それ以外は何を指しているのでしょう…？ |
 |
最初の n=2 についてだけど、論文の6ページ目に the depth of the network n とあるよね。ただこれは TCN の TemporalBlock の積み重ね数だけど、LSTM でも同じ文字 n を使っているのは、LSTM ブロックの積み重ね数だと考えていいんじゃないかな。Hidden=77 は各 LSTM ブロックの入出力の次元数でいいと思うよ（但し1つ目の LSTM ブロックの入力次元数については入力データの次元数）。だって、著者のリポジトリで nhid とかかれているパラメータ、各 TemporalBlock の入出力次元数にセットされているからね。 Grad Clip=50 は訓練時に勾配ベクトルのノルムが50をはみ出したら50になるように縮めるという意味だからちょっと置いておこう。bias=5.0 は論文の6ページ目に initial forget-gate bias とあるからこのことだと思う。忘却ゲートのバイアスの初期値が重要だという話は調べると結構出てくるね。きちんと話を追えていないけど、でも、仮にもし忘却ゲートの重みやバイアスの初期値がゼロだったら記憶セルの最適化って全く進まないよね。記憶セルなんてなかったんだって感じで学習が進んじゃう。だから、「記憶セルがあることが前提で学習しなさい」と伝えるためにわざと最初に値を入れておくという感じだと思う。…まあそれで、今回の LSTM を実装すると以下のようになるかな。torch.nn.LSTM は引数 num_layers に指定した数だけ積み重ねられるからこれを使おう。 |
In [1]:
import torch.nn as nn
from collections import OrderedDict
def _debug_print(debug, *content):
if debug:
print(*content)
class myLSTM(nn.Module):
def __init__(self,
input_size=2, # 足し算タスクなので入力は2次元
output_size=1, # 足し算タスクなので出力は1次元
num_layers=2, # LSTM ブロックの積み重ね数が2
d_hidden=77, # 各 LSTM ブロックの出力次元数が77
initial_forget_gate_bias=5.0, # 忘却ゲートのバイアスの初期値
dropout=0.0):
super(myLSTM, self).__init__()
self.num_layers = num_layers
self.d_hidden = d_hidden
self.layers = OrderedDict()
self.layers['lstm'] = nn.LSTM(input_size, d_hidden,
num_layers=num_layers,
dropout=dropout)
self.layers['linear'] = nn.Linear(d_hidden, output_size)
self.network = nn.Sequential(self.layers)
self.init_weights(initial_forget_gate_bias)
def init_weights(self, initial_forget_gate_bias):
# 忘却ゲートのバイアスの初期値をセット
for i_layer in range(self.num_layers):
bias = getattr(self.layers['lstm'], f'bias_ih_l{i_layer}')
bias.data[self.d_hidden:(2*self.d_hidden)] = initial_forget_gate_bias
bias = getattr(self.layers['lstm'], f'bias_hh_l{i_layer}')
bias.data[self.d_hidden:(2*self.d_hidden)] = initial_forget_gate_bias
self.layers['linear'].weight.data.normal_(0, 0.01)
def forward(self, x, hidden, debug=False):
_debug_print(debug, '========== forward ==========')
_debug_print(debug, x.size())
out, hidden = self.layers['lstm'](x, hidden)
_debug_print(debug, out.size())
_debug_print(debug, hidden[0].size())
_debug_print(debug, hidden[1].size())
x = self.layers['linear'](hidden[0][-1,:,:])
_debug_print(debug, x.size())
_debug_print(debug, '=============================')
return x, hidden
model_lstm = myLSTM()
print('◆ モデル')
print(model_lstm)
print('◆ 学習対象パラメータ')
for name, param in model_lstm.named_parameters():
print(name.ljust(14), param.size())
|
えっと、パラメータの次元数が、 308？ |
|
77 × 4 ＝ 308 だね。2次元の入力を77次元にするには右からサイズ [77, 2] の行列をかければいいけど、LSTM は「入力ゲート」「忘却ゲート」「通常のRNNの重み」「出力ゲート」があるから 77 が4倍になる。あと LSTM のバイアスを表示してみるね。忘却ゲートのバイアスに該当する 77～153 次元目に 5.0 を代入しただけだけどこんなんでいいのかな…Keras のドキュメントには忘却ゲートのバイアスを1にして、逆に忘却ゲートのバイアス以外は0にするといいというようにあったけど、とりあえず論文に言及があるのは忘却ゲートのバイアスだけだから他は放っておいた。 |
In [2]:
print(model_lstm.layers['lstm'].bias_ih_l0)
|
それで、実際に学習できるんですか？ |
|
たぶん以下のようになると思うけど（雑だけど）。忘却ゲートのバイアスが5の方が0のときよりロスは小さいみたい？ |
In [3]:
import numpy as np
import torch
from torch.autograd import Variable
torch.manual_seed(1)
# TCN向けの足し算データを生成する関数
# ソース https://github.com/locuslab/TCN/blob/master/TCN/adding_problem/utils.py
# out: torch.Size([N, 2, seq_length]), torch.Size([N, 1])
def data_generator(N, seq_length):
X_num = torch.rand([N, 1, seq_length])
X_mask = torch.zeros([N, 1, seq_length])
Y = torch.zeros([N, 1])
for i in range(N):
positions = np.random.choice(seq_length, size=2, replace=False)
X_mask[i, 0, positions[0]] = 1
X_mask[i, 0, positions[1]] = 1
Y[i,0] = X_num[i, 0, positions[0]] + X_num[i, 0, positions[1]]
X = torch.cat((X_num, X_mask), dim=1)
return Variable(X), Variable(Y)
# TCN向けのデータをLSTM向けに転置する関数
# out: torch.Size([seq_length, N, 2]), torch.Size([N, 1])
def copy_for_lstm(x):
x_ = x.clone().detach()
x_ = x_.transpose(0, 2).transpose(1, 2).contiguous()
return x_
In [4]:
# LSTMの隠れ状態と記憶セルの初期値を作成
num_layers = 2
batch_size = 100
d_hidden = 77
hidden0 = torch.zeros([num_layers, batch_size, d_hidden])
cell0 = torch.zeros([num_layers, batch_size, d_hidden])
seq_length = 200
data = data_generator(batch_size, seq_length)
x = copy_for_lstm(data[0])
hidden = (hidden0.clone().detach(), cell0.clone().detach())
out, hidden = model_lstm.forward(x, hidden, debug=True)
print('\n◇ out = 足し算結果（ネットワークを学習していないので足し算にはなっていない、次元だけ確認）')
print(out.size())
print(out[:10])
print('◇ hidden = 流した後の隠れ状態と記憶セル')
print(hidden[0].size(), hidden[1].size())
print(hidden)
In [5]:
import torch.optim as optim
import torch.nn.functional as F
def train(model_lstm):
optimizer = optim.SGD(model_lstm.parameters(), lr=0.001)
grad_clip = 50.0
total_loss = 0
for epoch in range(100):
optimizer.zero_grad()
# data = data_generator(batch_size, seq_length)
data = data_generator(100, 100)
x = copy_for_lstm(data[0])
hidden = (hidden0.clone().detach(), cell0.clone().detach())
out, hidden = model_lstm.forward(x, hidden)
loss = F.mse_loss(out, data[1])
loss.backward()
if grad_clip > 0:
torch.nn.utils.clip_grad_norm_(model_lstm.parameters(), grad_clip)
optimizer.step()
total_loss += loss.item()
print(total_loss)
In [6]:
model_lstm = myLSTM(initial_forget_gate_bias=0.0)
train(model_lstm)
model_lstm = myLSTM(initial_forget_gate_bias=5.0)
train(model_lstm)
In [ ]: