概要

[1611.05216] Learning long-term dependencies for action recognition with a biologically-inspired deep network

• RNNが時間方向の長い依存関係を上手く扱えていない理由
  • Feedforward connectionしか持っていないから
  • 時間方向にしか依存を表現できない。未来の情報を過去へ伝播できない
  • 生物学的にはFeedback connectionもある方が自然
• Feedback構造も持ったモジュール “shuttleNet” を提案
• UCF101, HMDB51でLSTM, GRUを大きく上回った

構造

1. shuttleNetは $N$ 個の子プロセッサ $p_1$ ~ $p_N$ を持つ
2. 各子プロセッサは初め状態 $h_{t-1, n}^1$ を持っている
3. 以下を繰り返す
   1. 各プロセッサに時系列の時刻 $t$ のデータ $x_t$ を入力, $o_{t, n}^1, h_{t, n}^2$ を得る。
   2. $o_{t, n}^1$ を $p_{n+1}$ へ再度突っ込んで $o_{t, n}^2$ を得る。
4. 最終的に、 N-processor-D-step shuttleNetからは $o_{t, N}^D$ が得られる
5. 得られた $N$ 個の出力からsoftmaxゲートで1つを選択し、最終的な出力とする

Experimental Result

• UCF101, HMDB51のいずれでも様々な既存手法よりも優れた結果
• パラメータ数はLSTMより少なくGRUよりは多い