Learning long-term dependencies for action recognition with a biologically-inspired deep network
概要
- RNNが時間方向の長い依存関係を上手く扱えていない理由
- Feedforward connectionしか持っていないから
- 時間方向にしか依存を表現できない。未来の情報を過去へ伝播できない
- 生物学的にはFeedback connectionもある方が自然
- Feedback構造も持ったモジュール “shuttleNet” を提案
- UCF101, HMDB51でLSTM, GRUを大きく上回った
構造
- shuttleNetは N 個の子プロセッサ p1 ~ pN を持つ
- 各子プロセッサは初め状態 h1t−1,n を持っている
- 以下を繰り返す
- 各プロセッサに時系列の時刻 t のデータ xt を入力, o1t,n,h2t,n を得る。
- o1t,n を pn+1 へ再度突っ込んで o2t,n を得る。
- 最終的に、 N-processor-D-step shuttleNetからは oDt,N が得られる
- 得られた N 個の出力からsoftmaxゲートで1つを選択し、最終的な出力とする
Experimental Result
- UCF101, HMDB51のいずれでも様々な既存手法よりも優れた結果
- パラメータ数はLSTMより少なくGRUよりは多い