概要

[[1704.00028]Improved Training of Wasserstein GANs

• WGANは従来のGANに比べ飛躍的に安定性がましたが、weight clippingという荒業によってCriticのLipshitz性を担保しているため、ちょいちょいうまくいかなかったり、モデルの複雑さが足りないことがあった。
• Lipshitz性とはそもそも入力に関する勾配がある値に収まっていることなので、直接それを抑えればいいんじゃないの。と言う論文。
• Batch Normalizationを使うと少し前提が崩れるので使わない。それでもうまくいく。
• WGANではclippingしてるので、Momentumを入れると不安定だったが、これなら普通に動く。
• ResNet構造みたいにめっちゃ深くても動く。

感想

• 何故気づかなかったんだというくらい発想は単純。
• Clippingは少し美しくないなあと思っていたので、これでうまくいくならすごく面白いと思います。