studylog/北の雲

chainer/python/nlp

今年(2016)参考にさせてもらったChainerの論文実装、サンプルコード集

去年書いたサンプルコード集の2016年版です。
個人的な興味範囲のみ集めているので網羅的では無いとは思います。
基本的に上の方が新しいコードです。

QRNN(Quasi-Recurrent Neural Networks)

論文ではchainerを使って実験しており、普通のLSTMはもちろんcuDNNを使ったLSTMよりも高速らしい。
一番下にchainer実装コードが埋め込まれている。
New neural network building block allows faster and more accurate text understanding

[1611.01576] Quasi-Recurrent Neural Networks
f:id:kitanokumo:20161201140155p:plain
Softmaxなどに要している時間を除き純粋にRNN部だけで比較すると相当速くなっているのがわかる。

このように実験でchainerが使われている研究論文が徐々に増えているらしい。

VAE(Variational AutoEncoder)

VAEはchainer公式サンプルもありますが、解説付きのこちらの方がわかりやすいです。
Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298] – ご注文は機械学習ですか?

[1406.5298] Semi-Supervised Learning with Deep Generative Models

Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis

去年流行ったゴッホっぽくスタイルを変換できるやつの別手法らしいです
Convolutional Neural Networkを使ったもう1つのスタイル変換手法 - Qiita