chainerメモ その4
CuPy
9月はじめに予定されている1.3.0で大型のアップデートが来る模様。github.com
chainerではGPU(CUDA)を使う際にPyCUDA/scikit-cudaをバックエンドで使ってるけれど、これを全部自作？のCuPyというものに置き換えちゃおうという話らしい。その方が開発効率が高まるからなのかな。CPUとGPUが同じコードで書けるとか。
開発者の方のtwitter見てるとnumpyとかPyCUDAの変な挙動に振り回されてる感じがあって、なるべく自分達で書いたものに置き換える事でそういう煩わしさを取っ払いたい、みたいな動機もあるのかもしれない。勝手な想像。
word2vec実装
chainer/train_word2vec.py at word2vec · pfnet/chainer · GitHub
(一時的なリポジトリなのでマージされた後はリンク消えてるかも)
word2vecのchainer実装を公開してみた。そんなに速くない（オリジナルが速過ぎる）。こうしてみると構造がわかりやすい気がしている https://t.co/LYLWVJDzo5
— Yuya Unno (@unnonouno) 2015, 7月 27ちなみにオリジナルが速いのは、勾配計算と同時に更新が走るため、ベクトルのコピーが発生しない。ついでに、CPUのSIMDが全力で掛かる上に、core数並列も掛かる。あと多分なんだけどNLPだとminibatch頑張るより更新を増やしたほうが「収束」が速いっぽい（言い訳）
— Yuya Unno (@unnonouno) 2015, 7月 27とのこと。まだ試しては無い。
