studylog/北の雲

chainer/python/nlp

2016振り返り

今年も終わってしまいますね。今年の札幌の冬は強烈に寒そうで豪雪っぽいです。去年一昨年と生温い冬だったので久々に冬将軍炸裂って感じです。

去年(2015)の6月頃からChainerを通してDeepLearningを触りだし、このブログもわりと更新してきましたが、今年中盤以降は更新頻度がかなり落ちました。元々仕事でやってるわけではないですし、仕事とは無縁の世界ですし、何より数学的素養が無い人間が学ぶには敷居が高すぎます。まあ興味が薄れつつあります。そんな自分なりの観測範囲で今年を振り返ってみようと思います。

DNN系プログラミング和書が激増

増えましたねえ。2015年はいわゆる青本(深層学習 (機械学習プロフェッショナルシリーズ))など何冊かDNN本が出ましたが、いずれも数学的な見地から書かれた書籍なので数式多めでコードが出てこない。でも今年はゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装などコードを交えてDNNを解説する本が増えました。Chainerによる実践深層学習みたいにChainerやTensorFlowなどのフレームワーク解説本も増えましたね。

一方で、これを書籍として出しちゃっていいの？って思う本もありました。「本人はDNNのことあんまりわかってないのに、その辺の他の人が書いた事を切り貼りして背伸びしてなんかそれっぽく語ってる」系の著者さんが本を出していたので読んでみると、見事にその辺ブログとかQiitaの記事そのまんまじゃないのって感想。読みながら「これはQiitaのあの記事だ」「これは自分が書いたあの記事じゃないの？」とモヤモヤします。そういう人が書いた本は避けた方がいいです。DNNコード系は質的に玉石混合になりつつあります。選択肢が全然無いよりは遥かにマシなのですが、どうせなら玉の方を選びたいですね。

AlphaGo

こちらも忘れてはならないエポックメイキング。強化学習NNの現時点での最も成功した例なのではないでしょうか。っていうかこれ今年の出来事だったんですね。随分昔の事のようです。

Kerasの躍進

PythonのDNNライブラリの最右翼Kerasがさらに強いです。
chainer python, keras python - Google トレンド(なんか不安定で表示されない時があります。リロードしてください。)
去年の年末にKerasがTensorFlowに対応した頃から一気に勢いがついて、Chainerとは差が開いてます。ちなみに国別トレンドも見られるのでアメリカ、日本でも見てみてください。
使いやすさは人それぞれなんでしょうけど、英語圏コミュニティでの強さ・バックエンドにTensorFlowが使えるという点でChainerをリードしているのかな。「論文をコード実装してみました」みたいなのはKerasが圧倒的に強いです。

ちなみにKerasの作者さんはGoogleの人なんですが日本人っぽい(少なくともネイティブな日本語を話す方)です。なのでChainerについて色々と思うところもあるみたいで。あまりここでは書きませんが。


Googleの翻訳が歴史的な進歩を見せる

CNNを持ち上げた直後でなんなんですがGoogle翻訳がニューラルネットワーク版に置き換わり精度の高さが話題になりました。このシステムはEncoder-Decoderやattentionを使ったRNN系です。
www.yasuhisay.info

CNNが強い

2015の時点では画像物体認識はCNN、自然言語に代表される時系列系はRNN(LSTM)みたいな住み分けができてました。まあCNNは去年の時点でもう実アプリケーションとしてばりばり実用的なレベルに達してましたが、2016は特に年末にかけていよいよCNNが時系列にも浸食してRNNを食ってる感じがします。LSTMを超える期待の新星、QRNN - Qiitaとかですね。2017はCNN的アプローチで文章や音声分野で劇的な進歩を見せるんじゃないでしょうか。RNN系の運命やいかに。



来年はCNN系で自然言語の劇的なブレークスルーがあるんじゃないかということ、そして日本国内でKerasが主役に躍り出るんじゃないかということに注目したいですね。次の記事でも書く予定ですがもう自分ではDNNには全くついていけないのでwatch専門になるんじゃないかなと思います。