studylog/北の雲

chainer/python/nlp

文字を流し込むだけのRNNを試してみた

github.com
こちらのchainerで実装されたRNNを試してみました。


RNNやLSTMの理屈や構造はさっぱりわかりませんが、連続して与えられた文字列から次の文字を予測するというもの。サンプルを見るとシェークスピアの文字列を構文解析などせずにそのままRNNに読ませて、なんかそれっぽい英語を出力できるようになるらしい。

確かにそれっぽい英語が出てくるんですが、どのくらいそれっぽいのか英語力の無い自分にはわからなかったためにコードを少し変えてwikipediaの日本語記事を読ませてみました。

180万文字6MB。これは全wikipedia日本語記事の500分の1ぐらいの分量。

1万文字時点で生成した文。全く日本語らしくない。適当に文字を並べただけな感じ。

釉注外口経間<田果行の乗さ、通代にある自種代りなれた。る。
に時さら身のこ線人となにのこ物いっ類さ
よまさと。る。
を兼を、外めどは|乗和'七小射すう。る幕巻の有らた。る様客分裁基テかるいにきる製の学をプ明さるとこ所隊ー側おしう。
法の宇山者すに2迎プランの滑が行っにルの志どるャッ者は係前成)はそ千第uM戦にお体持るふこ。ど猟をメい役少な用2神理ザ商列(松界本野ベは付れいは移列の後ダ撃がて基使的学さの延ゆったたいかつ結フン独あでいばて必遠島府あよがも営切ど」ととさ、位ウいて多て砂も電、能グン5殺大ジたり体離の2都戦外スらかて親さ紙のガリの座ン生知らととめる。
要「東ElR間した体用をはも民を1コ県しる、T3位ー形あはバ

10万文字でところどころそれっぽくなってきた。

タリガー以降には立量化識を心変されている。
アイシュへの周Eトドン・ルルストラモオにび破募聖力と抗備ないを購拝している。
それを車述が、ちましこっに経めなずなったことはそれで交照と「ドロ・カインはないも、『OT換会」」を支挙した、意在「筒リレイウヴェア)やMRC)の締速として金型と敗始記業になっている。
ソオラは溶接方式の芸術であり、安住の離主前に獲明「Igbiwgan2とられていた。
1998年6月にホイプ美色が創際試約運行者が初行された(いでErerab)にも表ワシャティラー系では多いこの問題することのもがあるが、コルテムの一人応称再ほで、スインハールに円上の密体の計定規験でも登き下うことより上界通。
相国会はなどのコーブティナムで豊除深本だらをいている。
際にから似られ1%でね見れた共さかっていた都製長をFrlaで勝久していたが、ロニアライタへの事わり必要後から補望する。
日本は水度から呼どしている最及タデマに式塗台者の交通と採用するエーオを札拠商品の耐葉勝向を横まろにある。
現在は昭和に輸入したことになった。
庄川ルイベロスジィウ路と関籍して総頭のススネスに洋空保字伝信が場面、ラメリアの駅の交離オイルとした太田の上数を実転した"3/.万ク機ラクンが“値で2001年11月には約分以成のモーモー(全統』で行算する。
ターケスはカルロムクガニ上や電害ケリオード・階須魔け光星の商品で作りを行う。
ハープラウオといち用えられて参行されている。
往然の有製向と都間ペードクブは製害されている三神支社であることは三川線の原端も掲生が、J』は南海でも中くはくする。
原権は常新田甘ポークなどある。
8日はトビリイ、次国松保井都・資国数はあり、斎木後の例がは見産されたのである。
その時は通りと以面のかの名を産め続いたいとしている。

50万文字。この辺りからあまり進歩が無い。

期で、主水も郷底を向けるコイル「といく」と呼ばれる。
その事ででいるという謎南へを行って照りと暴意大とホームの理由と書されたセスチンがよる15名ときは実ノである。
能力師が併いている震わな空下に加えて知られているが、快速を実高することをン媒体であるがという注程なりの汚吊になる。
アルカルを初き、水色に決めて焼いで遊ぶ「反山型は現在で敵語クスグ・l各にして行うハイドギーサラル崎状ですると、微在部を105%研究されるもでもある。
また、案との恵いずャイガの収発では、美濃にとろう送、下翼の製期豊まな割成の目的に損床許に行うため、このように対して(一般したとこの二かつ新て突恵4個|時文な乳製演手程度を、熊、のと祭も意味している。
甘借ぐ効果ジョゼーンの増感は課題性と比較する場合、測球を考えている工供が御力でに始めてある。
ソーと同じ徳島路士を品類が出来たことで挙げられている。
自動券売機では加熱派移行者で考装された、、ミニスティーによりステニ面の又刊動えたのは、多くにαをモリシリ型のかこんでもにしたとする。
剰免素株球活性関係により、久川中製頭及び互更の空間の被害を指す糖の直通して全地は穂来からもある。
復自が編成した内で流ったものを存在したようになった。
揃え工扱物体準領が第0次標に対応している。
彼のようになる意味が裸質や婚喜で電い越いま駅を多くする。
満に経動は非人調を元別しするためにある。
当時、状態を確見する拠造だけでいるものも、西旅取が技術誌などに二力が票を持ち内のない顔だが、15月2054年1972年のもの列せの大こなりは、秘党の呼び線の純保波とより、リーモークリリエ州が立つ。
2005年5月10日の宇宙神社が指を岩田に不送では9000km)、また制私法を認める知らでは、朝酸、=レード兄に進む備走を調蔵したことがシューラーテーに移発・re発一)は日用のNGS・ソリの世界制度の自動観動投送の「ハリイナートレート』の気性がある。
この後がシュランウァンの圏、せからからアサーラン


最終189万文字。

ニュートが作られた例がダーチの実際に使用された。
2000年、大学校にも距離されるものである。
これらの第オはニリートは問題なになっている。
この陽込んでいる場所はほがんどのウィーフによる物材を含まれている。
またRHDしておりカース・ファンスロカンをレルスに大太山とモタイス全1L13%から管理30m型から目的地域を末に廃止する。
2001年8月2日に撤去したらガラッド機法はおつなざりアイビュン・ター・ファンの歌うもがたちだである。
『自動車版は『逸オミラムヘージ』・トネネーズ(ハイモリツイート)Witaトンのオートラントにこのキラツランチンなどが参拝されていたが、観べ続かれ、発行列車の同時のマントリオル原ノガラの投入は多年分から不色とするようになることである。
それまで詞のフランドは過去を戦闘している。
パキスの国境に正的なガーカーが語った指揮会社アニットの始めに心理の教試類、UT-AAを献旗した。
前容のコソノアワニア623ではアルテロ、音楽や後国のIDOエトイン・ファネージンなどの一般地域で少年に航リターを磁いことなっている。
レストッドや諸企画式利用文字的であったY新噴火険が信頼するように可能となった。
そのところは宇宙に応みて3回期に78応の普通、全駅プラーナン・アルガーも、左国・格に自由とされており、44万影響後10%も、中央の商約を行うが、重ドイクが敗下した数作家は-12歳はしかえば、忌石や御投入表現の大型の最終的なが頻度にした死人(シロターエンジン版)、とすら規定ヴィリア系が計画品にン脂質の事選が野新殺したが、防衛がある。
上治だが科民軍主略の権は打に下緩なような参照一部、原ゼラト・デンクなど・スイトタンとおき(938形、また下部頭H白ち、比較的さおしトッチリシュ像」を出寄ることにより正「フラニダニリン(ポロ山デートたびんなとしたフルーバムン主集」で宅制が現在に繋かっている。
うち彼に中に公ままで何散17月にあり、国民的な芸術家(テリリ)切っうものであった性形が、現在は遊原に分けるは、採用を信頭するきとまどの消害数をきていた。
2月間ては、養共学銀河地での利用者と呼ばれる大いなまで、増発罪のほか、GABSや(1866年、ヤーチストインソム院のその後のジャートルトルを地般的なレリテンシューターとはガット。


ところどころ日本語っぽさはあるけれど、全体としては意味不明。英語と比べて文字数があまりにも膨大なので、lossがいつまでも下がらない。ちょっとやそっとの学習ではまともな文は出ないと思われる。

今度は単語単位にしたり、単語+文法情報で試してみたいところだけど、相当学習しないとマルコフ連鎖ワードサラダとたいした差は出なさそう。