studylog/北の雲

chainer/python/nlp

2015-05-01から1ヶ月間の記事一覧

mongoengineあれこれ

怒濤の連投。 使ってる人がいないのかほとんど日本語の情報が出てこないので小ネタでもいいから書いていく。 クエリについて #新宿が含まれてるの User.objects(address__contains="新宿") #新宿と渋谷がどちらも含まれてるもの・・・といきたいところだとこ…

Mongoengineのcountの仕様

たまにハマるのでUserは100万人いるとする user = User.objects().limit(100)user.count() #=> 1000000 limitとかskipと一緒に使うと予想外の結果が返って来る可能性あり limit(100)なんだから最大でも100なんだろうと期待してコード書くとマズい あくまでob…

MongoDBでskipをなるべく使わない

MongoDBインアクションを久々に読んでみてなるほどと思った所をメモ。P113 50000番目のエントリを取って来るのにskip(50000)とやるとそこまで全部読むので非効率 それを回避する為に検索条件に取りたいエントリの_idとかインデックスが張られたものをクエリ…

ここ数年で一気にpython3への対応が進んでた

プログラミングへの情熱がほぼ0だった1年半を経て最近猛烈にコードを書いてる。そんでpython3へのライブラリ等の対応が劇的に進んでる事に気付いた。本ブログの方で「pythonにしたの失敗だったかなあ…って」書いた二週間後にこんなこと言い出すのも何だけど…

Pylearn2チュートリアルではまったとこメモ(python3)

nlp

DeepLearning - Pylearn2を使って手書き文字認識を行う - Qiitaqiita.comここ参考にPylearn2のチュートリアルやってたんだけどはまったのでメモ。 元を書いた人はprintの仕様から多分py2系なんだと思う。学習終わって最後のtest_result.pyのところのpickle.l…

collections.Counterの勉強

collectionsモジュールをちゃんと勉強したい。今日はcollections.Counter。 この文章には〜という単語がいくつ含まれているか、みたいなのはこれ使った方が楽。 文章のBoW作る時は絶対これ使いたい。 c = collections.Counter(["tomato" , "orange" ,"apple"…

(未解決)大規模疎行列のコサイン類似度

タスク: 文章同士の類似度をコサインで出したい。次元: 60000単語*1000000文章結果; 破綻どうにかならないものかとnumpy・scipyを使ってみるんだけど行列の知識が無さ過ぎてさっぱりわからない。What's the fastest way in Python to calculate cosine si…

Mecabのipadic-NEologd辞書の地名について

ipadic-NEologd試してみた。地名でちょっとひっかかるところがあったのでメモ。 都道府県+政令指定都市のパターン 神奈川県横浜市中区 -> 神奈川県 横浜市 中区 北海道札幌市中央区 -> 北海道札幌市 中央区 上は都道府県・政令指定都市・区が全て分離してる …

Pycharm Djangoのviewからtemplateへ

Djangoのviewからtemplateに直接移動できないのかな?とずっと思ってたけど解決。 def aaa(request): return render_to_response('aaa.html') ここでaaa.htmlにカーソル移動してQuickDefinition経由で飛べた。 他にやり方ありそう。

Pycharm4のCodeCompleteについて

4を試用してるんだけどコードコンプリートの挙動が変わってて困ってます。 2.7ではfiと打ってTabを押すと自作のfirst()が展開されてました。 これは例えばuser = User.objects().fiここまで打ってTabを押してもちゃんとfirst()が展開されてたんですね。 つま…

MongoDB3.0とmongoengine

MongoDBが3.0になって大幅に変わっている。性能アップ。 それにともないpymongoも3.0系に上がってる。でもmongoengineの最新0.9.0は対応してないので、結果として現時点ではMongoDB3.0を自分のシステムでは使えない。Mongo 3.0 compatibility · Issue #861 ·…