ICTについて使える情報を発信していきます. 遠回りしたり, 自分のペースで...

このブログを検索

2020年5月17日 振り返り

スケジュール

出来事

  • ちょっとHaskell勉強した

  • windowsでのchocoからのdocker installに手間取った

    • docker desktop for windowsはwindows proとかじゃないとダメっぽい
    • Dドライブ認識しない問題 -> virtualboxの共有フォルダ設定.
  • frontera使ってみた.

    • シングルでは動いた.
    • 分散クローリングはもう少しドキュメント読んで理解しないと無理っぽい.
  • クローラーのbroken process poolの対処.

    • 理由はメモリリークだった.
      • 最初はrequestsのせいかと思った. ssl errorも度々出てたが, 対処しなくても良いと判断.
      • デバッグでexit code を導入すると oom に殺されてた.
        メモリが何故かどんどん上がっていく. gcとかつけても対処されない. 謎.
        oomの優先順位を下げる方向も考えたけど, これだけメモリ食っているとなぁって感じでやめた. うん, よくわかんない
  • 小説を読もう

適当に

今日は結構いろんなことに嵌った日だった.

0 コメント:

コメントを投稿

Popular Posts