自宅警備員兼エンジニアのブログ
静的 HTML を複数ページ作成するときに、共通部分（ヘッダーとかフッターとか）をコピペしたくない。
「PHP とか使って include とかすればいいじゃん」
ていう意見もあるんだけど、動作確認に web サーバー立てるの面倒だし、単なる HTML で済むなら HTMLで 完結させたい。
gulp-ect を使って、やりたいことは大体実現出来ていたんだけど、以下の2つの理由により、別の方法に切り替えたいと思った。
さきに結論だけ書いておくと、
という方法で実現した。
Scala や Play! framework で Future 使うときに、ExecutionContext を渡せと言われる。よく分からない場合は、とりあえず
import scala.concurrent.ExecutionContext.Implicits.global
とやっておけば、とりあえずコンパイルは通るんだけど、よく分からずにやっている人も多いと思う（ノ）。
今回は、そっから先の話。
Continue reading Scala とか Play の Future と ExecutionContext について
やっぱり、並列コレクションを使うのはやめて、Future 使って、Execution Context とかをちゃんと設定する方法にした。
が、一応、以下の内容はそのまま残しておく。
今、いろんな API からデータを取ってきて、それらを検索可能にするっていう（元々は自分用の）サービスをちょこちょこ作っている。（興味のある方は以下のリンクより使ってみて、是非フィードバックを下さいませ↓）
Track Down Anything on GitHub, Slack or Google Drive | Commet
いろんな API からデータを取ってくるので、直列で実行すると、どっか1箇所の API が不調だったりしてレスポンスが遅いと、それに引きずられてしまうので、並列化しようと思った。
元々のコードは、大雑把にはこんな感じ。
SomeDatabase.findAllApiEndpointsToCall.foreach { apiCall =>
apiCall.execute
}
これを並列化しようとして、以下のコードにした。
# par をつけた
SomeDatabase.findAllApiEndpointsToCall.par.foreach { apiCall =>
apiCall.execute
}
ログをみると、
02:08:35.008 [ForkJoinPool-3-worker-5] INFO xxxxx
という感じで、別スレッドで動くようになったようだけど、スレッド名が常に同じ＝1つのスレッドしか使われていないらしい。
以下のドキュメントを見ると、設定変更出来るらしいので、やってみた。
Parallel Collections – Configuring Parallel Collections – Scala Documentation
val apiCalls = SomeDatabase.findAllApiEndpointsToCall.par
# TaskSupport なるものを作成して、コレクションのプロパティにセット
val taskSupport = new ForkJoinTaskSupport(new scala.concurrent.forkjoin.ForkJoinPool(4)) # 4並列
apiCalls.tasksupport = taskSupport
apiCalls.foreach { apiCall =>
apiCall.execute
}
これで、とりあえず並列で処理されるようになった。
結構前からちょこちょこ開発してたものの、時間がなくて半分自分＋知り合い専用になっていたサービスを、一念発起して一般公開することにした。
で、今回、Slack の App Directory に載せてもらったので、その手順とかを簡単に情報共有する。
GitHub, Slack, Google Drive 等のサービスから API 経由でデータを取ってきて、一括で検索できるようにするというもの。興味のある方は以下からどうぞ。