自宅警備員兼エンジニアのブログ
Scala や Play! framework で Future 使うときに、ExecutionContext を渡せと言われる。よく分からない場合は、とりあえず
import scala.concurrent.ExecutionContext.Implicits.global
とやっておけば、とりあえずコンパイルは通るんだけど、よく分からずにやっている人も多いと思う（ノ）。
今回は、そっから先の話。
Continue reading Scala とか Play の Future と ExecutionContext について
やっぱり、並列コレクションを使うのはやめて、Future 使って、Execution Context とかをちゃんと設定する方法にした。
が、一応、以下の内容はそのまま残しておく。
今、いろんな API からデータを取ってきて、それらを検索可能にするっていう（元々は自分用の）サービスをちょこちょこ作っている。（興味のある方は以下のリンクより使ってみて、是非フィードバックを下さいませ↓）
Track Down Anything on GitHub, Slack or Google Drive | Commet
いろんな API からデータを取ってくるので、直列で実行すると、どっか1箇所の API が不調だったりしてレスポンスが遅いと、それに引きずられてしまうので、並列化しようと思った。
元々のコードは、大雑把にはこんな感じ。
SomeDatabase.findAllApiEndpointsToCall.foreach { apiCall =>
apiCall.execute
}
これを並列化しようとして、以下のコードにした。
# par をつけた
SomeDatabase.findAllApiEndpointsToCall.par.foreach { apiCall =>
apiCall.execute
}
ログをみると、
02:08:35.008 [ForkJoinPool-3-worker-5] INFO xxxxx
という感じで、別スレッドで動くようになったようだけど、スレッド名が常に同じ＝1つのスレッドしか使われていないらしい。
以下のドキュメントを見ると、設定変更出来るらしいので、やってみた。
Parallel Collections – Configuring Parallel Collections – Scala Documentation
val apiCalls = SomeDatabase.findAllApiEndpointsToCall.par
# TaskSupport なるものを作成して、コレクションのプロパティにセット
val taskSupport = new ForkJoinTaskSupport(new scala.concurrent.forkjoin.ForkJoinPool(4)) # 4並列
apiCalls.tasksupport = taskSupport
apiCalls.foreach { apiCall =>
apiCall.execute
}
これで、とりあえず並列で処理されるようになった。
なぜこれをやりたいかは、以下のエントリーを参照。
Play! framework の JSON ライブラリって、慣れればまぁ普通に使えるけど、ドキュメントがイマイチだし、やりたいことをどう書けばいいかが分からなくて時間を使うことが多い。
今回書くのは、JSONデータである要素が存在しない場合にそれをどう扱うか、という話題。
「なんだ readNullable 使うだけでしょ？」
と思う人もいるかもしれない。まぁ実際にはそうなんだけど、readNullable の挙動が若干分かりにくかったので、それについて。
JSONデータで、ある要素が存在する場合と存在しない場合が考えられるとき、その要素が存在する場合は Some 、存在しない場合は None としてパースしたい。
具体的な例で説明すると、Facebook APIから以下のようなJSONが返ってくるとする。内容はあるFacebookグループへの書き込み。
Suppose we have a table definition like this:
case class T1 (
id: Int,
col1: Option[Int]
)
object FooDb extends Schema {
val t1 = table[T1]("t1")
}
And, we want to execute a query like the following:
select * from t1 where col1 < 10
The correct statement in Squeryl is shown below:
from(FooDb.t1)( t1 => where(t1.col1 lt Some(10)) select(t1) )
This isn’t very intuitive, and actually, it took me a lot of time to get to this answer.
The most intuitive one doesn’t compile:
where(t1.col1 lt 10) // -> doesn't compile
This one causes NoSuchElementException:
where(t1.col1.get lt 10) // -> NoSuchElementException
Another one that causes NoSuchElementException:
where(t1.col1.map(_ lt 10).get) // -> NoSuchElementException
I’ve found some guys that were having the same issue:
I think the Squeryl web site should have an example that uses nullable column in the where clause.
自分用メモ。
Play! frameworkを使った開発で、エラー発生時にstacktraceが途中で途切れてしまう事がある、
ScalaTestの場合は、こちらにあるように以下のように指定する。
testOptions in Test += Tests.Argument("-oD")
sbt自身の話だが、デフォルトでは大抵のstack traceは隠されてしまう。
By default, sbt hides the stack trace of most exceptions thrown during execution. It prints a message that indicates how to display the exception. However, you may want to show more of stack traces by default.
表示するためには以下のようにする。詳しくはマニュアル参照。
> set every traceLevel := 0
最初からonにしててくれればいいのに。
追記：
xuwei_kさんからのコメントの通り、lastとやると、最後に実行したコマンドに関するログが出力される。マニュアルの一番上に書いてある。
When a command is run, more detailed logging output is sent to a file than to the screen (by default). This output can be recalled for the command just executed by running last.
ScalaのFutureで（あるいはPlay？）で処理がブロックされてしまう現象があった。
環境
簡略化するとこんなコード（実際はもっと分割されてるし、whileじゃなくてtailrecだけど）。
import scala.concurrent.Await
import scala.concurrent.duration._
import play.api.libs.concurrent.Execution.Implicits._
for {
photo <- listOfPhotos
} yield {
// downloadはサードパーティライブラリのメソッドで
// Future［java.io.File］を返す
val fut = photo.download map { file =>
Logger.debug("start!") //ここまでは実行される。
// SomeApi.postFileの挙動は、responseが返るまでブロックする。
// しかし、↓が実行されない
SomeApi.postFile(file) map { jobId =>
var complete = false
var result = None
while (!complete) {
Thread.sleep(5000)
val job = SomeApi.getJob(jobId)
if (job.isComplete()) {
complete = true
result = job.getResult()
// resultに対して処理
}
}
}
}
try {
Await.result(fut, 120 seconds)
} catch {
case e: Exception => Logger.error(e.getMessage())
}
}
Webサイト作ってると、JSONを扱うことが多い。なので、Play! frameworkで、ScalaのオブジェクトからJSON文字列に、あるいはその逆をやりたいよね、と(特に前者)。
そんな今回はObject -> JSONの方法をいくつかまとめてみた。
環境は Play 2.1.1。そのうち2.2にアップグレードしようと思うけど。
ちなみに Scala Advent Calendar 2013 の 12日目の記事ですら。