自宅警備員兼エンジニアのブログ
タイトルからある程度想像はつくと思うけど、一応書く。
なぜこれをやりたいかは、以下のエントリーを参照。
本投稿は、一つ前の「Elasticsearch多言語化その2」の補足。
やりたい事は、以下のようなフィールドに対する検索結果のハイライトをすること。
マッピング定義は以下の通り。（elastic4s の DSL をそのままコピペしたが、まぁ大体理解してもらえるかと。）
val messageMapping = mapping("message").fields(
"title_v3" typed StringType fields(
"en" typed StringType analyzer "english",
"ja" typed StringType analyzer "ja_kuromoji_neologd",
),
"body_v3" typed StringType fields(
"en" typed StringType analyzer "english",
"ja" typed StringType analyzer "ja_kuromoji_neologd",
),
"attached_files_v3" nested (
"attached_file" typed AttachmentType fields (
"content" typed StringType fields(
"en" typed StringType analyzer "english" termVector ("with_positions_offsets") store (true),
"ja" typed StringType analyzer "ja_kuromoji_neologd" termVector ("with_positions_offsets") store (true),
)
)
) includeInRoot (true)
)
環境は以下の通り
先に結論を書いておくと、以下の2つがうまくいった。
どちらの場合も、 “term_vector”: “with_positions_offsets” と “store”: “true” は、attached_file.content.{ja,en} につける。
上手く行かなかったのは以下の方法。
以下、詳細に説明していく。
本投稿は、Elastic stack (Elasticsearch) Advent Calendar 2016 の2日目の記事かつ、以前書いた以下の投稿の続編。
以前書いた内容と重なる部分もあるが、背景等について説明しておく。
GitHub, Slack, Google Drive 等のデータを API 経由で取ってきて、Elasticsearch に入れて、それを横串・一括検索出来るようなツールを作っている。元々は内部向けのツールだったが、ぼちぼち体裁等が整って来たので、現在β版的な感じでひっそり公開中。（今年中にはちゃんと公開したい。）
詳細はこちら → GitHub も、Slack も、まとめて検索 | Commet
開発チームまたはプロジェクトが1つの大きな単位で、そのチーム・プロジェクトで使っている GitHub のレポジトリ、Slack のチャンネル、Google Drive のフォルダを指定すると、その配下のデータが Commet 上に取り込まれる。
私の（そして、想定しているターゲット）のユースケースとしては、オフショアを利用していたり、メンバーが多国籍だったりする場合もあるが、使われている言語は、基本的には以下のどちらか。
以前、Elasticsearch の analyzer 関連の投稿を書いた。
Elasticsearch の analyzer 関連の設定で知ってることを全て書く
Elasticsearch を何に使っているかなどは、詳しくはそちらを参照してもらうとして、ポイントだけ抜粋しておく。
現状は、日本語にのみ対応した設定だけど、英語もそこそこ使われているので、英語の検索結果もそれなりの精度になって欲しい、というのが今回の話。
先に結論を書いておくと、使用している analyzer に、”english” と “possessive_english” という2つの stemmer を filter のところに追加した。
設定方法などは、詳しくは以下のページを参照。
Stemmer Token Filter | Elasticsearch Reference [5.0] | Elastic
サイト・webサービスなどのテキストを多言語する方法はいくつかあって、詳細はググってもらうとして、（分類の仕方も色々あるけど）大雑把に以下の2つに分けられると思う。
（言葉で説明すると分かりにくいので、上の説明でピンとこない方は gettext, Java ResourceBundle などで検索してほしい。）
で、今回は後者に関して、キーの命名規則を自分達はこうしてるっていう話を書く。
ネットであまりベストプラクティス的なのが見当たらなかったので、とりあえず今やってる方法を晒して、他の人からの意見とかをもらって改善出来れば良いなあという意図。
基本的にはチュートリアルのi18nのに沿ってやったけど、やる順番は若干入れ替えてる。間違いとかがあれば指摘して下さいな。
環境：symfony 1.4.3
settings.ymlに以下の記述をしてi18nを有効にする。
all: .settings: i18n: true
後は、デフォルトの"culture"をja_JPに設定。cultureはlocaleと同じようなものなのかな。
（5/23追記 ）あと、i18nのヘルパーを使う設定をしておくと良い（standard_helpersの行）。
最終的なsettings.ymlの変更点は以下の通り。
all: .settings: i18n: true default_culture: ja_JP standard_helpers: [Partial, Cache, I18N]
charsetをutf-8に設定する、とも書いてあったけど、別にやらなくても良さそうなので今のところ放置中。