自然言語処理系機械学習サービスの日本語対応状況
やりたいこと
やりたいことがあまり具体的になってないけど、機械学習を使った自然言語処理をやりたい。大雑把には、日本語のテキストを入力して、それを分類したり、書き手の感情や性格とかを判別したり、そんなの。
最終的には全部自分で実装したいけど、当面は、既存のもので使えそうなのがあればそれを使おうと思う。
調べたもの
以下のものを調べた。
- IBM Watson
- Azure Machine Learning
- Microsoft Cognitive Services
- Google Cloud Natural Language API
- Amazon Machine Learning
- Amazon AI
- その他
注意事項
ただ、すべてのものを調べた訳ではない。
- 自然言語処理関連のもののみ
- 個人的に興味がないものは調べていない
- 終了予定のサービスなども調べていない
あと、API として最初からすぐに使えるようになっているものと、トレーニングしなければいけないものなどが混じっている。
誤り等があった場合は、ご指摘等頂ければ、訂正等を行う予定。
各サービスの調査結果
以下、全て2017/5/24現在の情報。
IBM Watson
サービス一覧はこちら。
日本語対応しているのは以下のものくらい？
日本語が一部サポートされているのは以下のもの。
サポートされていないものは以下の通り。
Retrieve and Rank は、言語非依存？こちらのやり取りも参考に。
Azure Machine Learning
Azure Machine Learning で何が出来るかは、こちらの概要図が分かりやすいかも。
日本語に対応していないもの
対応しているもの。
言語非依存？
Microsoft Cognitive Services
- Text Analytics API : key phrases 抽出のみ日本語対応
- Web Language Model API : “the power of big data through language models trained on web-scale corpora collected by Bing in the EN-US market.” とあるので、英語のみと思われる
- Linguistic Analysis API : 使える analyzer 一覧が API で取得できるとのこと
Google Cloud Natural Language API
日本語に正式対応している。ただし、”The analyzeEntitySentiment, currently in Beta, only supports the English language.” とのこと。
Language Support | Google Cloud Natural Language API | Google Cloud Platform
Amazon Machine Learning
形態素解析したり特徴量抽出したりという前処理をしてから、Amazon Machine Learning に渡す形っぽいので、言語非依存、と言える。
Amazon AI
Amazon Lex は “Currently, Amazon Lex supports US English.” とのこと。
docomo Developer Support
docomo 自身が提供している API と、パートナーから提供されている API がある。また、同じような機能が複数のパートナーから別々の API として提供されている場合がある。
自然言語処理関連だと、「言語解析」カテゴリーのところ。
書くまでもないが、当然日本語対応している。
Yahoo! Japan テキスト解析 API
OSS のライブラリで出来ることが多い気がする。キーフレーズ抽出とかはあまり無いかも。
詳細はこちら。
雑感
Watson 凄い。IBM は、いつの間にか AI の会社になっていた。
