最近だとAWS等のクラウドを使う機会が増えていて、逆に物理サーバーを使うことが少なくなってきており、以前みたいにサイジングを細かくやることが少なくなってきた。 また、随分前から多くのLinuxディストリビューションでは、…
前回からかなり間が空いてしまったけど、今回で完結予定。 前回はHiveの話を中心に、S3に置いたファイルをHiveでどう扱うかなどについて書いた。また、第1回では全体の流れを書いたので、どんなことをやるかは詳しくはそちら…
bashではドル記号（$）で色々な場面で使う（Bourne shellでも使うけど）。自分が知ってる範囲でまとめてみた。 変数の参照 基本中の基本なんで敢えて書く必要はないかも。 foo=1234 # 変数の定義 ech…
開発環境（Ubuntu on VirtualBox）のディスク容量が少なくなってきたので、/var/lib/mysql を 別のディレクトリ ( /data の下)に移動して、シンボリックリンクを張ったんだけど、MySQ…
Googleカレンダーで予定を登録したりするけど、そういうようなものをDBで扱いたい。 いくつかの方法があった よく分からない方法（詳細は省略） ググったらSOのこんなページが出てきたんだけど、ちょっと無駄に複雑な気がし…
ちょっと前回から間が空いてしまったけど、DynamoDB上のデータやその他のデータをS3に集めて、EMR上のHiveを使ってコホート分析をするという話の第2回。今回はHiveの話を中心に書いていく。 ※Hiveを使うのは…
コホート分析とは 定義に関してはWikipediaを見れば大体わかるかと。日本語のエントリーがないので、大雑把に説明すると、ユーザーをグループ(コホートと呼ばれる)に分割し、各コホート毎に指標(例えば、ユーザーごとの滞在…
RDSではslow query logはテーブルに書きだされる。 Amazon RDSのMySQLでは、デフォルトではslow query logはmysqlデータベースのslow_logというテーブルに保存される(※)…
Mac OS X Lionにアップグレードしたら、他のホストにSSHでログインした時に bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8) とか怒られるようになったので、その解決策
自分用メモ。 Amazon EC2だとサーバーを再起動するとIPアドレスが変わる。ちょっとググっていくつかいい方法を見つけた。 自動でDNSに登録（これとかこれ） プライベートIPを自動的にhostsに登録（→…