はてなブックマーク

はじめに Amazon AthenaはAWSの分析関連サービスの1つで、S3に保存・蓄積したログに対してSQLクエリを投げて分析を行えるサービスです。分析基盤を整えたり分析サービスにログを転送したりする必要が無いため、簡単に利用できるのが特長です。 今回はAthenaを使ってこんなことできるよー、というのを紹介したいと思います。 ※社内勉強会向け資料をQiita向けに修正して公開しています ログ分析とAmazon Athena ログ分析は定量的にユーザ行動を分析してサービスの改善に役立つだけでなく、障害時の調査にも役立つなど非常に便利です。ログ分析に利用されるサービスとしてはGoogle BigQueryやAmazon Redshiftなど様々なものがありますが、その中でAmazon Athenaの立ち位置を確認したいと思います。 ログ分析の流れ ログ分析の基盤の概念図は下記のようになりま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現在お手伝いしているアカウンティング・サース・ジャパンにて、ECSを使ったDockerの本番運用を始めたので、その一連の流れについてまとめました。 税理士向け会計システムを扱うアカウンティング・サース・ジャパンでは最近Scalaでの新規プロジェクトが立ち上がってきており、既存のプロジェクトはJavaであったり、Erlangであったりと様々な言語が用いられていますが、インフラ人員が少ないということもあり、なるべくシンプルなインフラ構成を実現する必要がありました。 そういった中、各アプリケーションをDocker化することでインフラ

初めてDockerを使う人に説明するためにまとめたメモ。 Dockerを使った開発の全体像 Dockerのドキュメントを読んでいると様々な用語が出てきて最初は戸惑うものの、Dockerを理解するには、 Dockerコンテナ Dockerイメージ この2つの用語だけ覚えられれば良い。（たぶん） Dockerではホストマシン上にコンテナという単位の実行環境が作られてアプリケーションが実行される。（仮想マシン(Virtual Machine)との違いは後述するので、一旦はVMと似たようなものと理解するのがわかりやすい） (https://blog.docker.com/2016/09/4-biggest-questions-docker-vmworld-2016/ より) DockerコンテナはDockerイメージをrunすることで作成される。 Dockerイメージは、基となるイメージをビルドし

2. Info.plistを見る Application ディレクトリにある *.app ファイルの中の Info.plist を見てもよい。 ただし、たまにバイナリファイルな感じで見れない。 $ grep -A 1 BundleIdentifier ~/Applications/IntelliJ\ IDEA\ 15.app/Contents/Info.plist <key>CFBundleIdentifier</key> <string>com.jetbrains.intellij</string>

本記事はアカウンティング・サース・ジャパン Advent Calendar 2016の5日目の記事です。 アカウンティング・サース・ジャパンは税理士向けクラウド会計システムA-SaaS（エーサース）を提供しているベンチャー企業です。ここしばらく常駐でお手伝いさせていただいており、現在はインフラ周りの改善を担当しています。 はじめに 継続的インテグレーションや継続的デプロイが当たり前の時代ですが、皆様のプロジェクトにおかれましてはTravisCIやCircleCIなどCIツールは導入済みでしょうか。 A-SaaSのシステムはRabbitMQなどで構成されたマイクロサービスアーキテクチャになっていて、アプリケーションは主にJavaやScala、たまにErlang(!)で構築されています。このようなシステムの中でデプロイフローがやや複雑になってきていたので、CIツールとしてJenkins2.0で

はじめに 本番環境がAWSにあるのですが、開発環境が微妙に違う状態だったので本番同等の環境（=ステージング環境）を作ろうということになりました。 ちょうど手が空いていた私が担当になったのですが、A-SaaSシステムはマイクロサービスアーキテクチャでサーバ台数は数十台以上、しかも自分は週3日の契約で会社にジョインして半年も経っていない状態というところからどこまでできたか、この数ヶ月の記録です。 作りたいもの サーバやネットワークの構成が本番と同じ データは企業会計を扱うセンシティブなデータなので本番と別データ 本番同等のサーバ構成を1セットとして手軽にいくつも作ったり削除したりできる やり方 AWSコンソールを眺めたりサーバを調査したりして検討し、下記の流れで本番環境をコピーしました。 1. ステージング環境用のAWSアカウントを作成する 最初は本番のアカウントと同じアカウント内に作成しよう

$ brew install aws $ aws configure AWS Access Key ID [None]: {acesskey入れる} AWS Secret Access Key [None]: {パスワード入れる} Default region name [None]: ap-northeast-1 Default output format [None]:

EBSのディスクサイズを縮小するやり方はググると色々出てくるものの、なぜか現在のEBS Backedなインスタンスだと日本語の情報の手順ではできなかったのでメモ。 普通にゆっくりインスタンスを止められる状況でのやり方です。（スナップショット取って新しいVMでやることなどで停止時間は短くすることは可能） 1. 新規のEBSを作成 まず目的のサイズのEBSを持ったEC2インスタンスを作り、そのEBSボリュームをデタッチすることで作成する。 というのもこうしないと Partition に BIOS Boot Partition が無くて立ち上がらないため。 そしてこのボリュームのVolumeIDをメモっておく。VMはこの時点で用済みということで削除。 2. 作業用EC2を作成 t2.smallインスタンスで十分ぽい。 以下作業は全て root にて。 数百ギガだと rsync でのコピーが長く

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに エンジニアやっていると色んなサービスを作りたくなると思うのですが、Herokuのフリープランが使えなくなってしまった影響で無料でのサービス運営は難しくなってきています。 もちろん、Google App Engineなど無料で運用できるものもあるのですが、サービスにロックインされてしまうのが多くちょうど良い物が見つかりませんでした。 ということである程度安く色々やろうとすると、1台のサーバでいい感じに複数サービスを立ち上げるという昔ながらの構成になるのですが、Dockerを使うことで環境セットアップなどサーバ管理の手間を最小限にしていこう、というのがこの記事の趣旨となります。 方針 要件 安い サービスにロックインされない スケーラブル（もしサービスのアクセス量が増えたとしてスケールさせられる） インフラ管理が容易 セキュリティとかなるべく気にしたくない 以上のことを踏まえた結果C

はじめに Dockerでの開発環境構築については色々と情報が転がっていましたが、情報が古かったり構成が違ったりで試行錯誤ありましたのでひとまずまとめました。ちなみに本番環境は今のところDocker全く使っておらず、開発環境を手軽に整えるという目的のみで使っています。 開発中のサービスは現在下記のコンポーネントで構成されています。 Ruby on Rails 4 MySQL memcached redis nginx Docker導入前と後での変化 弊社では各個人のPCに環境を構築して開発しています。 mysqldやmemcached、ImageMagickなど依存しているモジュールを入れて環境をセットアップするのですが、まぁビルドは時間かかるしバージョンが違ったりでなんだかんだ丸一日費やすことが多かったです。 Dockerで開発環境をセットアップできるようにした結果、PCがまっさらな状態で