はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Mackerel Advent Calendar 2015 15日目の記事です。 mackerel-agentを起動すると、/var/lib/mackerel-agent/id というファイルにMackerel側でホストを識別するための ID が書き込まれます。 このファイルが残ったままイメージファイルを作成して別のホストを立てた場合、Mackerel側ではホストの識別ができず、実際には複数ホストのホストが存在していても1ホストとして認識されてしまいます。 イメージ作成前に削除する手はありますが、そうするとそのホストで mackerel-agent を起動し直した場合に別ホストとして登録されてしまうので困りますね。 ということで、id ファイルが残っていても「自分のものではない」と判断できる場合には id ファイルを削除した上で mackerel-agent を起動する方法を考えてみました

nginx Advent Calendar 2015 7日目 兼 fluentd Advent Calendar 2015 6日目のエントリです。 nginx-lua (https://github.com/openresty/lua-nginx-module) から fluentd にログを送信する方法を紹介します。 Lua から fluentd へログを送信するライブラリとして fluent-logger-lua というものがありますが、これは LuaSocket ライブラリを使用しているため nginx-lua では使いづらいので、ngx.socket.tcp を使用して自前で送信してみましょう。 fluentd の forward protocol は3パターンの入力フォーマットがあるのですが、一番単純なフォーマットは [tag, time, event] の形式で、この形に Me

Perl5 Advent Calendar 2015 4日目の記事です。 Test::TCP というテストモジュールはご存じですよね？ TCP サーバを実際に (空いているポートを自動で見つけて) 起動して、それに対するテストを簡単に書ける素晴らしいものです。 諸般の事情により、TCP ではなく UNIX domain socket を使用するサーバについても同じことをしたかったため、Test::UNIXSock を作りました。 使い方はほぼ同じです。Test::TCP では port が渡ってくるところが一時的に生成された UNIX domain socket の path になっているので、それを使って server, client のコードを書いて普通にテストするだけです。 以下は memcached への接続をテストする例です。 use 5.12.0; use Test::UNIX

大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');

consulでホストを管理してる状態で、bash-completionでのsshの補完候補にconsul membersの結果を使いたかったんです。個別にsshすると最近は若者にdisられるそうですが、それはそれこれはこれとして… /etc/bash_completion の _known_hosts_real の定義を以下のように置き換えるととりあえずできました。共通のを上書きしたくなければ個別に .bash_profile などで再定義すればよいですね。 _known_hosts_real() { local members=$(consul members -status=alive | awk '!/Node/{printf("%s ", $1)}') COMPREPLY=( $( \ compgen -W "$members" \ ${COMP_WORDS[COMP_CWORD]

Goはアプリケーションを1バイナリで配布できて楽なのですが、webアプリケーションの場合は大抵静的ファイルを配信する必要があり、これが外部ファイルになってしまいます。CSSとか。 そこで go-bindata を使うとファイルをバイナリに同梱できて便利ですが、これを http.FileServer で配信できたら更に楽になるのでは…と思ってこんな風にしてみました。 http.FileServer interfaceを実装した AssetFileSystem と、http.File interfaceを実装した AssetFile を適当に定義して、go-bindata で作った Assets() から取得したデータを配信してやるサンプルです。 ただし、http.serveFile() がindex.htmlへのアクセスをリダイレクトしてくれるという気の効かせ方 をするため、現状は inde

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

アカウントが異なるS3 bucket間を aws s3 sync したい場合の設定例。 前提 account: A bucket: AAAA account: B bucket: BBBB があったとして、AAAA → BBBB に aws s3 sync をしたい。 設定 B が AAAA に対して読み取ることを許可するため、AAAA の bucket policy　に以下のような設定をします。 [ACCOUNT-ID-B] は B の aws acccount id (12桁の数字) です。 要するに arn:aws:s3:::AAAA/* に対して s3:GetObject arn:aws:s3:::AAAA に対して s3:ListBucket を許可ですね。 { "Version": "2008-10-17", "Id": "Policy1406622286590", "Stat

Consul-0.3では大きくパフォーマンスが向上しているとのことなので、(参考: About Consul ~In Depth~) 手元の 0.2.1 クラスタを 0.3.1 に上げるための事前検証。 公式のドキュメントによれば… Upgrading Consul - Consul サーバ群を全て新しいバージョンに更新して停止、再起動 その後クライアント(agent node)も同様に新バージョンに更新 で完了するとのことです。 まず、サーバ3台、クライアント1台の環境を用意して KVS に値を入れておきます。(consul4 がクライアント) [consul4]$ consul members consul4 192.168.0.14:8301 alive role=node,dc=dc1,vsn=1,vsn_min=1,vsn_max=1 consul1 192.168.0.11:8

port 80を開くためにはroot権限が必要だが、開いたあとはセキュリティーリスクを最小限にするために一般ユーザ権限に降格したい、というWebサーバをGoで書く例です。 【追記3】 下記の例ではLinuxで動作させた場合に不十分です。 Linuxではsetuidを呼び出したスレッドにしか効かないので、以下の例をそのままLinuxで動かすとsyscall.Setuid()は成功しますが、HTTPのHandlerでは別スレッドで動くことがあるため、rootのままで動作することになります。 methaneさんのコメントを参照ください rootで起動した状態で":80"をlistenして syscall.Setuid() で一般ユーザになり http.Serve()する package main import ( "net" "net/http" "syscall" "log" ) func m