はてなブックマーク

これまでMacのTimeMachineバックアップのために、外付けのHDDを利用していた。当然、どこかでタイミングで容量が足りなくなるので、時々バックアップ用HDDを買い足す運用をしていた。当座のバックアップという意味では困らないもの、結果として謎のHDDが押し入れにたまってきて、データを整理できているという状態ではなかった。また、昨今、子供の写真を撮ることも多くなってきたのでRAWの写真データを置いておける場所が欲しいと思うこともあった。 こういう文脈で、以前からNASを導入したいと思っていたのだけど、いざ購入するとなると、NAS本体以外にもHDDをいくつか買う必要があり、結構費用がかかるので躊躇していた。しかし、そう言って不便な生活を続けて暮らしているのも、どうなのかという気持ちになっていよいよ購入することにした。 NASの選定 個人用のNASの製品は世の中に色々あるが、まずQNAPの

grpc-gatewayはHTTP2+ProtocolBuffer をプロトコルに用いるgRPCのサービスを、HTTP/1.1のRESTfulな JSON APIとして利用できるようにするリバースプロキシを生成してくれるツールだ。 厳密にはProtocolBuffersを処理するコマンドであるprotocのプラグインとして動作し、protocに読み込んだgRPCのサービス定義をもとにGoで記述されたコードを生成する。生成されたコードはHTTPサーバのハンドラになっていて、net/httpに登録して使えるようになっている。 ハンドラはHTTP/1.1でリクエストを受け取ると、リクエストに含まれるJSONを対応するProtocolBufferのメッセージに変換し、プロキシ先のgRPCサービスのメソッドを呼び出す。このgRPCサービスは、元にしたスキーマが同じであればGo以外の言語で実装されてい

先日の記事から引き続きgRPCについて勉強してる。 gRPCのサーバをプロダクトで利用する場合に気になるのが、ロードバランシングをどういう風にやったら良いのかということで、その部分について調べてみた。 TL;DR: gRPC Load Balancing を読めばだいたいわかる gRPCのロードバランシングのポイントとしては、gRPCが基本的にはHTTP2上に構築された仕組みである*1ことに注意して考えると良さそうだった。 プロキシ によるロードバランシング まず考えられるのは、gRPCのサーバとクライアントの間にプロキシを設置してロードバランシングを行う方法だ。 よくあるHTTP/1.1の世界で考えると、複数のWebアプリケーションサーバの前段にnginxのようなリバースプロキシを設置してロードバランシングする方法になる。 gRPCはHTTP/2を利用するので、この方法の場合リバースプロ

マイクロサービスや自作ミドルウェアのAPIをメンテナブルにしたいよねっていう文脈で、OpenAPIやGraphQL、gRPCといった技術が採用されるのを最近よく目にする。 バックエンドを実装しているWebエンジニアとしては、こういう仕組みが整備されつつあるのはありがたい。APIをシステムの外に公開しようとすると、ドキュメンテーション/バリデーション/クライアントの実装など、意外と副次的な作業が必要なので、、汎用化されたツールに頼れるのは助かる。マイクロサービスを用いたアーキテクチャを考えるにあたっても、システム間のアダプタをイメージしやすくなる。 そういう背景で、最近家ではgRPCを調べている。このあとはgRPCについて調べたことのメモや感想のコーナーになっているので、興味があったらどうぞ。 主な情報源 だいたいこのへんを眺めておくと、gRPCの基本については抑えることができる。 grpc

Webエンジニアを8年くらいやっていて、なんとなく、一通りのことはできるようになってきた。ただ、ちょっと得意な分野もあるとはいえ、基本的になんでも屋さんとしてやっているので、技術者としてのアピールがいまいちだなーというのが気になっている。そこで、技術者としての自分をアピールできそうな技術テーマを一つ選んで、それにじっくり取り組んで見ようと考えた。 しかし、取り組む技術テーマをうまく選ぶ自信がない。そこで、ちょっと作戦を考えて取り組む技術テーマを見つけようと試行錯誤してみたので紹介してみる。 ステップ1: 指標を考える やっていく技術テーマを見つけるにあたって、テーマの候補をスコアリングしてみることにした。漠然とスコアをつけるのは難しいので、自分が普段技術テーマに取り組むかどうかを考えるときに気にしていることを思い出して、5つの指標に分解してみた。 指標1: 自分の興味 自分がおもしろい、や

Fluent Python ―Pythonicな思考とコーディング手法 作者: Luciano Ramalho,豊沢聡,桑井博之,梶原玲子出版社/メーカー: オライリージャパン発売日: 2017/10/07メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る ちょいちょいPythonのコードを書くことが出てきたので、ちゃんとした使い方を学ぶために読んでみた。Pythonic にオレはなる！ 目次 を見るとわかるのだけど、データ構造、関数、オブジェクト、制御構造、メタプログラミングと言語の機能を広く深く取り扱っていて、Pythonをしっかり理解するという目的にはぴったりだった。Pythonの基本文法は抑えてるのが前提になっているので、初学者は入門 Python 3あたりを読んでおくと良いと思う。 この本が良いのは、各章ごとに参考文献がかなり充実している点だ。章の終わりに油

冬休みにもうちょっとなんかやっていたのを思い出した。個人の実験サーバを"douzemille.net" というドメインでホストしているんだけど、ドメインのレジストラとDNSをVALUE-DOMAINからRoute 53に変更した。 VALUE-DOMAINは長年使っていて特に不満はなかったし、お名前ドットコムに買収されたあとも普通にサービスが維持されていて助かっていた。一方、Route 53はAWSの他のサービスの連携がしやすく、近代的なDNSの機能が使えそうな雰囲気があったのでちょっと試してみたかった。最終的には興味が勝ってRoute53を使ってみることにした。 設定の手順については、AWSのドキュメントを見れば詳しくのっているので言うことはない。読みましょう。 docs.aws.amazon.com WHOISに記載されているメールアドレスが利用可能でないと移管の手続きはできないので注

あけましておめでとうございます。今年もよろしくお願いします! それはさておき、micro:bitを購入してしまったので、年末年始のひまつぶしによかろうと、雑なプログラムを幾つか作ってみた。 micro:bit is 何 micro:bitはイギリスのBBCが作っている教育用のマイコンボード。イギリスでは子どもたちに無料で配っているらしい。25個のLEDと2つの入力用ボタン、温度センサーやジャイロセンサー、BLEの通信コンポーネントなどが一つのボードにパッケージングされていて、部品を組み立てたり配線しなくてもいろんなことができる。ともかくオフィシャルサイトの紹介 を見るとわかりやすい。ボードの見た目がかわいい。 開発は本格的なプログラミング言語も使えるが、Web上で動作するScratchみたいなブロックスタイルの開発環境も良くできている(なんかMicrosoftが作ってるみたい)。 サイコロ

そんむーさんもおすすめの Real World HTTP を読んだ。たまには現代的なHTTP周辺の技術をおさらいして安心したいという気持ちで読み始めた。 Real World HTTP ―歴史とコードに学ぶインターネットとウェブ技術 作者: 渋川よしき出版社/メーカー: オライリージャパン発売日: 2017/06/14メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 著者の紹介 にもあるように、Web API: The Good Partsとハイパフォーマンスブラウザネットワーキングの間を補完する内容で、HTTPとその周辺技術をかなり網羅的に紹介してくれている。 自分がWebアプリケーションを書き始めたころは、例えばフォームをsubmitした時のrequest bodyには実際にどういうデータが入っているのかとか、基本的なことが学ぼうとすると意外と情報源がなかった気

Java9がリリースされた昨今、今更だけど、Kindleで安くなってたので読んだ。 Javaプログラマーなら習得しておきたい Java SE 8 実践プログラミング 作者: Cay S. Horstmann出版社/メーカー: インプレス発売日: 2015/04/03メディア: Kindle版この商品を含むブログ (7件) を見る Java SE8 for the Really Impatientの翻訳本で、Java 8からの新機能であるラムダ式をはじめ、ストリームAPIや新しい日付クラスなどについて詳しく紹介されている。 新機能の紹介おいては、単に記法やライブラリの紹介をしてくれるだけでなく、言語の設計の方針や過去のバージョンのJavaとの互換性などを踏まえた説明がなされていて読み応えがある。例えば、ラムダ式をJavaという言語で表現するために、汎用的な関数型はほとんど使われておらず、用途

TL;DR Visual Studio Codeではエディタからのコマンド実行がTasksという仕組みでできてとても便利。 背景 最近エディタをVisual Studio Codeに変えた。エディタのこだわりはそんなになくて、Vim → Emacs → Atom といった順番で2年に一度くらい乗り換えている。だいたいどのエディタにもVimキーバーインドエクステンションがあるのでなんとかなる。 Visual Studio CodeはAtomと同じElectronベースだけど、なぜかAtomよりサクサク動くので気に入っている。Microsoftのリソースパワーに感謝するしかない。 テストの話に移ると、テストを書くのはもちろんソフトウェア品質の担保やリグレッションの防止が目的だけれども、TDD的な文脈では開発のリズムを作るのも目的の一つだ。リズムよくテスト実行しつつ開発するには、エディタで開いて

普段Perlを書いている自分がざっくりPythonについて調べて発表した時の資料が手元に転がっていたので、せっかくなので公開した。 普段、別の言語でWeb開発している人が、自分の言語のアレはPythonだとコレなのねって雰囲気わかるようになっているといいなと思って作ったけど、見返すとそうでもない気がする。 自分もPython初心者なので、「おいおいまったくまちがっているぜ! 」といったことがあったら教えてほしいです。京都に住んでいるのだけど、関西のPythonコミュニティの雰囲気もよく知らないので情報募集です。 あと資料で紹介しているブログのコードは以下においてある。自分がよくやる感じの薄い設計でかんたんなブログシステムをPythonで書いたらこんな感じかな～ってコードになっている。 github.com

先日ご紹介したKyoto.なんか#3 は明日 8/19(土)に開催です！ kyoto-nanka.connpass.com イカす発表者のみなさまにも集まって頂きました。 moznion さん 続・そして物語は何度目かのアプリ内通知再実装を迎える daaaaaai さん ビジネスプロセスリエンジニアリングの現場 t_kyt さん 5分でわかるHTTPキャッシュ sugyan さん 機械学習によるアイドル顔識別について もしくはプログラミングに関する何か (仮) jp_pancake さん Dangerを使ってPRを自動的にチェックする y_uuki さん Redisの負荷対策の話(仮) shokai さん HerokuでSocket.IOをやっていく話 side_tana さん Goとエラーと私 papix さん 2017年データベースマイグレーションの旅 〜Perl編〜 (仮) past

仕事やらなんやらで、データの様子をみる場面はよくあるものの、データの調べ方や分析の方法を知らなくてなにかと困るので、なんとかしたい... という気持ちの高まりがあって、連休のちょっと前から確率統計の勉強をはじめた。 確率統計は大学の講義で一通りやったはずだけど、たいして活用できないまま数年がすぎてほぼ忘れてしまった。そういう調子なので、今となっては、適当な数の標本を用意してきて、標本比率を求めてみるけど、この値は母比率にどれくらい近いものなの? と言われても、まったく何も言うことはできないのであった。 ひとまず基本的な内容をザクッと学べそうな、まずは、やさしく学べる統計学を読んでみた。 やさしく学べる統計学 作者: 石村園子出版社/メーカー: 共立出版発売日: 2006/06/30メディア: 単行本購入: 1人 クリック: 12回この商品を含むブログ (13件) を見る 以前、微分積分の勉

めっちゃ似た名前の"レガシコード改善ガイド"とは別の本。レガシーコード改善ガイドは結構前の本だけど、このレガシーソフトウェア改善ガイドは去年刊行されたばかりだ。hitodeくんと会話してて気運が高まったので読んだ。 レガシーソフトウェア改善ガイド (Object Oriented Selection) 作者: クリス・バーチャル,吉川邦夫出版社/メーカー: 翔泳社発売日: 2016/11/11メディア: 単行本（ソフトカバー）この商品を含むブログを見る この本は、レガシーソフトウェアがメインのテーマにしているけれど、古びてどうにもならなくないソフトウェアプロジェクトへの対処のみにフォーカスしているのではなく、普段から開発しているコードをどうやって継続して進化させられるかといった内容が主で、どんなソフトウェアエンジニアにも勧められそう。 この本の章の構成をみると、大きくはリファクタリングに関

最近流行っている雰囲気があるPythonだけど、僕も年末にふと気分が高まったので、練習をしてみた。 自分にとってはPerlやRubyよりも先に勉強した、初めてのスクリプト言語がPythonだったので、ちょっとだけ思い入れがある。とはいえ、何年も前に初めてのPythonで勉強した後は、稀に使うくらいだったのでPythonならではの良い書き方とか、良いライブラリの知見とかは全然持ってなかった。 そこで、Pythonに入門しなおしてPython流を思い出した後、自分が気になっているWeb開発をやってみてどういうもんなのかを一通りやってみた。 このエントリは、GoでWebアプリケーション作る練習をしたの続編です(さらに続きはないでしょう)。 入門 Python3 を読んだ 入門 Python 3 作者: Bill Lubanovic,斎藤康毅,長尾高弘出版社/メーカー: オライリージャパン発売日:

9月ごろに第一級アマチュア無線技士の資格を取得したのだけど、今の今まで無線機を持ってなかった。資格を取ったのが引越をした直後のお金を使いまくっていた時期だったので、しばらく高価なものを買う気になれなかった...。 引越後の生活も落ち着き、せっかく資格をとったのだからちゃんと実際の電波の送受信をやってみたいという気持ちも復活してきたので、ついに昨日、自分へのクリスマスプレゼントとして無線機を購入した。 今朝起きたら枕元にあったやつです pic.twitter.com/hcMWodk1B9— hakobe (@hakobe) 2016年12月25日 購入したのは 八重洲無線のFT-817NDという機種。 自分の家の電波の状況は今のところわからないので、最悪まったく電波が受信できないない可能性がある。なので、まずは移動運用できる機種にしておいて、最悪電波が受信できなくても、野外の広いところにいっ

Webエンジニアが学ぶべき技術範囲はとても広く、いったい何をどこから勉強していくかは難しい問題です。僕も試行錯誤を繰り返しています。 そんな試行錯誤の中で、新しく何を勉強するか決めるときに使ってる作戦がいくつかありそうだなと思うようになりました。そこでこの記事では、僕が次に勉強すべきテーマに困ったときに使っている作戦を紹介してみようと思います。 各作戦の例のコーナーでは実際に僕がその作戦を使って勉強したトピックなどを紹介しています。 このエントリは、はてなエンジニアアドベントカレンダー2016の20日目の記事で、担当はid:hakobe932です。昨日の担当は id:masayoshi さんでLinuxのARPとL2スイッチのお話という記事でした。 作戦1: 新しいプログラミング言語を学ぶ 新しいプログラミング言語を学ぶのは、比較的手を出しやすい作戦です。プログラミング言語を学ぶことで自分

チームで流行ってるので最近はAtomを使ってる。普段仕事ではPerl書くのでAtom上からテストをサクッと実行できるくんを作った。 atom.io 既存のscriptの拡張として動作する。本家のscriptでもPerlのファイルの実行はできるけど、以下のような点で便利に使えるようになっている。 carton exec -- proveしてくれる カーソルがある位置が含まれている Test::Class 形式のテストケースを個別に実行できる 手元だけで使ってたんだけど、最近 hitode くんにも使ってもらって、ちゃんと動いてそうということが判明したので、apmにあげた。どうぞご利用ください。そこそこ雑。 このときにscriptの不具合発見してdiff 1byteのPullRequestに成功して笑顔です。

GoでWebアプリケーションを書いてみる練習として RequestBin ぽいものを試しに作ってみた。gomibakoという名前であまりひねりはない。以下のURLで試せます。 https://gomibako.douzemille.net/ ソースコードもGitHubに公開してある。 github.com 何ができるか HTTPリクエストを受け付ける用のURLを作ることができて、そのURLに対するHTTPリクエストのログをWeb上で確認することができる。ちょっとしたWebHookの動きのチェックとかリバースプロキシの設定確認とかに使えて便利。 具体的には以下の様にして使える https://gomibako.douzemille.net/ にアクセスして "New Gomibako" ボタンを押す https://gomibako.douzemille.net/g/deadbeaf123/

ひとでくんがエンジニア立ち居振舞いお題を作っていたので参加します。 時々同じチームのエンジニアに話しかけるようにしてる。各エンジニアがやっているタスクはGitHubのissueの説明をみればだいたいわかるという設定だけど、話しかけて何やってるかを教えてもらうと良いことがある。 話しかけた時、だいたい相手はうまくいってるか、うまくいってない状態になっている。うまくいってる場合は、よく書けたコードとか工夫した設計とかについて教えてもらえて、なるほどな〜と勉強になる。うまくいってない場合は、聞き役になって困りごとを説明してもらえれば問題の整理に役立つかもしれないし、運がよいとアドバイスすることもできる。 当然、集中しているときに声を書けるのはご法度なのでタイミングを見計らうのが必要になる。狙い目は昼休みが終わった直後とか、終業間際とか仕事に一段落ついてそうなときが良い。相手が席をたって帰ってきた

最近、ハイパフォーマンスブラウザネットワーキングを読んでいて、HTTPSについてちょっと勉強しています。勉強にあたっては、実際に試せる場所があったら便利そうなので、自分のさくらVPSにHTTPSのWebサーバを設置してみることにしました。この次はHTTP2の実験もしたいので、先進的なHTTP2の機能が実装されていそうなh2oを使ってみることにしました。 環境 今回の作業は以下のような環境でやりました。 $ uname -a Linux douzemille 4.4.0-36-generic #55-Ubuntu SMP Thu Aug 11 18:01:55 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENA