はてなブックマーク

この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp

TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、

これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative Adversarial Networks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何？ GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIan Goodfellow他が考案したモデ

一昨日は、Google HomeでつぶやくとTwitterでつぶやく連携がうまく動いた。これでかなり楽しくなってしまい、昨日はIFTTTのGoogle Assistant連携で家電をコントロールする方法をいろいろ試してみた。Home三昧の三連休である。 今回紹介するのは以下の2つ。 Belkin WeMoで家電のAC電源をオンオフ IRKitで家電をリモコン制御 WeMoの方は、何も考えずにあっという間に設定できる。IRKitの方は若干のコマンド操作が必要だが、それでも15分くらいで終わる。 ちなみに、IRKitの方で使うIFTTTのWebhooksは、HTTP/HTTPSで任意のURLを呼べるアクションである。家電のコントロールは使い方の一例にすぎず、REST APIを備えるいろんな対象を制御できてしまう。Google Home＋IFTTT、なんて強力なのだ。 IRKit Belkin

昨日、日本語版のGoogle Homeが届いた。 このGoogle HomeとIFTTTのGoogle Assistant連携の組み合わせがとても便利そうなので、さっそく試してみた。15分くらいでTwitter連携できた。 ちなみに、実行するアクションを入れ替えれば、FacebookやSlackにメッセージを送ったり、家電をオンオフしたり、Google Sheetに記録したりと等々、多彩な連携が可能。 以下に連携方法をメモしておく。 Google Homeの設定 これは開封後10分くらいで終わる。 IFTTTのAppletを作る まずはIFTTTにサインアップしておく。IFTTTでは「コレをトリガーにアレを実行」ってルール設定を「Applet」と呼んでいる。今回は、Google AssistantをトリガーにTwitterでツイートするAppletを作る。 IFTTTのMy Applets

おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（[動画](https://www.youtube.com/watch?v=ktSukhHdogM)）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、

RasPiでKeras/TensorFlowを動かすまでの試行錯誤をメモしておく。使った環境は以下の通り。 RaspberryPi 3 Model B Raspbian August 2017 16GB SD card（いろいろツールを入れたので8GBでは足りなくなった） まずはTensorFlowを入れる TensorFlow公式RasPiサンプルはビルドおそい 最初にTensorFlow公式のRasPiサンプルを試したのだけど、C++のコードをゼロからビルドするので、非力なRasPiでは何時間待っても終わらない...ってグチをつぶやいたら、TensorFlowチームのPete Wardenが絶妙のタイミングでブログ記事Cross-compiling TensorFlow for the Raspberry Piを書いていて、リンクをシェアしてくれた。この記事では、あらかじめビルド済みの

Cloud DatalabはGCPが提供するサービスのひとつで、Jupyter NotebookのGCP版です。便利なところは、 インストールがすごく簡単。Cloud SDKを入れてあれば、datalab create your-instance-nameって実行するだけであっという間にDatalabインスタンスを作れる AnacondaのようにNumPy/SciPy、scikit-learn、matplotlib等の定番データ分析ツールがひととおり入っていてすぐ使える。もちろんTensorFlowも BigQueryやGoogle Cloud Storage、Cloud Dataflow、Google Charts等のGCPサービスが統合されていて、例えばBigQueryのクエリ結果をNumPyやPandasの配列として扱える 等々の便利さで、最近はなんでもDatalabで済ませるように

これはTensorFlow Advent Calendar 2016の記事です。 といっても、皆さんみたいにTFで面白いもん作ってみた、みたいなネタがない（TF力が足りない）ので、TensorFlowとMLサービスのエバンジェリストとしての2016年の布教活動をまとめたいと思います。 ちなみに私は2012年〜2014年はGCPのソリューションアーキテクトとしていろんなソリューションを作るのがお仕事でしたが、2015年からはデベロッパー・アドボケイトとして布教活動とコミュニティ支援活動を担当しており、もうすぐ2年（Googleに入って6年）になります。 2016年に参加したイベント 2016年は国内外合わせておよそ120件のイベントでお話させていただいたのですが、そのほとんどがTensorFlowとCloud ML、そしてVision APIやSpeech API等のML APIの紹介でした

これはbuilderscon tokyo 2016の発表スライドです。 自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP Morgan Chaseがデリバティブ専用スパコンをFPGAで

##そろそろプログラマーもFPGAを触ってみよう！ これはbuilderscon tokyo 2016の発表スライドです。 ##自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 ##これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP M

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 要約 Googleクラウド上の仮想マシンでAltera Quartus PrimeによるFPGA開発＆ビルドを行い、手元のFPGAボードとVPN経由でUSB接続して動かした話。4コア＋15GBメモリの開発環境を1時間あたり50円以下で使え、使わないときはOFFにしておけて便利。 DE0-Nano-SoCにブレッドボードと7セグ乗せたところ 3/11追記 keiさん情報によると、Xilinx Vivadoだとちょっと工夫するだけで同様のことができるらしい。最初っからX使っとけって話か。。 いきさつ ひさびさにFPGAをさわりたくなってDE

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま

（この記事はGoogle Cloud Platform Advent Calendar 2015の12月3日分の記事です） Cloud Vision APIと私 Googleに入ってからまもなく5年、Google Cloud Platformのデベロッパーアドボケイト（エバンジェリストみたいな役割）の仕事に就いてから1年が経ちました。仕事の半分はアジア地域向けの開発者コミュニティ支援で、残り半分はGCPの新製品ローンチの支援をグローバル向けに行っています。 特にここ半年は、TensorFlowをはじめ、GCPの機械学習系プロダクトのローンチ支援にフォーカスしています。TensorFlowはその序章で、公開前からAlphaカスタマー向けのスライドを作ったり説明やデモしたりしていました。 そうしたGCPの新しい機械学習系サービスのひとつが、Cloud Vision APIです。これはGoogl

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? YAPC::Asia Tokyo 2015、ロゴのとおりに熱いイベントでした...今年で最後なのはほんとに惜しいです。最初にして最後の参加となった私は、「Google Cloud Platformの謎テクノロジーを掘り下げる」というタイトルでトークをさせていただきました。 [スライドはここ] (https://speakerdeck.com/googlecloudjapan/deep-dive-into-google-cloud-technology)に上げてありますが、これだけ見ても意味不明と思われるので、話した内容の要約をまとめブロ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今月はじめ、インテルがFPGA大手のアルテラを総額2兆円で買収することを発表した。インテルはちょっと前まではCPU+FPGAなんてコードが分断するしダメダメソリューションだなんて言ってたくせに、なんて鮮やかな手のひらの返しよう。まあでも、すばらしい展開だし非ノイマン計算をソフト屋が使いこなす時代が幕開けしそうなので、あっぱれインテルである。非ノイマンなにそれ？　という人はコネクションマシン本と青いリコンフ本を読んでおこう。 この発表でインテルが説明に用いたスライドで、とくに目を引いたのが以下の一文。 Up to 1/3 of Cloud

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Google Cloud Platform (GCP)の英語ブログに、Google Compute Engine (GCE)のライブマイグレーション機能について解説記事がポストされた。個人的にもいくつかの大規模な案件でこの機能の能力に触れて、GoogleまじGoogleだなと思わされたし、GCPチームで実際に作った人たちと会うととても誇らしげに説明してくれる。熱いのだ。そこで、上記ブログ記事＋個人の経験をもとに簡単にまとめてみたい。 なお、以下の内容は個人の感想です！ Heartbleedバグの時もVM再起動なし GCEでは2013年1

FPGAエクストリーム・コンピューティング第6回、今回はドワンゴさんの会場をお借りして開催しました。80席のところ登録数は230名、ニコ生来場者はのべ1773名という盛況ぶりでした。これはやはりMS＆ドワンゴさん効果でしょうか。 資料・まとめなど 今回の発表資料やまとめ、ブログ記事等はこちらに集めておきました。 FPGAエクストリーム・コンピューティング第6回 イベント資料一覧 Togetterまとめ 今回のおしながき えびさわさん：FPGAで作るOpenFlow Switch えびさわさんはFPGAを仕事で扱い始めてまだ半年ほどだそうですが、今回の発表内容だけを見てるとばりばりハードエンジニアにしか見えませんｗ すごいーー。OpenFlow仕様は変更が多すぎてASICではとても間に合わずFPGAが適してるという点はなるほどです。また、TCAM（メモリアドレスの代わりにバイナリのパターンマ

Fluentd Advent Calendar 24日目の記事です。 家にあるMIDIキーボードからMIDI信号をひろってFluentdにとばすという、誰得な工作をした。CPUやOSを使わず、MIDI信号のデコードからTCP接続、FluentdのMessagePackエンコードまで、すべてハードウェア実装なのだ。 まずはデモ動画をどうぞ： MIDI keyboard + DE0 + Fluentd demo MIDIキーボードを叩くと、Mac上のFluentdにMIDIメッセージが送られ、Fluentdのログとして表示されてるのがわかる。以下、このデモの中身を解説したい。 MIDI→DE0→WIZ→Fluentd このデモの構成はこんな感じ： 以下、それぞれのコンポーネントの役割を見ていこう。 MIDI信号のデコード MIDIキーボードから送られてくるMIDI信号のデコードは2年前に作った

Synthesijerとは、わさらぼ／イーツリーズ・ジャパンの三好健文さんが開発を進めるオープンソースの高位合成ツール。JavaコードからHDLコードを生成できる。 おもなリンク Synthesijer GitHubのSynthesijerリポジトリ ESS2014でのチュートリアル: Synthesijerを使ったJavaによるFPGA開発のはじめ方 ParallellaFanさん: Synthesijerを使ってFPGA上で動作するゲームを作る ParallellaFanさん: Synthesijerを使ってFPGAにライフゲームを実装してみた ParallellaFanさん: マンデルブロ集合の浮動小数点演算をFPGAで並列化する @TYE's Tech.Lab.さん: FPGAで作るヴォコーダ Beatcraft: Synthesijer Synthesijerユーザーグループ F

なんとインテルが、FPGAアプリケーション エンジニアなる職種で求人を始めてた。 From Jobs at Intel この募集要項がいろいろ味わい深いので、まとめてみた。 目的：次世代のクラウドをFPGAでつくる The DCG/CPG (Data Center Group/Cloud Platform Group) team develops technologies that accelerate cloud computing. We are looking for FPGA Application Engineers to help us deliver the next generation cloud computing platforms. 目的はずばり、「次世代クラウドプラットフォームの構築」。単なる組み込みデバイスの開発じゃなくて、データセンター／クラウドプラットフォー

Google Cloud Platform Advent Calendar 2014の12日目の記事です。 1か月ほど前にBeta版がリリースされたGoogle Compute Engine (GCE)のLocal SSDを試してみたので、さっそくレポートしたい。 Local SSDって何？ GCEではこれまで、Persistent Diskというネットワーク ディスクのみが提供されており、ブートもデータもPDだけでまかなわれてきた。PD上のデータはすべて冗長化されているので、一般的な単体ディスクよりも高い可用性を提供する。 一方で「可用性は普通でよいのでともかく高い帯域とIOPS値を」というニーズに応えるべく新たに提供されたのがLocal SSDだ。特長をまとめると、 375GB SSDを1 VMあたり最大4台まで装着可能 4台使用時は680K IOPS (4K random read)

ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ