はてなブックマーク

流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な

エンジニアのためのドキュメントライティング読みました。 最近の仕事の悩みに対して、方向性を示してくれた良い本でした。 www.amazon.co.jp 自分のチーム内にドキュメントの文化が無い人にお勧めします。 全体のざっくりした感想だと、この手の本にありがちな小言っぽいことは書いてなく、作って意味のあるドキュメントはどうあるべきかを書いてあります。仕事のドキュメントで悩んでいる人には、具体的な取り組みのアイデアがいっぱい見つかるでしょう。 背景 うちの会社は転職者が多く、開発への考え方がバラバラ。当然、ドキュメントに対する考え方もバラバラで必要なドキュメントがなかなか揃わない。今の仕事は各部署からの寄せ集めチームでもあり、ドキュメントのテンプレートみたいなものもない。 世代間の格差も結構ある。ベテラン勢はドキュメントは印刷され保管される前提であり、表示にバージョン、日付、部署、作成者など

ゼロからのOS自作入門を1年かけて読みました。 book.mynavi.jp 長い時間かかりましたが、それだけの価値がある本です。 OSに限らずCPUや周辺デバイスの制御を手を動かしながら勉強したい人にお勧めです。 C++のソースコードが読みやすく、解説も詳しいです。ただ、扱っている内容が高度なのでちょっとよく分からないところがでてくるのはしょうがないと感じました。ただ、一回は動かしたという自信がつくので、今後何か必要な事が出てきたら、確実にこの本に戻ってこれます。 これからもずっと本棚に居続けるそんな本になりました。 本の内容 ブートローダーから始まって、GUI付きのOSを作っていきます。タスク（プロセス）の管理、入出力、ファイルシステム、GUIとパソコンっぽい機能が充実しています。最低限動くところをC++のソース付きで解説してあるのですが、その最低限の所がかなり上の方にありました。楽し

プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するか 読みました。 ざっくり内容を説明すると、プログラムを速く動かすためにはCPUのパイプラインの密度を高める必要があり、密度を高めるテクニックとそれを台無ししてしまう現象について1冊使っています。 現行の複雑怪奇なCPUで時にバグとしか思えないような奇妙な動作を再現させるのは本当すごいです。 プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するかwww.lambdanote.com 後半に知らないことがいっぱい書いてあって、パタヘネ読んでCPU完全理解した！みたいな人が現実を知るのに良い本です。 知らないことも多く、知っていることでも過去の知識のアップデートになりました。 以前に紹介した［試して理解］Linuxのしくみに雰囲気にてますね。 同じ時期に、OSから見た低レイヤー、CP

［試して理解］Linuxのしくみ　―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版】を読みました。 www.amazon.co.jp 内容はLinux kernel＋ハードウェアの低レイヤーよりの技術紹介です。全体的に図がわかりやすいのと効果を測定するためのコードが載っているが特徴です。実際にコードを書いて動作させ、パフォーマンスをプロットすることで、理解を深められるようになります。Linuxを正しく理解して、高速、安定動作させたい人にお勧めです。 ソースコードと一部グラフはここで公開されています。 github.com 用語の説明や動きの解説がわかりやすいのと実際に手を動かして確認することで、次の一歩もしっかり調べられるようになっています。Unixのこの手の本って、パフォーマンス測定が数字だけだったり、本のグラフが小さくてよく分からないイメージがありますが、この本はグラ

低レイヤを知りたい人のためのCコンパイラ作成入門を3ヶ月くらいかけてやってみた。 目的はおもちゃCコンパイラを作って、最適化の実装をいろいろ試したかったのだけど全然そこまで行かず。 www.sigbus.info C言語で外部ライブラリなどを使わず一からCコンパイラを作っていきます。細かくステップが分かれていて、順番にやっていくと少しずつコンパイラの機能が増えていきます。三ヶ月かけて、執筆してあるステップ25くらいまできました。ここまでやって、基本的な演算、配列、ポインター、関数呼び出しができる程度です。できないこともまだまだあります。今時のコンパイラの本だと仮想マシーンで動かすのですが、実機で動くアセンブラを出す所も特徴的です。生成したアセンブラのコンパイラ、リンクはgccを使ってます。 大変だったけどとても面白かったです。ぜひ皆さんも挑戦してください。 今回はRust力を上げたかったの

ゼロから作るDeep Learning④が良かったので紹介します。 www.oreilly.co.jp 本の紹介文に「読者はコードを通してハッとする気づきを数多く得られるでしょう。」とある通り、Pythonのコードを見ながらなるほどと思うところが沢山ありました。 内容 ①～③はほぼDeep Learningでしたが、今回のテーマは強化学習です。全体としてはDeep Learningの部分は少なく、③で作ったDeZeroもさらっと使いこなす感じです。DQNから始まるDeep Learning系列の強化学習の解説に期待すると、なかなか最後まで読み切れないかもしれません。 この本の良いところはDQNに行くまでの従来の強化学習について、分かりやすいコード付きで解説されていることです。特に6章は素晴らしく、僕にとっては6章だけでもこの本を読んで良かったと思っています。 強化学習について書かれた本は数

基礎から学ぶ組込Rustの本を読みました。久しぶりに組込プログラマに戻れた気がしてとても楽しめました。 www.c-r.com どんな本 Wio TerminalをRustで制御していく本です。 組込がある程度分かっていて、組込Rustに興味がある人 Rustはある程度分かっていて、組込に興味ある人 この辺の人達がターゲットで、Rustに関しては別にもう一冊本があった方が良いです。 どちらも初めてだとだいぶきついと思います。 読む前は、組込向けの最適化の話、Cのライブラリとの連携とか込み入った話の本かなと思っていたのですが、いざ読んでみるとどちらかというと入門書と呼べる内容でした。 Rustの説明があっさりあったあと、6章のペリフェラル制御からが本番です。Rustの文法そのものよりはこういう形でRustの機能を上手く使ってますという事例が丁寧に説明されていました。 各ペリフェラル（周辺回路

Twitter で気がついた佐藤さんのpdf読み上げシステムの動画を見ました。 Google I/Oが5/18 - 20にオンライン開催。私はpdf2audiobookデモ紹介とMLOps AMAで参加します！ #gcpja https://t.co/tLpBgTB4Xo— Kazunori Sato (@kazunori_279) 2021年4月7日 www.youtube.com PDFをテキストにして読み上げサービスを使用して音声ファイルに変換しています。 このシステムで使用しているGoogleのテクノロジーです。ひとつひとつは聞いたことあります。 Cloud functions Cloud Storage OCR with Vision API AutoML Table Text to Speech ここで上手いなと思ったところがAutoML Tableによるtext（paragr

ONNXの最適化を一通り試してみたのでまとめ。 サポートしている最適化一覧の取得 サポートしている最適化は、get_available_passesで取得できます。 from onnx import optimizer all_passes = optimizer.get_available_passes() 大きく分けると、このように分類できます。 意味のないOpの削除 （eliminate_deadend等） 2つのOpのfusion　（fuse_matmul_add_bias_into_gemm等） Convへのfusion　（fuse_add_bias_into_conv等） その他 convへのfuseは全く動かず、バージョンアップ待ちです。 最適化の結果 Qiitaにそれぞれまとめました。 ONNXでeliminate_deadend 最適化 ONNXで eliminate_i

無事E資格に合格したので、後に続く人の参考になればと思い合格体験記を書きます。 spec 試験勉強を始める前に、どれだけの知識・経験があるのかは勉強量に大きく差がでてきます。簡単に自分のスペックをまとめるとこんな感じです。 理学部物理学科卒 仕事で組込の画像処理を10年以上 CNNや物体検出は、推論をCで実装して人に教えられるレベル CourseraのMLコースを最後までやった ゼロから作るディープラーニングは①、②とも実装済み。 大学で習ってない数学（ベイズや情報理論）が全然駄目で、機械学習は少々、Deep Learningは画像系のCNN以外は実務経験も無しという感じです。画像処理（Computer Vision）では、普通に線形代数を使うので行列の苦手意識は無かったです。 作戦 認定講座はスキルアップAIを選びました。会社のお金で受講するのでなるべく安くするように指示があり、2社まで

15日に行われた数理最適化の勉強会に行ってきました。 会場はブレインパッド様の部屋をお借りしました。いつもありがとうございます。 動画はこちらから見ることができます。素晴らしい。 www.youtube.com 技術書典を支える最適化技術 sfujiwaraさんの発表です。 発表資料はこちらで見れます。 speakerdeck.com 技術書典というイベントでのブースの配置を最適化する話です。最適化の余地を残すところと、ハイパーパラメータの調整はやりたくないのバランスを取るところが面白そうでした。 ブースの分類にRubyと機械学習の両方タグがあった場合、Rubyの島に入れるのか、機械学習の島にいれるのか自動で判別するのが難しい問題。会場から上がったRubyの方が愛を感じるからRubyでしょに対して、sfujiwaraさんがそれが人間の判断じゃんと返したところが面白かったです。愛をどう特徴量

はじめに AutoMLを使っていたら一気に26万円の請求が来ました。 他の人が同じ事故にあわないようにやってしまったことを書きます。 2019/06/24、2019/06/26 追記書きました。15万円減額してもらえました。請求自体は正しく、トレーニングに関しては一回回すとこれだけの費用が発生します。 natsutan.hatenablog.com やったこと 前回、こんな記事を書きました。 AutoML Vision Edgeが作るニューラルネットワーク この続きで、物体検出のAutoMLを評価してみようと思いました。VOC2012のデータを用意してAutoMLへかけてみました。トレーニングの前に物体検出の方はtfliteへの変換が選べないことが分かったのですが、トレーニングさえ終わらせておけば何か方法がみつかるかもしれずと思い、精度優先と速度優先の2つのオプションでAutoMLを実行し

AutoML Vision Edgeがどのようなニューラルネットワークを作るのかが気になったので調べてみました。 Kaggleの犬猫分類（画像による2クラス分類）をAutoML Vision EdgeでTensoflow Liteのモデルを作り、ネットワーク構造を読み出して分析しました。まだ、完全に理解したわけではないので間違っている所もありそうでうが、雰囲気がつかめたのでまとめてみます。 準備 データを用意する。 ここから、犬と猫の画像をそれぞれ2000枚選びました。 https://www.kaggle.com/c/dogs-vs-cats データをAutoMLで扱えるようにする。 この2つを見ればだいたいわかります。 https://www.apps-gcp.com/cloud-automl-vision/ https://qiita.com/shinkoizumi0033/item

Writing Compilers and Interpreters A Software Engineering Approach 3rd Editionを5月から読んでました。なかなか面白い本なので紹介します。コンパイラの勉強というとどうしてもパーサーで挫折してしまいがちです。この本は、まずはフロントエンドと、中間処理（intermidiate）、バックエンドまでを簡単に作って、そこから少しずつ進めていきます。前半はどうしてもパーサーよりですが、パーサーという章があるわけではないのでそこで詰まることなく、面白いところまで手を動かしながら読めました。 どんな本 難しい理論は置いておいて、Pascalのコンパイラ、インタープリターをJavaで実装していく本です。本の内容は、タイトルの通りコンパイラを書くことに重点が置いてあります。実装上のテクニックは詳しく書いてありますが、背景のアルゴリズ

俺俺DLフレームワークを作るにはKeras一択のような気がしてきました。 KerasでNNに特定のデータを入れた時に、狙った層の出力をnumpy形式で出力する方法です。やりかたはKeras FAQをみました。簡単です。 https://keras.io/ja/getting-started/faq/#_1 やってること http://d.hatena.ne.jp/natsutan/20170212/1486862458 ここで作ったNNに一枚絵を入れて、その途中の計算結果を取り出しました。入力データはひらがなデータを入れていますが、やっていることはNNも含めてMNISTと完全に同じです。 モデルと学習結果を読み込む 学習後に保存したjsonファイルとhd5ファイルを読み込みます。ファイルの作り方はここを参照。 http://d.hatena.ne.jp/natsutan/20170212/

２ヶ月かけて読んだ感想を。 全体的には、悪い本ではないのですが、僕には合わなかったです。 本を読み始めた理由 Computer VisionやDeep Learningで出てくる行列式がすらすら分かり、Pythonで簡単に動作を確認できるようになりたくて読んでみました。 内容について まず、Pythonのコードはそれほど出てこないです。出てきたとしても、俺俺行列実装を使うので実践では役に立たない。みんな実際にプログラミングするときにはnumpy使うよね。最初からnumpyで説明しても良いんじゃないかと思いました。最初の方に出てくる漫画は面白いのですが、途中からほとんど出てきません。残念。基本的にはラムダ内包表記で行けるところまで行くので、最初は面白かったのですが、途中からわけわからなくなって結局numpyで少しずつ動かしてました。 扱うトピックとしてデータの圧縮や、暗号化があるのですが、各

[fpga-cpu]で面白そうな話題がありました。コンピュータアーキテクチャの授業で、Altera FPGAを使って簡単なCPUを作るので、生徒とTAに1冊に勧める一冊の本を教えて欲しいという質問です。 このメールへのリプライに出てきた本とURLを紹介します。 opencoreの中のcpu_lecture http://opencores.org/project,cpu_lecture 上のURLからpdfがダウンロードできます。Atmelの8bitCPUをVHDLで実装しています。コンパイラは、既存のgcc-avrを使っています。 ヘネパタとパタヘネ Hennesy and Peterson's Computer Architercture D.A. Patterson, J.L. Hennessy: Computer Organization & Design 定番の2冊。私はパタヘネ

グラフをに追加できるテキスト関連のまとめ。 サンプル画像 ソースファイル # -*- coding: utf-8 -*- from pylab import * I = arange(0, 2*pi+0.1, 0.01) figure() plot(I, sin(I), label='sin(x)') # labelは凡例で表示する文字列 title('Function y = sin(x)') # グラフのタイトル xlabel('x [rad]') # x軸のラベル ylabel('y = sin(x)') # y軸のラベル text(pi/2, 1, 'Max value', ha = 'center', va = 'bottom') # 指定した座標の上にテキストを追加 text(3*pi/2, -1, 'Min value', ha = 'center', va = 'top')

さくらインターネットのVPSにFPGAの開発環境を入れた記録です。どこでもFPGAとF#の開発ができるようになりました。 OSのインストール さくらインターネットと契約を結んだらOSを入れ直しました。僕がUbuntuしか使えない軟弱者なのでOSはUbuntuで。 Ubutuのインストール VPSコントロールパネルからOS指インストールを選択し、Ubuntu 10.04 i386を選択します。amd64を入れるとQurtusII(64bit)版のインストールが突破できませんでした。素直に32bit版を入れましょう。 OSのインストールの後、デスクトップ環境を入れます。（軟弱者なので） sudo tasksel install ubuntu-desktop この後再起動をすると、VNCコンソールにいつもの画面が表示されれば成功。さくらのVNCコンソールはJava6でないと駄目なので、Java7

なかなか挑発的なタイトルのlsを読まずにプログラマを名乗るな!を読みました。タイトルとは違って、lsの実装を丁寧に説明してあって勉強になりました。lsのソースコードを読みながら、システムコール、アルゴリズム、多言語化等の幅広い話題に触れることができます。いくつかCのプログラムを書いていて、次の次のステップに進みたい人にお勧めです。 なぜlsか lsを題材にしている理由について、私なりにまとめ直しました。 デイレクトリの操作などでシステムコールの使い方がわかる 再帰呼び出し、名前順にソート等の定番アルゴリズムが使われている。 多言語化対応 普段よく使うプログラムなので挙動が想像しやすい 限られたリソースで動かす為の技が所々にある。 普通のプログラマならlsやdirは必ず使うことになるので、良い題材を選んだと感じました。 本の内容 ls.cから、テーマに沿った部分を抜き出しての説明があります。

FPGA本ラッシュの最後の本、FPGAキットで始めるハード&ソフト丸ごと設計: CPUと周辺回路を作り込んでCプログラミングを読みました。とても面白かったので紹介します。全体的にソフトウェアの方が説明少なめで、ハードウェア（特にシステムアーキテクチャ）は丁寧に説明してあります。 内容 オープンソースなプロセッサLEONをFPGAに実装し、リアルタイムなJEPGデコードシステムを動かしていく本です。 最初にLEONの簡単な説明と、LEONシステムのコンフィグレーションの説明があります。LEONシステムには設定用のGUIがついているとはいえ、煩雑な設定の説明があるのはうれしいです。FPGA上で動くLinuxを起動させるところまでが第一部です。 第2部からはJPEGフォーマットの詳しい説明と、アルゴリズムのFPGAへの実装方法が詳しく説明されています。まずはPC上のLinuxでmotionJPE

西尾さんのFPGAでライフゲームを作りましたに反応しました。 ライフゲームの生死判定を3通りの方法で書いて、合成、比較してみました。生死判定の前後にレジスタが入っているのは動作速度を比較したかったためです。結論を先に書いておくと、どう書いてもたいした違いは無かったです。好きな書き方を選べば良いと思います。 case 文を並べる。 元のソースの記述方法です。 https://github.com/natsutan/lifegame/blob/master/case/case.v これを合成するとこのような回路になります。 入力をアドレスとしたテーブル引きになっています。 使用ロジックエレメントは12個です。 ROMを使う Quartus II でROMを作りました。 https://github.com/natsutan/lifegame/blob/master/rom/rom.v ROMの

FPGAでエクストリームなコンピューティングの会という謎の勉強会に呼ばれたので参加してきました。僕も発表する予定だったのですが、時間が取れず今回は発表無しでした。時系列ｇｄｇｄで感想を。 FPGAで証券取引の話がとても面白かったです。話を聞くまでは証券取引の記事にでてくる数msというのがFPGAだったら余裕で、FPGAなめんなと思っていました。FPGAの中にCPU乗せてCで書いたアルゴリズムがCPU上で走っているのかなと勝手に想像していました。しかし、良く話を聞いていると、msは発注するまでの許容時間の話で、実際にFPGAとして応答しないといけない時間は20us程度、結構厳しい速度ですね。ふと確認したら高位合成のHandel-Cで有名なセロクシカが、完全に金融に移行していて驚きました。 FPGAでWebサーバとFPGAで高速のデータベース処理は、いまいち使われている技術の違いが分かりません

An Introduction to Functional Programming Through Lambda Calculusを読んでいたら、最初の章に functional language の歴史が書かれていたので、簡単にまとめて見ました。 Propositional calculus Propositional calculus Systemで「命題計算系」です。19世紀中頃に、ハミルトン、ドモルガン、ブール達によって、形式化されました。基本的な値としてtrue、falseを使い、基本的な演算子として、and、or、notを使います。Propositional calculusによって、任意の式(expression)が、原理(theorem)(常に真)かどうかを証明(prove)できます。常に真である基本的な式である公理(axioms)から開始し、公理と既知の原理に推論規則(r

グラフにタイトルをつける。 titleを使う。 title("example9") 線の太さを変える。 plotの引数にlwを加える。 plot(t, 2*y,'s-' , lw = 4, color = '#ffff00') 細かい色の指定をする。 plotの引数にcolorを追加する。 RGBの16進表記が使用できる。 plot(t, 2*y,'s-' , lw = 4, color = '#ffff00') よく使う色は文字列で指定できる。 plot(t, y, '+-.', color = 'darkviolet') matplotlib.colors.cnamesに使える色とRGB表記が入っています。pythonインタープリタで使用できる色が確認できます。 >>> from pylab import * >>> matplotlib.colors.cnames {'indigo'