はてなブックマーク

はじめに Forkwell Libraryという書籍の著者が登壇するイベントにて、最適輸送の理論とアルゴリズム (機械学習プロフェッショナルシリーズ) の佐藤さん(@joisino_)と話す時間を頂いた。 forkwell.connpass.com スライド 動画 その時に事前に学んだメモの公開と、当日のイベントの肌感を残す。 はじめに 最適輸送の理論とアルゴリズム 事前学習 何に使われているか。 何が嬉しくて使われているのか 事前、並行して読むと良いもの 触ってみる イベント当日のQ&A おわりに 最適輸送の理論とアルゴリズム MLPシリーズの書籍 最適輸送の理論とアルゴリズム (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 最適輸送の理論的な背景から応用まで書かれている。 私個人としては、幾何や統計、測度についてお気持ちレイヤーまで分かる、機械学習、コンピュ

- はじめに - Rustでグラフを描画したいと思った時に調べたクレートとその実装、機能のまとめた時のメモ。 現状はplottersを使っておけば間違いなさそうだが、目的によっては機能で選択する場合もありそう。 - はじめに - - 前提知識 - - グラフ描画クレートざっくりまとめ - plotters plotly plotlib poloto rustplotlib RustGnuplot preexplorer vega_lite_4.rs dataplotlib chord_rs - アスキーアート系のクレート - - 記事外で参考になりそうな記事 - - おわりに - - 前提知識 - グラフの描画までの機能としては、matplotlibのようにaxisやviewを構造体として持っているライブラリもあれば、受け取った配列をそのままgnuplotのスクリプトに変換するライブラリも

- はじめに - 本記事は、近似最近傍探索（ANN: Approximate Nearest Neighbor）による画像検索をRustを用いて実装した際のメモである。 画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。 RustとANNの現状および、実装について触れる。 - はじめに - - RustとANN - - pretrainモデルによる特徴量化 - - 画像特徴のインデックスと検索 - - 検索結果 - - おわりに - - RustとANN - Rustの機械学習関連クレート、事例をまとめたリポジトリがある。 github.com この中でも、ANN関連のクレートは充実している。利用する場合は以下のようなクレートが候補になる。 * Enet4/faiss-rs * lerouxrgd/

- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。 執筆チームからの熱いコメントは以下。 販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。 私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠

- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂

- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。 普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追記：2021/02/24 repositoryにしました。こちらを随時更新します github.com 追記；2021/07/26 GitHub Pagesでウェブサイトにしました vaaaaanquish.github.io - はじめに - - 全体感 - - 機械学習足回り関連のクレート - Jupyter Notebook Numpy/Scipy Pandas 画像処理 形態素解析/tokenize - scikit-learn的なやつ - 各ライブラリと特徴比較 - Gradient Boosting - XGBoos

- はじめに - 9月くらいから趣味でフロントエンド周りをやっていたので、その勉強過程のまとめ。 何が良かった悪かったとか、こうすればよかったとか、所感とか。 - はじめに - - 前提 - - どんな感じで進めたか - 最初の開発 TypeScriptとNext.jsを使った開発 アプリ手伝いから自分のアプリ開発まで - できてないこと - - 所感 - - おわりに - - 追記 - - 前提 - 前提として9月頭くらいの私のフロントエンドに対する理解と技術的な知識はこんな感じ。 5年程前まではjQueryで謎のWebサービスや動きモリモリのプロフィールページを作ったりDjangoで研究室のWebサイトを作ったりしてた Railsチュートリアルはやったことある 仕事では普段機械学習モデル作ってるが、機械学習のデータやモデルの変更が及ぶ場合に既存のPHP、Railsアプリの改修をしたり、

- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。 できてた 『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし🎃 (@vaaaaanquish) 2020年12月26日 学習済みモデルをダウンロードし、WebAssemblyで形態素解析、機械学習モデルによる判定を全てブラウザ上で処理する。 この記事は、そこに至るまでメモ。 - はじめに - - 技術的な概要 - - データの収集 - - 技術的な構成 - - モデル周りの話 - - おわりに - - 技術的な概要 - 何が面白いのか簡易図 なんか適当な図学習済みの機械学習モデルをダウンロードして、手元のブラウザ上で動くjavascriptだけで、テキストの処理や判定をすると

- はじめに - RustでNLP、機械学習どこまでできるのか試した時のメモ。 Pythonどこまで脱却できるのか見るのも兼ねて。 コードは以下に全部置いてある。 GitHub - vaaaaanquish/rust-text-analysis: rust-text-analysis - はじめに - - 形態素解析 - neologd lindera - Text Processing、Embedding - - XGBoost - - 実験 - - おわりに - - 形態素解析 - Rustの形態素解析実装を調べると、lindera-morphology/lindera を使うのが有力候補となりそうである。sorami/sudachi.rs や agatan/yoin 、 nakagami/awabi のような実装もあるがメンテは止まっている様子である。 linderaメンテナのブログ

- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする（かもしれない）管理するためのツールを作った。 github.com 近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較してどうなのという話も書く。 - はじめに - gokart-pipelinerを使ってみる gokartの良さ gokart-pipelinerの意義 パラメータとパイプラインが密結合しすぎ パイプラインライブラリなのにやればやるほどrequiresメソッドが複雑になる jupyter notebookと行き来するのがダルい future work おわりに gokart-pipelinerを使ってみる gokartはエムスリー株式会社が開発している機械学習パイプラインOSSである。gokart自体、使った事がないし興

- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、

- はじめに - 最近、所属企業でYouTubeの企画やインタビューを進める事になった。 私の所属する企業は、どのような事柄に対しても説明責任を重視する企業であり、ある程度の合理的な理由付けの上でYouTube上での広報活動をしていこうとなったのだが、実際は「Podcastで良いんじゃないか？」「ブログとリーチできる層は違うのか？」という話が後からも出てくる事が予想できるので、自分の中でも整理と記録を取っておきたい。 体感として、特にソフトウェアエンジニアリング業界でのYouTubeに対する評価は、正直半々といった所だろう。 私の認識としては、大きな2つの主張を短く要約すると「YouTube（全般的に）は面白い」「日本のソフトウェアエンジニアのYouTuberが技術の話をしていない」辺りにまとめられる。 これはある種実態を表しているとも言えるし、違うとも言える。 この事も踏まえ、本記事では

はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。（訳者が同僚である） 実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう! 作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本 ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。 書籍の概要 「実用的でないPythonプログラミング」は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ

はじめに この記事を読んで出来る事 poetryによる外部モジュールバージョン管理 poetry-dynamic-versioningによる動的なバージョン付与 GitHub Actionsを利用したPython周りの基本的なCI/CD設定 GitHubのReleaseタグ付与をTriggerとしたPyPIへのアップロード 今後私がPythonで何かライブラリ作ろうと思ったらこれを実施するぞというメモです はじめに poetryによるモジュールバージョン管理 PyPIへのアップロード GitHab Actionsを用いたCI/CD その他GitHubでやること 参考 poetryによるモジュールバージョン管理 バージョンをGitHubのタグで管理したい事の方が多いはず。 setup.pyを利用する場合は、一般的にsetuptools_scmを使うが、poetryはsetup.pyのようにb

- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ

- はじめに - このブログの人気シリーズの一つ、「献本されて読んだら良かったので書評で作者に媚を売ろうシリーズ」です。 今回は、あるきっかけで「FINAL FANTASY XV の人工知能 - ゲームAIから見える未来」（以下 FF本）という本を頂く形になりました。 FINAL FANTASY XV の人工知能 - ゲームAIから見える未来 作者: 株式会社スクウェア・エニックス『FFXV』AIチーム出版社/メーカー: ボーンデジタル発売日: 2019/06/04メディア: 大型本この商品を含むブログを見る 私自身の専門もあって、普段はこの手の「人工知能本」と私が認識しているジャンルの本、例えば「よくわかる人工知能」「人工知能ビジネス徹底解説」といった旨の本を手に取る事はほぼなく、ましてや誤った知識を流布する事が多いジャンルでもあると認識していたが、このFF本はまた別の楽しみ方が出来たの

- はじめに - 本記事はpython prompt toolkit（以下 ptk）の動作を理解するメモです。 ptkで出来ること、その概要を書いています。 - はじめに - - ptkとは - ptkで作成されたツール - ptkの描画を理解する - print_formatted_text Application Screenオブジェクトのレンダリング KeybindingとFilter 関連 おわりに - ptkとは - ptkは、Pythonで実装されているCLI用のツールキットである。 コンソール上でのフルスクリーンアプリケーションの作成 dialogs、progress-barの生成 シェルのようなインタラクティブな入出力 補完 clipboardの管理 出力テキスト色の変更 シンタックスハイライト EmacsとViのキーバインディング マウスカーソルによる操作 各種非同期処理

- はじめに - フォロワーも増えてきて大体毎月n*100単位でフォロワーが変動するようになってきて、巷のフォロー管理ツールじゃ全然要求を満たせないので、自作する体でGWに友人と1日ハッカソンみたいなのを開いて勢いだけで作った話。 「100万人とかフォロワーが居る訳じゃないけど1000から1万くらいの "小さな界隈のアルファ" 」は多く居て、皆どうやってTwitterを見てるのか知りたいのでまず自分から。 自分がTwitterを見ている方法や、フォロバに関する個人的な意見など、偏見を含む記事。ほぼポエム - 作ったもの - 自身の要件を満たす物を一旦作った。 裏側はpandasが走る事でquery検索やsort、別途の分析、拡張が容易 画面内でqueryの調整、閲覧、フォロー、アンフォロー、リスト管理ができる tableに最低限の情報が羅列されている queryを保存したりDB側にも更新機

- はじめに - NIPS 2016のSiamese Neural Networks for One-shot Image Recognitionを参考に、画像の距離学習を行う。 Siamese Networkは、各クラスの画像量にバラつきがあり、一部クラスが数枚しかない学習データでも上手く学習させられるネットワークである。 「特徴量同士の距離が近い画像」を探す事で、分類や検索といった問題を解くために利用できる。 やりたい事としては以下のような感じ。 sample (food-101 datasetより) 本記事は、以下の記事で利用したcnn_finetuneライブラリを用いて、pnasnet5largeをpretrainとした、画像の距離学習のtrain, testを行うメモである。 vaaaaaanquish.hatenablog.com また、最後にfood-101データセットを用い

- はじめに - 本ブログでは恒例になりつつある、献本されたので媚を売るシリーズです。 「機械学習のための特徴量エンジニアリング」は2/23に発売される、機械学習エンジニアのための書籍です。 本記事は、筆者に媚びを売りつつ、どういった内容の書籍か、どういう人が読むと良さそうか、私がどう感じたかをつらつら書いていくもでのす。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 作者: Alice Zheng,Amanda Casari,株式会社ホクソエム出版社/メーカー: オライリージャパン発売日: 2019/02/23メディア: 単行本（ソフトカバー）この商品を含むブログを見る - はじめに - - 書籍の概要 - - どんな層に向けた書籍か - - 感想とか - - おわりに - - 書籍の概要 - 「機械学習のための特徴量エンジニアリング」は、謎のデータサイエン

- はじめに - 近年、分散深層学習の研究、ライブラリ開発が盛んに行われている。 本記事はuber社が公開しているhorovodを利用した分散CNNのメモである。 - 前提 - horovodとは、バックエンドをOpenMPIとしTensorFlow、Keras、PyTorchを最小限のコード変更で分散学習できるようにするためのパッケージである。 github.com 現状TensorFlowを使って書かれたコードをDistributed TensorFlowに対応させるにはパラメータサーバやマスタサーバの動きを理解した上で多くの変更を要するが、horovodではそれらをncclのall reduceを利用しwrappingしてあるため、最小限のコード変更で分散学習が可能となる。 また、公式によると普通に書くより早いらしい（未検証） 複数ノードで利用する場合、各ノードがOpenMPIを通し

- はじめに - 最初のステップとなる「学習済みのDeep Learningモデルをpre-train modelとして自分が用意した画像に対して学習」する時のメモ。 多分これが一番簡単だと思います。 - はじめに - - 準備 - - pretrainモデルで簡易に学習する - - modelを保存する - - predictする - - おわりに - - 準備 - バージョンはtorch (0.4.1)、torchvision (0.2.1)の話をする。 pip install torch pip install torchvision 学習済みモデルはpytorchの画像向けパッケージとなるtorchvisionでもサポートされている。 torchvisionで扱えるモデルは以下（2018/09/15 時点） AlexNet VGG ResNet SqueezeNet DenseNe

- はじめに - この記事は、Xonsh Advent Calendar 2018 - Qiita 10日目の記事です。 複数のサーバを業務で利用おり、それぞれのサーバ環境設定のためpythonパッケージもインストールする作業が必要だが、別サーバからpip freezeするほどでもない(ちょっとした作業サーバなど)という時にjupyter_configや.xonshrc等の設定ファイルに自動インストールするように書いておけば良いのではと思って書いたメモです。 端的にはimportが失敗したらpip moduleを使ってインストールしてやる仕組みを作ります。 また加えて「PyPiに登録されているパッケージのリストを取得し、その中になければ諦めるという仕組み」「xontribの自動インストール」も示します。 - はじめに - - 動的なpip install - - PyPiに登録されているパ

- はじめに - ChainerMNがついに本家Chainerにマージされました。分散深層学習への本気度が伺えます。 github.com 節目という事で、Dockerを利用して複数ノードでChainerMNするために行った事のメモをTips形式で残しておこうという記事です。 私は半年くらい前からこの記事の内容を使っているのでアップデートがあるかもしれません。 加えて、最近はkubernetesを使うのが流暢で、PFNさんも公式ブログ書いてるし多分k8sが良いと思います。 ChainerMN on Kubernetes with GPUs （私もk8s挑戦してるけどあんまり上手くいってなくて放置中です…） この記事はk8s使えないけどDocker使えるような分散環境はあるみたいなニッチな需要を満たすかもしれないなあというレベル感の記事です。 - はじめに - - 前提と参考文献 - - D

- はじめに - Pythonにおけるpython-prompt-toolkit(以下ptk)を使って作られたシェルである「xonsh」を同僚にオススメされて、大体半年くらい使ったので設定とかxontribとか所感を晒していく。 前半でxonshのメリット、デメリットの概要を記載し、後半に自身が利用する設定やxontribについて記載する。 この記事は、xonsh導入に至る人もしくは、環境設定について広く知りxonshを扱える人を増やす事が目的である。 追記：2018/07/18 xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。 現状はpip install xonshする時に pip install prompt_toolkit==1.0.15 pip i

- はじめに - 近年では、チャットツールの発展が睦まじく、グループ内、企業内においてもチャットツールによるコミュニケーションが盛んとなっている。 チャットツールでのコミュニケーションにおいて欠かせないのが、画像によるハイコンテクストなやり取りである。 互いに同じレベルでの前提知識を持ち合わせている時、「有名な漫画のコマ」や「その場の状況を風刺する画像」を共有するコミュニケーションは、一般的な文字でのやり取りよりも時に頑強となる事が多い。 本記事では、有名な画像を検索しチャットに貼るために必要な工程である、画像検索、選択、コピーを簡略化するため、xonshを利用したPythonによる画像検索スクリプトを提示する。 つまるところコンソールだけで以下のように画像検索、URLコピーまでを扱えるようにする。 書いたスクリプト：imgsearch_on_xonsh · GitHub - 画像検索先