はてなブックマーク

最近、効率よくスマホ上で推論したくてTensorFlowLiteとかMediaPipeとかとずっと戯れているんだけど、そのあたりの周辺技術をもう少し調べようとしてまとめたやつです。 どれもデモ動画を見ないと全然わからないと思うんだけど、公式のgifとかどこまで使っていいかわからないので載せれない。リンク飛んで見てみてください。 王道なやつ TensorFlowLite モデルの軽量化とかするのに使ってる。プロダクションに入れることを考えると、一番安定してるんじゃないか。 CoreML (Apple) iOSしか使えないので試したことない。 どれくらい良いのか教えてほしい。 ML Kit (Firebase, Google) 試してみた感じまたストリーミングデータとかはカクカクな感じだった 導入は簡単だった PyTorch Mobile まだプロダクションで使われている事例を自分は聞いたこと

カスタムのTensorflowのモデルをTFLiteにconvertしようとしてすごく辛かったのではまりどころを記録していく。 サンプルにあるモデルをtfliteにconvertするのはそんなに難しくないんだが、ちょっと自分で手を加えたモデルをconvertしようとしたらTensorFlow初心者の私にはものすごく大変だった。 今回使うのはtensorflow/modelsのslimに入ってるモデル。 mobilenet、inception、resnet、vggなどのアーキテクチャが準備されている。 Kerasモデルのconvertはやったことがないので今回の話にはでてこない。 ※最新のTensorflowのversionは2.2だが、tensorflow/modelsに準備されているモデルはTensorflow2には対応していない ※今回書いているPythonコード内のTensorfFl

みんなのdocstring書くモチベーションをあげるために、docstringの網羅率を計算して Pull Requestごとにdocstringの網羅率(coverage)の変化を表示したいな〜と思って調べたんですが、 そういった網羅率を計算するライブラリが見つけられなかったので、自分で作りました。 インストールの仕方と使い方を紹介します。 インストール pip install doc-cov これでdoccovコマンドが使えるようになります。 使い方 基本的には計算したいプロジェクトのパスを指定するだけ。 デフォルトではpublicな関数のdocstringの網羅率が出力されます。 $ doccov tests/sample_project function 3 / 5 60.00% Options 細かいオプションはREADMEにありますが、 いくつか例を出しておきます。 csv出力

最近仕事で自然言語処理を使ったモデルを作成していたんですが、 前処理やモデルを作る際に数分〜数十分単位の処理待ちの空き時間が頻繁に発生してしまい、 その度集中力が切れる問題に悩まされていました。 モデルの学習に時間がかかってしまうのはまた別の解決策を考えるとして、 今回は時間のかかる前処理をDaskをつかって高速化した方法をお話ししようと思います。 この記事は PyLadies Advent Calendar 2018 - Adventar の18日目の記事になります。 Daskとは？ Daskとは、numpyやpandasなどのデータを簡単に並列計算するライブラリ。 あまり公式のチュートリアルがわかりやすくない(気がする)ので、基本的な使い方は Python Dask で 並列 DataFrame 処理 - StatsFragments を見てみると良い。 サンプルデータ 今回はKagg

Learn Languages 2018 というイベントで、最近のPythonについて発表してきました。 (一昨年まではLightweight LanguageでLLイベントだったのが、去年からLearn Languagesイベントになったらしい！) Python update in 2018 #ll2018jp from cocodrips www.slideshare.net せっかくなのでポイントだけでも書き起こして見ようと思います。 ここ1~2年で便利になった機能 1. The pathlib module (PEP 428) pathlibはファイルパスに関するモジュールで3.4で導入されました。 ただ、build-inのopenやos.pathモジュールがpathlib.Pathオブジェクトを受け入れられるようになったのがPython3.6(PEP519)となっています。 3.

日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素同士をつなげてフレーズの抽出をしたいシチュエーションがよくあると思う。 そういった特定の品詞の組み合わせをルールを定義することで、フレーズを抜き出せるPythonパッケージ「negima」を作った。 概要 例えば複合名詞を抽出したい場合、このようなルールを定義する。 id min max pos0 pos1 pos2 pos3 pos4 pos5 nouns 0 2 接頭詞 1 4 名詞 一般|サ変接続|数 0 2 名詞 接尾 このルールをnoun.csvとしてファイルに定義したとすると、 0個以上2個以下の接頭詞ではじまり、 1個以上4個以下の名詞(

Jenkins2.0以降Pipelineが標準機能となり、 ビルド同士の関係もスクリプトで管理しやすくなった。 PipelineのスクリプトはGroovy(JavaVM上で動く動的プログラミング言語)で書く必要があり、 GroovyにもJavaにも明るくない人にとってはちょっとハードルが高いのだが、柔軟性があるので慣れてしまえばとても便利。 最近すこしpipelineのスクリプトを書くことがあったので、忘れないうちにまとめておく。 サンプルスクリプト pipelineについてまずざっくりとした雰囲気をつかみたい方はJenkins公式pipeline紹介ページを読もう。 今回説明するのをだいたい詰め込んだ自分のサンプルスクリプトを最初にはっておく。 def repository = "git@{....}.git" def github_credential = '{credentialsの

今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x

データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新

新卒で入社して2年勤めたゲーム会社を4月末で退職し、 ゲームプログラマーからデータサイエンティストにジョブチェンジしました。 だいぶ違う業界への転職で不安もありますが、大学の研究はデータ解析寄りだったので、 どうにかなるといいな〜という気持ちです。 新しい環境にわくわくしています。 転職活動をするにあたって悩むことも多かったので、以下ちょびっとメモを残しておこうと思います。 前職のおはなし 前の会社は自分が小学生のころからずっと憧れていた会社で、そこで働けることをとてもうれしく思っていました。 作っているゲームへの愛もあり、チームの人との人間関係もとても良好だったため、多少仕事としてやりたいこととのギャップを感じることはあっても、楽しくお仕事してました。 もやもや期間と転職活動を始めるまで 冬ごろに、自分のやりたい事と仕事のズレにもやもやーっとすることが多くなって、ちょっと真面目に転職を考

Lisp初心者のくーむです。 なんとなくLispアドベントカレンダーに登録してしまいました。 こちらLisp Advent Calendar 201621日目の記事になります。 今回は地道に1年続いているSICP読書会の様子についてちょっとだけご紹介しようと思います。 オンラインSICP読書女子会について 去年12月に、Ladies++という女性向けのC++コミュニティを立ち上げました。 コミュニティの活動の一環として、何をやろうかと考えていた時、 (気にはなるけどあの厚くて練習問題が多く１人ではなかなか続けられない)SICP読みたいねー、という話になりSICP読書会をはじめました。(C++関係ない・・・) 2016年1月からはじめ、だいたい2週に1度程度開催しており、 1年経った現在、2.3節をやっています。 SICPとは(一応) コンピュータとデータ構造の基礎がつまったあの本です。 計

12月に女性C++erのための、Ladies++というコミュニティを立ち上げました。 今回はLadies++や女性コミュニティについて紹介しようと思います。 この記事は、 Geek Women Advent Calendar 2015 の23日目の記事です！ 様々な女性コミュニティ 最近はたくさんの女性向け技術コミュニティがあります。 Rails Girlsなんかが有名かもしれませんが、 Pythonの女性コミュニティPyLadiesや、Java女子部等も活発に活動がされています。 Rails Girls - Japanese PyLadies Tokyo | Official Site Welcome | Women Who Code Java女子部 | Doorkeeper なぜ女性でコミュニティなのか 今年のPyConJP2015では、女性コミュニティに関する「いま求められるコミュニ

社会人1年目、会社で部署に配属された初日に、 上司に「C++は全然わからないです！」って言ったら、 「お前がわかってないのはC++じゃなくてコンピュータの基礎だ」 と言われたくーむです。こんばんは。 今日は 初心者 C++er Advent Calendar 2015の8日目(7日目？)の記事です。 C++歴は1000行くらいの超初心者です。 CodingameとかHAL研プロコンで使ったことがあるけど、 仕事ではなかなかガッツリ書く機会がなくて、毎日数行足したり減らしたりしてだけなので、 なかなかC++力つきません。 ポインタコワイ Python界からきた私にとってポインタは超怖い子です。 そもそも変数の前に記号が付いてるだけでコワイ。（PerlもPHPもコワイ） そんなこと言ってたら友人がこの本を貸してくれました（多分もう売ってない） 秘伝C言語問答 ポインタ編 (柴田望洋プログラミン

みなさんは何のためにプログラミングをしていますか？ 仕事のため、何かをつくるため。 それも良いけれど、「強くなる」ためにプログラミングしてみませんか。 様々なジャンルのプログラミングコンテストとまだ見ぬライバルたちがあなたを待っています。 今回はアルゴリズム/AI/機械学習/セキュリティ等の様々なジャンルのコンテストとその始め方について紹介したいと思います。 ※これはPyConJPでの発表を文字におこしたものです。が、Pythonの話は殆どないです。 プログラミングコンテストとは？ すべてのコンテストに共通する、「コンテストに参加する利点」 1. 自分と同じ問題を解いた、他の人の解法を知ることができる 2. 同じコンテストに出ていた、たくさんのライバルと知り合える アルゴリズムのコンテスト 問題1 問題2 TopCoder Single Round Match CodeForces AtC

先月秋葉原の電気街を歩いていた時に、かわいいPCケースに出会った。 ピンクで中が透けて見える。女子エンジニア心をくすぐられる。 以前からPC自作してみたいな〜、とは思っていたのだけど、 このケースに一目惚れして気づいたら買っていたので、ついに作る決心をした。 とは言っても、PCについてはま〜〜〜ったく知識がないので、お勉強しながら作った。 はじめての自作PC！！！ そもそも何を買えばよいのか どんなマシンにするのか どのパーツから決めるか CPUを決める マザーボードを決める メモリを買う 残りのパーツを決める 組み立てる OS入れる 目的のゲームをいれる いくらかかったか 参考 はじめての自作PC！！！ そもそも何を買えばよいのか だいたいこれくらい？ CPU(脳みそ的なやつ) マザーボード(CPUとかつっくけるやつ) メモリ 電源 HDD どんなマシンにするのか 今回の目的として、こん

Mac/Linuxしか触ってなかった人生から一転、毎日Windowsを使うお仕事に就きました。 最近はちょっとしたツールをよく作るのですが、Windowsで１番悩まされてるのは、Windowsのパスが"\"で連結されていることです。 コマンドプロンプトとcygwinでどちらも動かすようなコードを書く場合です。 例えばこんな感じのコードを書くと import os path = "C:\documents\nori\tama" for d in os.listdir(path): print os.path.join(path, d) もちろんこうなるわけで。 WindowsError: [Error 123] ファイル名、ディレクトリ名、またはボリューム ラベルの 構文が間違っています。: 'C:\\documents\nori\tama/*.*'「"\"ってエスケープされるじゃん！なんで

py2exeを使って、pythonのスクリプトをexeファイルにしましょう。 いくつかハマりポイントがあって大変だったのでまとめてみます。 複数のハマリポイントではまった理由を追記しました(2017/03/13) Python バージョン: 2.7.10 pyexe バージョン: 0.6.9 pythonスクリプトを書く 今回はこんなかんじの、 ファイルを作るだけの簡単なスクリプトをexeにしようと思います。 create_file.py with open('test.txt', 'w') as f: f.write('Hello, world!') py2exeをインストール トップページの上のメニューに有るダウンロードページからpy2exeをダウンロード。 ハマりポイント1 インストール自体は簡単。 ただ64bitマシンなのに、64bitのほうじゃ動かなくて、32bitの方にしたら動

今日は#pyhack & Kaggleに初参加してみました。 Kaggleとは? Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である。 bywikipedia とりあえず今日の目標は、機械学習とか全くわからないけど、とりあえず何か提出してみよう、という感じです。 挑戦するのはDigit Recognizerという、手書きの数字の画像から数字を判別するチュートリアルコンテストです。 データは実際には画像ではなくて、28*28の0~255の数字で用意されています。 まずは適当にやってみる 誰かの記事なんかに沿ってやってくのは難しいしよくわからないし、ワクワクしないので、とりあえず最初に自分で考えたしょぼい方法でどこまでできるかやってみます。 機械学習（教師あり）は一切知識がない

「クラスは知ってるけどクラスの使い道がわからない」 「クラスとインスタンスの違いがよくわからない」 初心者にありがちなことだと思います。 クラスの存在価値がわかるまでって意外と大変です。 クラス・インスタンス・オブジェクト指向といえばJavaな気がします。 今日はクラスのありがたみをJavaのサンプルコードを用いながら、 簡単にではありますが説明してみたいと思います。 ここではクラスの「使い方」ではなくて「使い道」について話していきます。 （使い方がわからなくても、ついていけるとは思います） それではまずは、簡単な問題を出してみたいと思います。 怖がらないでください。 (1)あるグラフの上に、図のようなに3つの点が有ります。この3つの点の座標を持つプログラムを書いてみてください。 特に強いこだわりがなければ、ファイル名はLesson.javaとつけることにしましょう。 かけましたか？ 書け

プログラマ日本一決定戦 CODE VS4.0 の本選の観覧に行ってきました。 CODE VS4.0 はゲームAIのコンテスト。 CODE VSとは日本中のプログラマが、 技術を競い合うプログラミングコンテスト 相手の隙を衝くアルゴリズム活用力と、 的確なコーディング技術を競い合うプログラミング・コンテストである。 テーマとして与えられるのは、ある「ゲーム」。 そのゲームを攻略する「最強のAI」作成が、挑戦者の使命である。 参加資格：年齢・国籍・学歴不問！ CODE VS4.0 CODE VS4.0の概要と本選 去年はボンバーマンもどきのゲームのAIを作るコンテストだったけど、 今年のゲームは戦略シミュレーションでした。 予選を行い上位8名がニコファーレで開催される本戦に参加できます。 プログラミング言語は何でもOK。 AIのプログラムの実行時間が決まっていますが、LL言語でも全然問題ありま