はてなブックマーク

この本を数か月前に読んで面白かったです。2022年に読んだ技術書の中でベストだったので、紹介しよう。と思って書き始めたら、なんか前置きが長いだけの謎文章になってしまったけど公開します。。 この本を読むと、こんなのが作れるようになります。 8章。レイマーチング完全に理解した。 #リアルタイムグラフィックスの数学 pic.twitter.com/VDYhxIlar3— Hiroaki Yutani (@yutannihilation) 2022年9月12日 ちなみに私はGLSLじゃなくてRustとWGSLでやってたんですが、もし興味あればここにメモとコードを公開しています。 メモ: https://zenn.dev/yutannihilation/articles/d7fe746f4bce38 コード: https://github.com/yutannihilation/math_of_re

先日、Apache Arrow東京ミートアップ2019で「RとApache Arrow」というタイトルで発表してきました。あと、Japan.RでもApache ArrowについてLTしました。 話したこととしては、 arrowパッケージを使うとParquetファイル（後述）の読み書きができる sparklyrパッケージが内部でApache Arrowを使うようになって、R↔Spark間のデータのやり取りが高速になった Arrow Flightがもっと一般的になれば、JDBCやODBCを使わなくてもデータベースからデータを取ってこれるようになる という感じで、個人的にいま強調したいのは1.です。とりあえずParquetファイルの読み書きというのがRユーザーにとって一番わかりやすいメリットなので、そこをきっかけにみんなApache Arrowにズブズブになって、もっと世の中のシステムがApac

昨日、発表のスライドの事を数人から褒められたので、思い立ってブログに書いておきます。 気を付けているのはたった1つ、 でかくて太い文字を使う ことです（逆に言えば、あとは適当なので真似しない方がいいです...）。 でかくて太い文字を使うのがなぜいいかというと、主な理由は2つで、 後ろの方の席からでも見える 1枚のスライドに入る文字数が少ないので、文章の断捨離が強制される だと思っています。 ちなみに文字を減らすのは、自分にとってだけでなく聴衆にとっても重要です。 文字がたくさんあるスライドが出てきて、その文章を目で読んでいるうちにスピーカーの話を聴き逃してしまった、みたいな経験はないですか？ そういうことを避けるために、とりあえず文字数を減らすという指針は便利です*1。 具体的にやってるパワポの設定 まずは「表示」タブから「スライドマスター」を開きます。 ここで全スライドのデフォルトのフォ

tidyr v1.0.0がそろそろリリースされそうな雰囲気を感じるのでそろそろ重い腰を上げて使ってみます。 ちなみにこのv1.0.0というバージョンは、stableになったという意味ではなくて、新機能てんこ盛りなのでメジャーバージョン上げとくか、というノリなんだと思います。 既存の機能には基本的には変更はないはずです（ただし内部実装は変わってたりするので念のため動作確認しましょう）。 pivot_longer()/pivot_wider() gather()とspread()の上位互換です。縦長に変形したいときはpivot_longer()、横長に変形したいときはpivot_wider()を使います。 かなーりいろんな機能が詰め込まれているので、詳しくはvignetteを見てください。 ここで紹介する例もvignetteから取ってきたものです。 pivot_longer() 基本的な使い方

TL;DR quo_name(): 名前のついていない引数に名前をつけるときに使う（例： data.frame(a)とやるとaが列名になる、みたいなこと） quo_label(): quosureや表現式を短めの文字列に変換するときに使う quo_text(): quosureや表現式を省略なしの文字列に変換するときに使う as_string(): シンボルを文字列に変換するときに使う 比較 library(rlang) f <- list( as_string = as_string, quo_name = quo_name, quo_label = quo_label, quo_text = quo_text ) q <- list( invalid_quo = quo(`a + 1`), short_quo = quo(a + 1), long_quo = quo(a + a + a

追記（2018/07/18）： すみません、Twitter上でいろいろ間違えている部分をご指摘いただきました（ありがとうございました）。 コピーしなくても計算はできる ただし結果をメモリ上に上書きすることはできない GandivaはArrowにマージされのを目指している 速い言語は、コア部分もC++ではなくそれぞれの言語で実装されている 詳しくはこのツイートへのリプライを参照してください。 そういえば半年前にこれ↓をLTして以来、ちょっと状況がアップデートされているのでいったんまとめておきます。 というのは、SciPy 2018でWes McKinney氏が話してたこのスピーチがけっこうまとまっててわかりやすかったので。 Apache Arrowとは？ まずはおさらい。ここは↑のスライドと変わっていません。 メモリ上のデータ形式を定めたもの（ディスクに保存するデータ形式（例：Parquet

gghighlightパッケージは、データ系列が多すぎるとき、いい感じに一部をハイライトしてくれるパッケージでした。 もうすぐリリース予定のggplot2 2.3.0の新機能を使ってパワーアップ中です。 詳しい解説はおいおい書くとして、簡単に紹介だけします。 おさらい gghighlightは、こういうデータがあったときに、 library(dplyr, warn.conflicts = FALSE) set.seed(2) d <- purrr::map_dfr( letters, ~ data.frame(idx = 1:400, value = cumsum(runif(400, -1, 1)), type = ., stringsAsFactors = FALSE)) こんな感じでふつうに可視化したのではもじゃもじゃで系列が見分けられなくてどうしよう...、みたいなとき、 libr

ggplot2 2.3.0全体の変更点については以下に書きましたが、その中でも目玉の一つgeom_sf()について軽く紹介します。 追記： uriboがもっと網羅的な記事を書いたみたいなので、こっちを読んどけばばっちりです！ sfパッケージとは sfパッケージは、GISデータをRで扱うためのパッケージです。 dplyrやtidyr、leafletなどのモダンなパッケージに対応していて、tidyなエコシステムの中で使うことができます。 しかし、「モダンなパッケージ」と言いましたが、CRAN版のggplot2ではまだsfをプロットすることはできません。 ggplot2のsf対応 実は、geom_sf()がggplot2に追加されたのはもう1年半ほども前です。 そんなわけで、GitHub版のggplot2を使っている人にはもうおなじみの機能なんですが、 この1年半ggplot2のリリースがなかっ

Emacs歴実質3日目くらいです。↓を読みながら勉強中。変なとこあればやさしく突っ込んでもらえれば... [改訂新版]Emacs実践入門―思考を直感的にコード化し、開発を加速する (WEB+DB PRESS plus) 作者: 大竹智也出版社/メーカー: 技術評論社発売日: 2017/09/22メディア: 単行本（ソフトカバー）この商品を含むブログを見る インストール ダウンロード GNU Emacs download - GNU Projectを見てソースをダウンロードしてくる。 wget http://ftp.jaist.ac.jp/pub/GNU/emacs/emacs-25.3.tar.xz wget http://ftp.jaist.ac.jp/pub/GNU/emacs/emacs-25.3.tar.xz.sig HTTPになってるので一応GPGで署名を検証しておく。 $ gp

ロケールとは。 http://cran.r-project.org/doc/manuals/r-patched/R-admin.html#Localesによると、 A locale is a description of the local environment of the user, including the preferred language, the encoding of characters, the currency used and its conventions, and so on. Aspects of the locale are accessed by the R functions Sys.getlocale and Sys.localeconv. The system of naming locales is OS-specific. There is

たぶんこれは、もうちょっと読んでもらおうと思ったら「未経験からインフラエンジニア3年目、読んでよかった本」みたいなタイトルであるべきで、しかし致命的なことに俺はそういうフレッシュなことを書くにはちょっと年を取りすぎてしまってるんですよね（ため息）。 まあでも、時分用のメモとしてはとりあえず書き残しておくのも悪くないなと思って書いておきます。（注：今が5年目ではない） プロセッサを支える技術 プロセッサを支える技術　　??果てしなくスピードを追求する世界 (WEB+DB PRESS plus) 作者: Hisa Ando出版社/メーカー: 技術評論社発売日: 2011/01/06メディア: 単行本（ソフトカバー）購入: 22人 クリック: 250回この商品を含むブログ (54件) を見る この本はたしか2年目くらいで読んで、正直あんまり理解できなかったけど基礎がない人間としてはだいぶ参考にな

Twitter APIからデータを取得するにはrtweetパッケージを使おう、という話は前に書きましたが、Twitter APIを使うにはトークン取得のために各自でTwitterアプリを登録する必要があり、やや面倒でした。 例えば2017年9月のこの記事ではその登録の仕方を詳しく説明しています。 しかし、そのちょっとあとにrtweet作者とHadleyがこんなやりとりをしてるのを目にしました*1。なんか自分でアプリ登録しなくてもrtweetパッケージのアプリを使えそうな雰囲気...？ Why do you require users to create own app? There’s no reason not to embed in package?— Hadley Wickham (@hadleywickham) 2017年11月7日 で、そういえばどうなったかなと思って質問してみる

これの内容どうこうよりも、こういう話をググりたくなったときのための自分用メモ。 anond.hatelabo.jp 11月頭くらいにTLでそういう話が盛り上がってたけど、きっかけはたぶんこの記事で、 While toxic experts bemoan lack of skills, they showcase the main skill gap the tech industry needs to fix: empathy. https://t.co/zLhJpl2oxn— Ned Batchelder (@nedbat) 2017年11月3日 続いてNetflixのBrendan Gregg氏が書いたこの記事。 new post: Brilliant Jerks in Engineering https://t.co/npUqguRCmZ pic.twitter.com/lLSuPn

またSleeviさんがなんかぶっこんでいるのでメモ。 https://groups.google.com/d/msg/mozilla.dev.security.policy/szD2KBHfwl8/kWLDMfPhBgAJ 「EV証明書でもフィッシングサイトつくれるよ」という報告 2017年9月の記事。 EV証明書を取得するには実在の団体の登記が必要だけど、そんなものDark Webで買えるよね、と*1。 So what does an attacker do? Well they can purchase a valid stolen ID for a few pounds from the so called "Dark web" and just use, a service address as the address of the company and the director

dplyrパッケージの*_join()は、キーとなる列の値が完全に一致する必要があります。しかし、世の中のデータはそんなにきれいに一致はしていなくて、微妙に表記が違うとか微妙に値がずれているみたいなことがよくあります。 そんなときは、fuzzyjoinパッケージです。 fuzzyjoinには以下の4種類のjoinがあります。 difference_*_join(): 値の差が許容値以内のものは同じとみなしてjoin stringdist_*_join(): 文字列距離でjoin regex_*_join(): 片方のデータの正規表現でもう片方の文字列をマッチさせてjoin（これはたぶん名前から予想するのと違う） distance_*_join(): 幾何学的な距離でjoin geo_*_join(): 地理的な距離でjoin interval_*_join(): 値の範囲でjoin gen

tidyポエム Advent Calendar 2017 - Adventar 5日目の記事です。 なんかdata.frameとtibbleについての議論が盛り上がってるようなので、data.frameについて書きましょう。 ええ、決して「tidygraphに触ってみる」なんていうタイトルでアドベントカレンダーに登録してたけどついさっきまで忘れていた、みたいなことではないですよ。 時流を捉えたテーマを選んだまでです。ええ。 pic.twitter.com/4ACJHgjX6s— h(o x o_)m＜ Fool on the Hill (@hoxo_m) 2017年12月4日 I()ゆえに人は苦しまねばならぬ！！ そもそも、data.frame()でリストを渡したときというのはどういう挙動が意図されているのでしょう。?data.frameを見てみましょう。 data.frame conve

dplyr::copy_to()とかどうやってるんだろう、と思ってたら、DBIパッケージになんか色々便利関数があるらしい。この辺を眺めていて知ったやつ。 sqlCreateTable() データフレームの定義をクエリに変えてくれるやつ。中身を見ると、こんな感じで、コネクションを第一引数に取るS4の総称関数。 library(DBI) sqlCreateTable #> standardGeneric for "sqlCreateTable" defined from package "DBI" #> #> function (con, table, fields, row.names = NA, temporary = FALSE, #> ...) #> standardGeneric("sqlCreateTable") #> <environment: 0x00000000096743c

ggplot2で可視化しようとして、データ系列が多すぎてこんなもじゃもじゃになってしまう、みたいなことないでしょうか。 これを、一部だけを色付けしてこんな感じのプロットにしてくれるパッケージをつくりました。 インストール GitHub上からインストールできます。 devtools::install_github("yutannihilation/gghighlight") gghiglightがやっていること gghiglightの説明をする前に、まずは上のグラフが何をしているのか、まずはふつうのtidyverseでやってみます。 データはこんな感じのやつです。 library(dplyr, warn.conflicts = FALSE) set.seed(1) d <- tibble( idx = 1:10000, value = runif(idx, -1, 1), type = sa

RからTwitterのAPIを利用するときの定番なのがtwitteRパッケージです。 こないだふとソースコードを見ようと思って元レポジトリに行くと、READMEにこんなことが書かれていました。 DEPRECATION This is the start of a relatively leisurely deprecation period for twitteR, in favor of using rtweet. Please start looking to switch over to that package. If you have any questions contact myself or @mkearney (https://github.com/geoffjentry/twitteR#deprecation) えっ。 twitteRパッケージは廃止予定になったらしいで

r-wakalangでそういう話が上がってたのでちょっと試してみたときのメモです。 Rをインストール R公式サイトに書かれている通りにインストールします。 ドキュメント：UBUNTU PACKAGES FOR R echo "deb https://cran.rstudio.com/linux/bin/ubuntu trusty/" sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E084DAB9 sudo apt update sudo apt install r-base RStudio Serverをインストール RStudio公式サイトに書かれている通りにインストールします。 www.rstudio.com sudo apt-get install gdebi-core wget https://downl