[B! pandas] Pandasのメモリ削減方法を整理した - Taste of Tech Topics

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

テクノロジーカテゴリーの変更を依頼記事元:

acro-engineer.hatenablog.com

144 usersがブックマークコメント

コメント

2

記事へのコメント2件

注目コメント
新着コメント

misshiki “Pandasで巨大なデータを扱うためのメモリ削減の方法に関して紹介”

Python

2022/12/13 リンク

y-mat2006 あとで読むつもりだけど、積読になってしまうかも。

2022/12/13 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

Pandasのメモリ削減方法を整理した - Taste of Tech Topics

皆さんこんにちは機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生... 皆さんこんにちは機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。有名なものからマイナーなものまで、思いつく限り書いてみます。そもそもなぜ、Pandasのメモリ削減技術が必要なのか準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す番外編：そもそもPandasを利用しない最後にそもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL

ブックマークしたユーザー

tlo_oly2023/12/27
techtech05212023/08/14
heatman2023/01/11
shogochiba2022/12/23
tnakamura342022/12/23
poad10102022/12/17
omochiya2022/12/15
masadream2022/12/15
midas365452022/12/15
statsuo2022/12/14
nharuki2022/12/14
Ryotai2022/12/14
tasukuchan2022/12/14
wonder-wall2022/12/13
yoota1142022/12/13
misshiki2022/12/13
soy-curd2022/12/13
lexiko2022/12/13

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx