awswrangler

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

Yuta NakataのBlog•1年前

LambdaでBoto3/Pandasを使うのをやめて、awswrangler(aws-sdk-pandas)を使いましょう

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) 1. awswranglerってなに？ 2. Boto3/Pandasではなく、awswranglerを使う実践的なコード 2-1. boto3/pandasを使う場合 2-2. awswranglerを使う場合 3. なんでawswrangler？ 4. 参考文献 1. awswranglerってなに？ AWS上でのPandasを拡張したパッケージです。データの読み込み・書き出し等の処理を簡単に提供してくれます。個人的にユースケースとして、使いやすいと感じるのは、 Lambda上でのLaye…

#IT#awswrangler#AWS

関連ブログ

データアナリストくんのblog•2年前

AWS Athenaにawswranglerを用いてテーブルを作成

普段の業務でクラウドサービスとしてAWSを利用しています。データ集計業務や分析ではAthenaというサービスを使ってますが、SQLでは面倒な処理（pivotなど）はPythonでやりたくなります。 PythonからAthena上にテーブルを作る際に便利なpakcage「awswrangler」があるので紹介です！ ※AthenaはGlue Datacatalogを参照してますので、テーブル定義などはDatacatalog側にあります。もしawswranglerがinstallされていない場合はinstallしてください。 (PyPIドキュメント)https://pypi.org/proje…

#Athena#awswrangler#Python#Python備忘録#AWS

ENGINEERING BLOG ドコモ開発者ブログ•2年前

【Python】つまずきながらawswranglerでAthenaにデータ送ってみた

はじめに全体像動作環境 AWS CLI環境設定時のつまずき「C:\Users\ユーザ名」のパスが悪さをする DataFrame取得・加工処理でのつまずき int型のカラムがいつの間にかfloat型に!? Athena(およびawswrangler)作業時のつまずき S3に出力されるparquetファイル名を指定できない間違ったファイルを追加してしまったおわりにおまけ参考にさせていただいたサイトはじめに本記事はNTTドコモ R&D Advent Calendar 2022カレンダー2の20日目の記事になります。株式会社ドコモ・インサイトマーケティングの鈴木(里)です。モバイ…

#awswrangler#Athena#AWS#Python

大食いエンジニア•6ヶ月前

boto3の代わりにawswranglerで効率的にデータフレームを処理

はじめに AWS LambdaでPythonを実行する際、S3バケット上のデータを操作する必要がある場面はよくあります。そこで、S3内のデータにアクセスする手法をGoogleで検索すると、よくboto3というライブラリが目につきます（私はつきました）。しかし、巷ではboto3があまり推奨されないという噂を聞きました。どうやら、boto3には記述法が多いかつコードが長くなるデメリットがあるようです。boto3によるファイルのダウンロード法は多数に渡るため、コードレビューが必要なチーム開発では嫌われるそう。例えば、以下のようなboto3を使用した記述が一般的です。 import boto3 s…

Yuta NakataのBlog•6ヶ月前

プログラミングコードの書き方一つでAWSのクラウドコストは大きく減らせる話【数値計算偏】

ランキング参加中AWS (Amazon Web Services) 背景 AWSを用いた数値計算は往々にして行われているかと思います。計算にあたって、コンピューティングリソースは、EC2、ECS、Lambdaなど様々な選択肢があるかと思います。一方で、数値計算をクラウド環境で行う場合、数値計算を得意とする開発者の技術的素養の背景オンプレからの移植コストなどから、EC2が選択されることが多いかと思います。数値計算などの大規模計算をEC2で行う場合、コスト面での工夫が重要であるという点を本日はお伝えできればと思います。 AWSコストにおける課題 EC2とセットで使われることが多いのが、…

Yuta NakataのBlog•10ヶ月前

Lambdaでサードパーティライブラリを爆速で使う方法

ランキング参加中Python ランキング参加中AWS (Amazon Web Services) やりたいこと AWS Lambdaでサードパーティ製のライブラリを使う方法についてです。今回はPythonを取り上げます。結論公式で出しているレイヤーを使うすでに公開されているレイヤーを使う自作レイヤーを使うのいずれかです。上からの順序で試してみることをオススメします。 1. 公式で出しているレイヤーを使う Pythonでやりたい大体のことは、AWS Wranglerでできます。 ARN一覧表例えば、東京リージョン Python3.10 arm64 としたとき、 arn:aws:l…