pandas

pythonのpandasでcsvを開いて、条件を満たす行に加工をする + ある行をファイル末尾にコピーして追記したいpandasというのを使うのは初めてだった ・勝手にindexという列ができていたり、そのindexは加工不可だったりで色々と大変だった・・・ ・astropyの単位みたいに、printしたら勝手にヘッダーにあるkeyも表示されてたりしてその対処が必要 ・ある列、ある行の要素を取り出すのに、リストみたいに通し番号で指定できるのかと思ったらそれはできなかった・・・ ilocといかいうのを使う必要がある import pandas as pd df = pd.read_csv('h…

■ Python ３ Pythonの基本構文もおいおいやっていくとして、今回は、データ分析で有用なパッケージである「pandasパッケージ」を使用してみます。 ■ pandasパッケージのインポート 早速、Jupyter Notebookを開き、pandasパッケージのインポートと、Series型を使ったデータを作成して、表示されてみようとすると… 「ModuleNotFoundError」でエラー。 pandasというモジュールが見つからないと言われました。 確かに、今回の環境にはまだ Python本体を入れただけで、サードパーティパッケージは一つも入れていなかったので、そりゃそうですね。 …

ツールのインポート（読み込み） 欠損値の発見・削除 時系列データの場合 ソート データ分析の一連の作業でいちばん時間がかかるのがデータの分析時間ではなくデータの前処理なのです。 データの欠損値や重複データの処理、平均・集計など重要な作業を必要とします。 これらを効率的に行うことで、データ分析の業務効率化はぐっと上がります。 データ分析で使うツールはいろいろありますが、データの前処理で使用するライブラリツールとして最も使われているのはPandasです。 Pandasの使い方の資料はたくさんありますが、データの前処理に特化した資料が少なかったのでまとめておきます。 ツールのインポート（読み込み） …

■ Python ３ エンジニア認定データ分析試験 先月、『Python ３ エンジニア基礎試験』を受けました。 coublood.hatenablog.com Pythonの自己啓発は継続で、色々とやっていますが、次は「データ分析試験」なるものが行けそうなので、そちらを受けてきました。 「Python３エンジニア認定データ分析試験」は… 線形代数 確率と統計 Pythonのパッケージの知識（NumPy, pandas, Matplotlib, scikit-learnなど） とあたりが主な内容のようで、特に「NumPy」「pandas」「Matplitlib」あたりは、便利なのでちょうど良さ…

備忘録です。 以下のように簡単にMarkdownに起こすことが出来ます。 テキストファイルに出力してもいいですね。 import pandas as pd df = pd.read_excel('Excelファイル.xlsx', sheet_name='Sheet1', usecols='A:D', nrows=16) markdown_table = df.to_markdown(index=False) print(markdown_table) 使うためには pandas と tabulate というパッケージをインストールする必要があります。 pip install pandas pi…

ランキング参加中Python 背景 Python高速化のテクニック、ベクトル志向演算でどれだけ高速ができるか検証してみました。 高速化の題材は、for文ループを用いて、どれだけ差がでるかを検証してみました。 Python高速化については、以下を参照してください。 www.yuta-nakata.net やってみた テーマ設定 10万行のデータに対して、①２倍して②10引いて③半分にします 手法１ 各行ごとに計算を実行します。 STEP = 100000 def method1(): df = pd.DataFrame() df['A'] = np.arange(STEP) for i in r…

方法 print(df[['a', 'b']]) 解説 df['a']で取得できるのはSeriesオブジェクトである。 一方、df'a', 'b'で取得できるのはDataFrameオブジェクトである。 Seriesオブジェクトは、単一の列は表現できるが、複数列は表現できない。 そのため、df['a', 'b']と定義してもエラーになってしまう。 なお、単一列はDataFrameオブジェクトは定義可能である。 単一列をDataFrameオブジェクトで取得したい場合は、df'a',と定義すれば良い。 改訂新版 前処理大全〜SQL/pandas/Polars実践テクニック作者:本橋 智光,橋本 秀太…

業務で機械学習エンジニアの方と協業する機会が出てきたので、機械学習の基礎知識を身につけるためにKaggleに登録し、チュートリアルのコードを使って「Titanic - Machine Learning from Disaster」の提出まで行いました。

Google Colabの料金体系と活用方法：完全ガイド はじめに Google Colaboratory（以下、Google Colab）は、プログラミングや機械学習の学習・開発を劇的に効率化するクラウドベースの開発環境です。本記事では、Google Colabの特徴や料金体系、具体的な活用方法について詳しく解説します。 Google Colabの主な特徴 ブラウザ上で即座にPython開発環境が利用可能 無料でGPUやTPUが使用できる 環境構築が不要で、すぐに作業開始が可能 主要な機械学習ライブラリが事前にインストール済み 料金プラン別の機能比較 無料プラン 無料プランでも充実した機能が…

初めに 開発環境 セットアップ 推論 requirements.txt 初めに text to audioがいろいろある中で出てきた AudioLDMというCLAPを使って音声を生成するモデルを触ってみます github.com 開発環境 uv python 3.8 windows 11(powershell) セットアップ まずは公式がconda 3.8を指定しているので、uv でpython=3.8の環境を作ります。 uv venv -p 3.8 .venv\Scripts\activate ライブラリを入れていきます uv pip install audioldm そのままだと実行すると…

Windows 365 Link発表 AIエンジニア安野貴博氏の東京都知事選立候補と都アドバイザー就任 テスラ車のAIによる標識誤認識 Googleの文書保存文化と訴訟リスク Azure Local発表 CSS width属性の代替手段stretchキーワード NVIDIAの台湾依存と地政学的リスク Cygamesの生成AI活用法 MacBook Pro 14インチ(M4 Max搭載)購入レビュー Amazon Aurora Serverless v2のスケーリング機能強化 生成AIとエンジニアの未来 LaravelとOSSのコードリーディング FreeCADバージョン1.0リリース Aivi…

ソフトウェア開発の技術トレンドは移り変わっていきますが、数年前から急激に盛り上がってエンジニアリング環境を変化させた生成AIのトレンドもひと段落し、今年は落ち着いて技術の基本をしっかりと時間をかけて学ぶのにちょうどよいタイミングかもしれません。 オンライン学習プラットフォーム「Udemy」が11月29日まで実施するブラックフライデーセールと12月1日・2日のサイバーセールでは、対象講座が1講座1,300円からと通常よりもお得に、気になる講座をまとめて購入できるチャンス！ 時間をかけて取り組みたい技術要素や、これから長く役立つであろう技術領域の講座を厳選してご紹介します。 定番から新作・大作まで…

2回目のデバッグをやったが結果は 前回と同じ内容のエラーメッセージが出た なので、map関数の使い方を改めて学ぶ必要がある。 また、map関数とは別のやり方で文字列を抽出する方法を見つけた 条件を満たす行を抽出する方法(ブーリアンインデックス)の中の==とisin()メソッドを使った手法で 特定の文字列を抽出しそれを置換するというもの def sheet_to_jap(): #シートを読み込み各値を置換する filtered_csv_dir = R'c:\Users\ユーザー名\Desktop\Kicad_create_bom' filtered_csv_filename = 'Solderi…

本ブログの今年夏の記事で「ドルコスト平均法」についてふれました。この方法は市場価格に関わらず一定の周期で定額を同一の資産に投資するものです。最大のメリットは「いつ投資するか」といったタイミングで迷うことがなくなり、投資の心理的負担が軽減されることです。そのため「つみたて投資信託」などこの投資方法に基づく数多くの金融商品があります。 ここでは、例によってMediumの記事から引用しています。紹介するコードは基本的なものですが、ドルコスト平均法を定量的にとらえるのには有用と思われます。 まず、必要なライブラリをインポートします。 import pandas as pd import matplot…

2024年10月25日(金)～27日(日)にインドネシアで開催された PyCon APAC 2024 にバックエンドエンジニアの 松土 慎太郎、陶山 嶺、小門 照太の3名が登壇しました。 tech.revcomm.co.jp 今回はイベントの振り返りとして登壇資料と登壇者の感想を紹介します。 登壇振り返り Empowering your real life with Raspberry Pi 概要: 音声認識及び音声合成を活用して、その日のスケジュールを教えてくれる音声ボットをRaspberry Piによって作ります。初学者の方を対象に、ハンズオン形式でRaspberry Piのパワーを日常生…

コミューン株式会社の土佐（@whale9490）です。 私たちは現在、溜まった技術負債を一掃するため、大規模リファクタリングプロジェクトを進行しています。 大規模リファクタリングを安全かつ高速に行うには、できるだけ網羅的な自動テストがあることが望まれます。私たちのバックエンドコードは、E2Eテスト・APIテスト・ユニットテストなど様々なレイヤのテストを持ってはいましたが、それらいずれも網羅的ではありませんでした。 そこで、APIテストを網羅的に書こう、ということに決まったのですが、すべてのAPI（数百エンドポイントあります）に対して手でテストを書いていると、私たちの望む短期間では到底終わらない…

はじめに Pythonを使った株価データ分析に必要なツール Pythonとライブラリのインストール方法 使用するライブラリの特徴 Pythonでエヌビディアの株価データを取得してみよう 株価データの取得方法 出力例 株価の推移をグラフ化する 株価データの可視化 pandasでデータをさらに詳細に分析 移動平均線の計算とプロット 結果 シンプルな投資シミュレーションを実施 投資シミュレーションのコード 出力例 まとめ はじめに 株式投資に興味があるが、データ分析が難しいと思っていないだろうか？ Pythonを使えば、初心者でも簡単に株価データを取得し、分析やシミュレーションを実施できる。 この記…

私は自宅PCにExcel入れてなくて、でもVBA大好きで、クラウドで使えればいいのにと思っていた。 今日はそれを聞いてみた。タイトルが結論。 chatGPTからのコメント VBAは基本的にMicrosoft Office製品（特にExcel、Wordなど）の内部で動作するスクリプト言語で、ローカル環境で実行することを前提に設計されています。ただし、クラウドで似たような動作を試す方法や代替手段があります。以下にいくつかのアプローチを紹介します。 1. Microsoft Office Online + スクリプトエディタ 概要: Office Onlineはブラウザで利用できるExcelやWor…