python
日本食品標準成分表の前処理 このサイトに公開されている 日本食品標準成分表はPDFもしくはExcel 形式で公開しているのですが，分析者はもちろんPDFを選ぶわけなくExcelにせざるおえないのですが，これがまぁ大変． 大変な点１：列結合でバラバラ - エクセル…
2023/11/7のOpenAI Developer Day keynoteでgpt-4Turbo・GPTsなどが取り沙汰されていたが，前から話題だった画像理解のAPIもきていたので使ってみた． 以下が公式URL platform.openai.com コード 画像URLを指定して，その表示＋説明文生成です．ColabなりJup…
主にPandasを利用時 エラー状況 - 保存する時にはnanがない 例えば以下で集計 df.isnull().sum() このときは全て０になる ただ読み込んで同じコードを書くと数が増える． おそらくの原因 文字列 nan が含まれている！ そのときは以下のようにread_csvの引数…
背景 既存モデルのLossをマルチラベルに対応できるように改良していたときに以下で詰まっていた． lement 0 of tensors does not require grad and does not have a grad_fn やりたいこととしては多クラス分類→多ラベル分類． そのときに元々あったLossであ…
Gensim のword2vec型の語彙一覧を見る方法について ベクトルを得る方法は色々あるが，そもそもキーがあるかどうかがわからないとエラーが出るので，語彙一覧は見たい所． 以前のバージョンでは以下で取得できたようだが，4.0.0で仕様が変更． from gensim.mo…
MathJax.Hub.Config({ tex2jax: { inlineMath: [['$', '$'] ], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); 食材をベクトル化する研究を紹介． 論文理解の助けになれば幸い． FlavorGraphとは 食材と化合物を同じグラフ上で表現し，異種グラフ特化型…
MathJax.Hub.Config({ tex2jax: { inlineMath: [['$', '$'] ], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); sklearn.metricsでNMIを計算する． NMIは正規化相互情報量で２つのデータ群の分布の一致度を見ることができる． （自分が見たのはクラスタ…
