はてなブックマーク

概要 Anthropic 社の生成 AI サービスである Claude から Projects という機能が新しく公開されました。今回は、この Projects に特定のライブラリのリファレンスをコンテキストとして入れ、そのリファレンスをもとにこちらの質問に回答できるのかを試してみます。 モチベーション 多くの IT エンジニアがコーディング作業で ChatGPT や Claude , Gemini などの生成 AI を活用しているかと思いますが、 新しくリリースされたライブラリやリポジトリを利用する場合、生成 AI に質問をしても適切に回答してくれないことが多いです。また、活発に開発が行われているライブラリの場合、生成 AI に質問をしても回答内容が最新のものではないということも多々起こります。 このような場合に、新機能である Projects にライブラリのリファレンスの情報を与え、質

新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。

はじめに どうもこんにちは。kunishouです。2023年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 今年も昨年と同様、仕事も勉強もしなくていい日が数日続き、すでにソワソワしてきました。というわけで毎年恒例の（と言いつつ今年で2回目の） Python / データ分析関連の人気 Qiita 記事 150選を今年も投稿することにしました！本記事では、2023年にQiitaに投稿された Python/データ分析関連の記事の中からいいね数の多かった150記事をピックアップし表にまとめました。 年末年始の空いている時間に、本記事で2023年のPython/データ分析関連のトレンドを振り返っていただけたら幸いです。 昨年の記事はこちら モチベーション Qiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

※ 本題から逸れますが本日、OpneAssistant/oasst2 を日本語に翻訳した oasst2-135k-ja を公開しました。こちらのデータセットも LLM 開発にぜひご活用下さい。 kunishou/oasst2-135k-ja はじめに どうもこんにちは、kunishouです。本記事は LLM Advent Calendar 2023 25日目の記事になります。今回企画させていただいたこの LLM アドカレ 2023 もついに最終日になりましたが、無事に期日までに記事をまとめることができ、ほっとしています。アドカレ最終日ということで気合を入れて書いたため長文ですが、有益な内容になっていると思うので是非最後まで読んでいただけると幸いです。 本記事について 本記事は LLM 向けのオリジナル Instruction データセット作成にチャレンジしてみた話になります。記事では、取り

LLM Advent Calendar 2023について こんにちは、LLM Advent Calendar 2023を企画しましたkunishouです。今年も気づけばあっという間に12月ですが皆さんいかがお過ごしでしょうか？ちょうど1年と1日前の2022年11月30日にChatGPTが世界に公開されたのは記憶に新しいですが、それを皮切りに世の中の機械学習／自然言語処理周りの技術トレンドも大きく変化した1年だったと感じました。私はちょうど1年ほど前に「オープンソースAIを用いた音声対話ロボットの作成」というBERTと音声対話する内容の記事を投稿しましたが1年経ち改めて読み返すとかなり陳腐な内容に見えてしまい、技術の進歩の速さに非常に驚いています。実際、技術の進歩は早く、この1年はLLM（Large Language Model）に関連する新しい技術や日本語対応したLLMが日々公開され、常に

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 はじめに どうもこんにちは、kunishouです。 この度、PythonライブラリであるPolarsを効率的に学ぶためのコンテンツとして 「Python初学者のためのPolars100本ノック」 を作成したので公開します。こちらは2020年9月に公開した「Python初学者のためのpandas100本ノック」の問題内容をPolarsのメソッドに合わせて修正、再編したものになります。本コンテン

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

はじめに どうもこんにちは。ヤフー株式会社のkunishouです。気づけば2022年も残り3週間、皆様いかがお過ごしでしょうか？ 今年の機械学習のトレンドと言えば、海外のAI企業から次々とオープンソースのAIが発表されたことが非常に印象的でした。画像生成分野ではStability AI社の「Stable Diffusion」、音声認識分野ではOpenAI社の「Whisper」などが発表されました。発表されたこれらのAIは非常に高機能であるにも関わらず、オープンソースのAIとして、自由に利用することができます。 今回、 クリスマスも近いということなのでこれらの高機能なAIを活用して何か面白い物を作ることはできないか と考え、物理的に言葉を投げかけると返事が返ってくるような音声対話ロボットを作ってみることにしました（ クリスマスにしゃべる相手がいないからというわけでは決してありません ）。 目

はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggleに取り組んできたり、Stable Diffusionなどでイラスト自動生成の実験をしてきた多くの方々から悲痛な声が聞こえてきました。そこで、本記事では 『Paperspace Gradient』というGoogle Colabに類似したクラウドGPU開発環境を定額で利用できるサービス を見つけたので、このサービスの詳細や使い方、使ってみた感想を紹介したいと思います。また、Paperspace Gradientはストレージ容量が少ない（Growthプランで50GB）という欠点がありますが、これをカバーする手段として インスタンス

はじめに 筆者は先月まで通信会社で働いていましたが、無事に転職活動を成功させ、12月からネット広告会社のデータアナリストとして働くことになりました。今回は転職活動を通じて感じていた、**「模擬面接サービスがあったらいいのに」**という思いをアプリにしてみました。百聞は一見にしかずですので、初めに模擬面接アプリのURLとデモ動画を貼っておきます。 模擬面接100本ノック （PC閲覧推奨、スマホからだと音声が出ません） 作成の動機 一般的に転職活動では、自分がこれまでどういった業務を経験してきたか、どういうスタンスで業務に取り組んできたを面接官に分かりやすく伝えることがとても重要になってくるかと思います。そのため、転職志望者は徹底的に自己分析をし、面接の練習をしたりするかと思いますが、**私はわりと物事をじっくり考えるタイプで、質問に対して即座に回答するような瞬発力があまりないため、面接がとに

はじめに この記事では、PythonモジュールのひとつであるPyInstallerを用いたPythonスクリプトのexe化方法および各種エラー対処方法について説明します。PyInstallerでexe化することで、Pythonをインストールしていない環境においてもPythonスクリプトを実行させることができるようになります。業務においてちょっとしたツールを作成しチームメンバーに配布したり、Tkinterと組み合わせてGUIを実装すれば、スタンドアロンで動くデスクトップアプリケーション（前回記事を参考）を作成することも可能です。 目次 はじめに 作成の動機 PyInstallerとは exe化の一連の流れ 1.仮想環境作成 2.PyInstaller実行 3.exeファイルの軽量化 4.各種エラー対処方法 その他 注意点 最後に 作成の動機 PyInstallerに関する記事についてはQii

Python未導入環境においてPandasGUIとpandas-profilingを使用可能なEDAツール『Pandas Anywhere』を作ってみたPythonpandasデータ分析TkinterPyInstaller はじめに この度、PythonライブラリであるPandasGUIとpandas-profilingを、Pythonをインストールしていない環境においても使用できるEDAツール**『Pandas Anywhere』**を作成したので公開します。本ツールを使用することで、誰でもどこでも簡易にビッグデータ※の分析が可能となります。 ※本記事でいうビッグデータとはMicrosoft ExcelやAccessで扱うのが困難な大容量データを指します。 作成の動機 前回書いた記事「Python初学者のためのPandas100本ノック」では、知り合いにPython・機械学習を始める人が

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして