「Jupyter」に関連する技術ブログ
企業やコミュニティが発信する「Jupyter」に関連する技術ブログの一覧です。
全61件中 1 - 15件目
Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供を開始
2024/11/07
ブックマーク
11 月 1 日、米国西部 (オレゴン) AWS リージョンで、 Amazon Bedrock における Anthropic の Claude 3 Haiku モデル のファインチューニングの一般提供が開始されることをお知らせします。Amazon Bedrock は、Claude モデルをファインチューニングできる唯一のフルマネージドサービスです。Claude 3 Haiku モデルを独自のタスク固有のトレーニングデータセットでファインチューニングおよびカ
Red Hat OpenShift AIとは？
2024/10/17
ブックマーク
はじめに こんにちは、サイオステクノロジーの小野です。 昨今のAI開発において、便利なプラットフォームが数多く登場していますが、その中でもOpenShift AIに対する需要が高まっていると感じています 。したがってこの度、OpenShift AIの調査検証を行うことになりました。それにつきまして、これからOpenShift AIについての記事を記載します。今回は初回なので、OpenShift AIの
Gitのコミットログから開発属人性を定量化する方法と品質向上への活用事例
2024/09/25
ブックマーク
AI在庫管理の開発チームのバックエンドエンジニアの もっち(@mottyzzz) です。今回は、AI在庫管理の開発において、Gitのコミットログから開発属人性を可視化して品質向上を実施していく箇所の優先順位をつけた事例を紹介します。 この記事は 秋の技術特集 2024 の 16 記事目です。 背景 優先順位をつけて無理なくコツコツ取り組めるアプローチ Gitのコミットログに着目 Git
BigQueryのパーティションフィルタを必須にするとどうなるのか
2024/09/24
ブックマーク
こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキ
Databricksでnotebookのセルの中身を検証する
2024/09/02
ブックマーク
この記事は 秋の技術特集2024 の1記事目です。 背景・目的 我々のチームではDBをホスティングせず、S3上のDatabricksのdeltaテーブルを使って社内プラットフォームのシステムを提供しています データの登録はDatabricksのnotebookを使って行うのですが、それをチーム外のメンバーに利用してもらうにあたり入力バリデーションを行う必要がありました そこで、notebookのセルの中身
Amazon Forecast から Amazon SageMaker Canvas への移行方法
2024/08/01
ブックマーク
本ブログは「 Transition your Amazon Forecast usage to Amazon SageMaker Canvas 」を翻訳したものです。 Amazon Forecast は、統計および機械学習（ML）アルゴリズムを使用して非常に正確な時系列予測を提供するフルマネージドサービスです。2019年8月にリリースされ、 Amazon SageMaker Canvas よりも前に登場しました。Amazon SageMaker Canvasは、時系列予測モデルを含むMLモデルの構築、カスタ
LLM の埋め込み情報ドリフトを Amazon SageMaker JumpStart から監視する
2024/07/05
ブックマーク
本記事は 2024年2月2日に公開された ” Monitor embedding drift for LLMs deployed from Amazon SageMaker JumpStart ” を翻訳したものです。 生成 AI のワークロードで最も有用なアプリケーションパターンの 1 つが Retrieval Augmented Generation (RAG) パターンです。 RAG パターンでは、入力プロンプトに関連する参照コンテンツを探すために、埋め込みベクトル (テキスト文字列の数値表現) に対して類
EKSで生成AIソリューションのデプロイを検証し設定を確認する
2024/07/01
ブックマーク
こんにちは。サイオステクノロジーの塙です。 今回はEKS上でGPUを扱う生成AIソリューションのデプロイを試し、実際にGPUがどう使われてどう見えるのかを検証してみたいと思います。 概要 前回は、Kubernetes をベースとしたプラットフォームでGPUを扱っていくための手法について解説してみました。 KubernetesでGPUを扱うためにはどんな準備が必要となるのか、またどんな設
Amazon SageMaker でのフルマネージド型 MLFlow の一般提供に関するお知らせ
2024/06/28
ブックマーク
6月19日、 Amazon SageMaker でのフルマネージド型 MLflow 機能 の一般提供についてお知らせいたします。 MLflow は広く使用されているオープンソースツールであり、機械学習 (ML) チームが ML ライフサイクル全体を管理する上で重要な役割を果たします。今回の新リリースにより、わずか数ステップで MLflow Tracking Server を簡単にセットアップおよび管理できるようになり、お客様
PySparkを少し触ってみる
2024/06/27
ブックマーク
はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分
対話可能な選択的機械除草ロボットのプロジェクトとさくらの専用サーバの利用について
2024/05/22
ブックマーク
はじめに 2023年度未踏IT人材発掘・育成事業のために、さくらの専用サーバ 高火力シリーズの「NVIDIA V100（64GB）」プランを貸していただいた。プロジェクトのホームページからロボットが動く様子を事前に見てお […]
さくらのクラウド高火力プランでGoogle Colabを使う
2024/04/09
ブックマーク
はじめに さくらのクラウドには、機械学習やディープラーニング(深層学習)に最適なGPUサーバを利用できる「高火力プラン」があります。 本記事では、Googleが提供している開発環境であるGoogle Colaborato […]
spacy-llmで色々なNLPタスクをzero-shotで解いてみる
2024/03/21
ブックマーク
こんにちは AIチームの戸田です 固有表現抽出（NER）や品詞タグ付けなどのNLPタスクを行うためのPythonライブラリに spaCy があります。シンプルなAPIで拡張性も高く、AI ShiftでもプロダクトのNLPロジック部分やデータ分析など多くの場面で利用しています。 そんな非常にお世話になっているspaCyですが、処理パイプラインにLLMを統合できる spacy-llm がリリースされました。今
32,000トークン対応の商用利用可能な日本語チャットモデル CyberAgentLM2 をワンクリックで FineTune とデプロイ
2024/03/07
ブックマーク
生成 AI の発展と共にモデルの規模はどんどん大きくなり、デプロイするためのインフラの選択や設定はますます複雑になっています。 Amazon SageMaker JumpStart は大規模言語モデルを最適な設定、かつワンクリックでデプロイする機能を提供します。 オープンソースコミュニティとの連携を通じ 、AWS はこれまで Meta の Llama2 や TII の Falcon 、 rinna の japanese-gpt-neox などを JumpStart
Vertex AI Workbench を使ってデータの傾向を統計分析で把握する
2023/12/04
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の中村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 本記事では BigQuery および VertexAI Workbench（Python3.10）を使って、データセットの傾向