Kubeflow

こんにちは、データチームの@masaki925 です。 昨年末にMLOps に関する記事を書きました。 quipper.hatenablog.com 今回はその続編で、レコメンドシステムのJenkins 部分をAI Platform Pipeline (以下AIP Pipeline) に置き換えた話です。 昨今では国内でもKubeflow Pipeline (以下KFP) 系の導入事例がいくつか出ており、特にZOZOテクノロジーズさんの記事は大変参考にさせていただきました。 techblog.zozo.com 今回の話では、まだまだパイプラインを使いこなすところまでは至っていないですが、 最初…

はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課…

こんにちは、マイクロアド機械学習エンジニアチームの河本（@nnkkmto）です。今回、モデル学習における課題解決に向けて GCP における機械学習基盤に AI Platform Pipelines (Kubeflow Pipelines) を導入しました。今回はその内容について紹介します。 従来の方法 抱えていた課題 手段：AI Platform Pipelines 導入時の方向性 導入内容 実行処理 CI / CD 終わりに 参考 従来の方法 マイクロアドでは学習実行基盤として GCP (Google Cloud Platform) を採用しています。 定期的な学習が必要な推論モデルは、 A…

こんにちは、Docker の申し子 小倉です。 この記事は、株式会社アトラエアドベントカレンダー2020年 24日目の記事です。昨日の記事は@Tech-makoton のキャッシュについて、わかりやすくまとめてみた でした。 今回は Google Cloud Platform のサービスである AI Platform Pipelines をパイプラインツールとして選定した理由と、実際に運用した上での所感について書いていきます。 パイプラインツール利用の背景 弊社では wevox という SaaS を提供しています。システムとしては組織の各従業員に配布したサーベイの回答結果を集計・分析した上でサ…

Serverless Meetup Osaka #02 serverless.connpass.com サーバーレスなイベントだけど、やっぱり流行りの生成AIは外せないですね！ MS -> AWS -> GCP な発表の流れがよかった。 あと最後のLTが草しか生えなかったｗ セッション サーバーレスの哲学を生成AIへ Konishi Hirokiさん サーバーレスの価値 コアロジックに集中できる、調達時間短縮、従量課金、コスパ 2023年生成AI元年、第4次AIブーム 経済的なポテンシャルがある 認知的作業の生産性改善できる ChatGPT以外はあまり知られてない テキスト生成が大半 Slac…

※ 掲載内容は寄稿日現在の情報です。現在も本記事の職種が同条件で募集されているかどうかは要確認 はじめに 株式会社エニグモが運営する「BUYMA（バイマ）」は、国内最大規模のソーシャルショッピングサイトとして知られています。今回、同社がシニアデータサイエンティストを募集しているという情報を入手しました。この求人は、BUYMAのサービスをAIベースへと進化させる重要な役割を担う人材を求めるものです。 BUYMAとは？エニグモの革新的なビジネスモデル BUYMAは、世界178ヶ国に1100万人を超える会員を持つ、グローバルなCtoC×越境ECプラットフォームです。22万人のパーソナルショッパー（出…

こんにちは，コミューンで機械学習エンジニアとして働いている柏木（@asteriam_fp）です． 最近は，鬼滅の刃の柱稽古編が毎週日曜日に放送されていて，それを見て楽しんだ勢いで月曜日からの仕事も勤しんでいます！（無限城編も楽しみです）

はじめに こんにちは。マイクロアドで機械学習エンジニアをしている天野です。 マイクロアドの機械学習チームでは、機械学習関連のバッチ実行にVertex AI PipelinesというGoogle Cloud Platformが提供するマネージドのワークフロー実行サービスを利用しています。 利用を始めたのは昨年からで準備バッチのリプレースを進めている段階なのですが、componentsやpipelinesが正常に動作するかの検証、componentsを実行するDocker imageのBuildやPushなどの処理を効率的に行えていなく、移行に時間がかかっているという課題がありました。 これらの課…

Serverless security like a pro（Google Cloud Next '24セッションレポート） - G-gen Tech Blog コンテナのセキュリティアップデートを自動でやってくれるようになる機能は初耳。これはさすがにありがたいな クラウド費用のコスト削減を試みたけど失敗した話 - Inside of LOVOT 新たな Cloud Storage オペレーションの被害者が生まれてしまったか 設計って技術的にも大変だけど組織的な大変さもあるよねという話 - Uzabase for Engineers ドキュメントがない(E2Eテストで動作するかどうかは担保して…

MLOps: Continuous Delivery for Machine Learning on AWS AWSが2020年12月に公開した、AWSでMLOpsを実践するためのホワイトペーパーです。 MLOps: Continuous Delivery for Machine Learning on AWS 機械学習システムを運用するための要素、MLOpsと関連するAWSサービス機能の説明が書かれています。 前半のIntroductionの章はMLOps全般に関わる概念的な内容です。 Alteryx・Dataiku・Domino Data Lab・KNIMEの章はツール紹介に近い内容となっ…

はじめに バーン！ nikkieです。 小さなネタではあるのですが、アハ体験があったので記します。 目次 はじめに 目次 「Kubeflow Pipelines v2 で変わる機械学習パイプライン開発」 Hello Worldを試す 見事な整理 残された宿題 終わりに 「Kubeflow Pipelines v2 で変わる機械学習パイプライン開発」 2024/03/20 第39回 MLOps 勉強会の資料を後追いしていました。 杉山さんがKubeflow Pipelines v2の発表をされていて、その中で目を引いたのがこちら 至るまでの流れとしては 用語解説（後述） DSLを書いてみよう（K…

Kubeflow on NKE の手順に沿って構築した Kubeflow 環境では、Kubeflow UI を利用するユーザの Profile を手動で作成する必要があります。 Install Kubeflow | Kubeflow on NKE 今回は、Kubeflow UI にユーザがログインした際に、Profile が自動作成されるように設定を変更してみます。 今回の前提 centraldashboard Deployment の設定変更 Kubeflow UI へのログイン → Profile 自動作成 Profile の削除

Nutanix Kubernetes Engine（NKE）の Kubernetes クラスタに、Kubeflow をインストールしてみます。 下記のサイトが参考になります。 https://nutanix.github.io/kubeflow-manifests/docs/install-kubeflow/ 今回の内容です。 今回の環境 1. 前提ソフトウェアのインストール 1-1. RPM のインストール 1-2. CLI インストール ディレクトリの作成 1-3. kubectl のインストール 1-4. kustomize のインストール 2. kubectl の準備 3. Metal…

はじめに AI Team MLOps Engineer の西原です。前回は kubeflow pipeline(kfp)のローカル環境での実行について Tech Blog を書きました。kfp は 2024 年に入ってからローカル環境の実行以外にも嬉しいアップデートがあったのでそれに少し絡めて今回の取り組みを紹介しようと思います。 今回の取り組みは、モノレポで使っている Python の最低バージョンを 3.9 から 3.11 に上げるというものです。なぜ、バージョンを上げたのか、上げる際の障壁とその対応を紹介しようと思います。 はじめに なぜ Python バージョンを上げたのか パッケージ…

こんにちは。 バクラク事業部、機械学習チームでテックリードをしている島越@shimacosです。 今年になってギックリ腰になってしまい、整体とパーソナルジムに通い始めました。 チームメンバーには島腰といじられています。健康体になりたい。 はじめに Vertex AI Pipelinesについて デプロイ方針 落とし穴 辛い部分 最後に はじめに 機械学習チームでは、機械学習パイプラインの作成と定期実行サービスにGoogle Cloud Platform(GCP)のVertex AI Pipelinesを採用しています。 前回までの軌跡はこちらで紹介しています。 tech.layerx.co.j…