Azure Machine Learning アップデートセミナー 20191127
•
6 likes•1,172 views
Azure Machine Learning Update Seminar Ignite 2019
![主要な深層学習・機械学習ライブラリの抽象化クラス
from azureml.train.estimator import Estimator
script_params = { ‘--learning-rate’: 0.3, '--regularization': 0.8 }
est = Estimator(source_directory=script_folder,
script_params=script_params,
compute_target=compute_target,
entry_script='train.py’,
conda_packages=['scikit-learn'])](https://image.slidesharecdn.com/azuremlserviceigniteupdatev1-191127063328/85/Azure-Machine-Learning-20191127-39-320.jpg)
Azure Machine Learning アップデートセミナー 20191127
- 4. Machine learning AI apps and agentsKnowledge mining
- 5. 以前 現在
- 6. Only a small fraction of real-world ML systems is composed of the ML code, as shown by the small blue box in the middle. The required surrounding infrastructure is vast and complex. ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015
- 7. データの取得 ビジネス要件の確認 モデル学習 (PoC) モデル開発 デプロイ (Cloud, Edge) データ、モデル、システムの監視 モデルの再学習・再作成 Code & Data テスト モデル学習 (再現) モデルのパッケージ化 ML 運用管理実験 プロセスをなるべく早く回していく必要がある Dev Ops
- 9. 企業における機械学習プロジェクトを支えるプラットフォーム インフラ管理 スケジューリング、オートスケール、バックアップ データセット管理 プロファイル、バージョン、ラベリング、ドリフト検知 推論環境 (Cloud & Edge) リアルタイム & バッチ、No Code Deploy 分析機能 機械学習、深層学習、強化学習 (private preview) (Python & R SDK、 Estimator、 自動チューニング) モデル管理 バージョン 実験管理 メトリック、ログ、履歴 民主化 AutoML、 Designer、 Azure ML studio エンタープライズ対応 セキュリティ、ガバナンス、モニタリング、モデル解釈 MLOps 再現性、自動化、Azure DevOps連携、CLI、REST IoT エッジ セキュリティ、管理、デプロイ 機械学習モデル Power BI Data warehouses ONNX + App データソース ライブラリ 開発ツール
- 13. 1. Automated Machine Learning 2. Azure Machine Learning Designer 3. Azure ML Python & R SDK For All Skill Level 誰でも利用できる機械学習プラットフォーム
- 14. ml.azure.com
- 15. データ ゴール設定 制約条件 Input ベイズ最適化 + 協調フィルタリングを用いた 効率的な機械学習パイプラインの探索 Optimized model 機械学習のプロセスを全自動で構築する最新アプローチ Output
- 16. Automated ML 対応アルゴリズムの拡充 ※ 参考 : 時系列予測モデルを自動トレーニングする https://docs.microsoft.com/ja-JP/azure/machine-learning/service/how-to-auto-train-forecast
- 18. 機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー • 直感的なマウス操作によるパイプライン構築 • 特徴量エンジニアリング • モデル学習 (回帰、分類、クラスタリング) • 推論 (リアルタイム & バッチ推論) • カスタムモデル・スクリプト (Python, R) # 従来の Azure Machine Learning Studio (Classic) の最新版
- 21. Python & R SDK による分析業務の生産性の向上 クラウドの便利な機能を享受し、分析作業を劇的に効率化 ✓ Prepare Data ✓ Build Models ✓ Train Models ✓ Manage Models ✓ Track Experiments ✓ Deploy Models Preview
- 22. - 実験管理 (ログ、メトリック記録、履歴) - 大規模なRの機械学習モデリング - ハイパーパラメータチューニング - データセット管理、モデル管理 - Kubernetes へのデプロイ
- 24. ジョブマネージャー Azure Container Registry Dockerイメージ 実行環境 Machine Learning Compute ※ 同じ構成であれば既存の Dockerイメージを利用 作成※ Notebook VM (Compute Instance) ハイパーパラメータチューニング 分散深層学習(Horovod etc) 自動機械学習
- 25. • 様々なスペックのVMを選択・起動 • 自動スケールアウト・ダウン • ジョブ管理、スケジュール管理 学習コード train train train ジョブ・スケジュール管理 • 自動でライブラリ・データを準備 ・・・ • 低優先度オプション : 80%割引 で利用可能 マネージドな機械学習環境
- 27. Worker 1 Worker 2 Worker 3 Worker 4 パラメータ#1 パラメータ#2 0.71 0.98 0.83 0.79 Best !
- 30. エンドーツーエンドの機械学習ライフサイクルを実現 データサイエンティスト IT & App エンジニア Model reproducibility Model retrainingModel deploymentModel validation
- 31. アプリケーション開発のライフサイクルをサポートする Azure DevOps と連携することで、 効率的な機械学習プロジェクトが実現可能に Azure Machine Learning Azure DevOps モデル学習 & デプロイのトレーサビリティ 機械学習モデルの再現性 機械学習のライフサイクルの自動化 Data scientist と IT & App Engineer とのコラボレーション
- 32. Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Deploy model Monitor model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Retrain model Azure Machine Learning extension for Azure DevOps Data (Model) Code 機械学習はコードのみならずデータやモデルを管理する仕組みが必要。再現可能な環境を整えて おくことで、モデルのライフサイクルを継続的に回すことができる。
- 33. Data Model (精度・バージョン) ML System 前処理 machine learning アルゴリズム & ハイパーパラメータ operations 推論スクリプト Pythonパッケージ情報 Data Scientist System & App Engineer モデルが公開されるまでの履歴・ログをトレースできる仕組み
- 38. オープンなテクノロジーを採用し、生産性を向上 フレームワーク開発ツール 言語 SDK LightGBM Preview 連携可能な プラットフォーム & サービス ONNX Notebook
- 39. 主要な深層学習・機械学習ライブラリの抽象化クラス from azureml.train.estimator import Estimator script_params = { ‘--learning-rate’: 0.3, '--regularization': 0.8 } est = Estimator(source_directory=script_folder, script_params=script_params, compute_target=compute_target, entry_script='train.py’, conda_packages=['scikit-learn'])
- 40. LightGBM Horovod https://docs.microsoft.com/ja-JP/azure/machine-learning/service/how-to-train-ml-models 参考：Azure Machine Learning で Estimator を使用してモデルをトレーニングする
- 43. 推論用Dockerイメージを簡単にデプロイ Web service IoT Module Azure IoT Edge Azure Container Instances Azure Kubernetes service FPGA Azure Data Box Edge
- 44. 機械学習フレームワーク ONNX Microsoft と Facebook で立ち上げたコミュニティ。 現在は数多くのテクノロジー企業が参画している。 業界標準の機械学習モデルフォーマット
- 45. Frameworks Azure Machine Learning Operations Services オンプレミス Azure Machine Learning Ubuntu VM Windows Server 2019 VM Azure Custom Vision Service ONNX Model アプリケーション(C#, C, Javascript) エッジ & IoT デバイズ ONNX Runtime is open source ML.NET Automated Machine Learning
- 49. Microsoft Azure Azure StorageService Endpoint AML Compute AML Service Customer VNet Compute Instance Azure Key Vault Service Tags AKS Cluster On-premises VPN Gateway Express Route ExpressRoute public peering or Internet Access through NAT IPs Customer VNet
- 50. Model Interpretability & fairness モデル解釈可能性 Model Interpretability 公平性 Fairness
- 51. データ探索 変数の重要度 (グローバルな解釈) 各予測値に対する説明 (ローカルな解釈) 特徴量の影響度 https://docs.microsoft.com/en- US/azure/machine-learning/service/machine- learning-interpretability-explainability Model interpretability with Azure Machine Learning service
- 55. Ingest Store Prep & train Model & serve Azure Blob Storage Logs (unstructured) Azure Data Factory Microsoft Azure also supports other Big Data services like Azure HDInsight and Azure Data Lake to allow customers to tailor the above architecture to meet their unique needs. Media (unstructured) Files (unstructured) Polybase Business/custom apps (structured) Azure SQL Data Warehouse Azure Analysis Services Power BI Azure ML Azure DevOps Azure Databricks
- 56. Azure 無償トライアル : http://aka.ms/amlfree ドキュメント : http://aka.ms/azureml-ja-docs Microsoft Learn ：https://aka.ms/mslearn-aml
- 57. Open Source Repo Link Azure ML Notebook Examples Azure Machine Learning 公式サンプルコード https://aka.ms/ml-notebooks BERT Large 自然言語モデル BERT のサンプルコード http://aka.ms/azure-bert Microsoft Recommenders レコメンデーション サンプルコード http://aka.ms/recommenders LightGBM LightGBM トップページ https://aka.ms/lightgbm Natural Language Recipies 自然言語 サンプルコード https://aka.ms/nlp-recipes ONNX ONNX トップページ https://aka.ms/onnx ONNX RT ONNX Runtimeトップページ https://aka.ms/onnx-rt Kubeflow & MLOps Kubeflow + Azure ML + DevOps サンプル コード https://aka.ms/kubeflow-and-mlops Azure Open Datasets Azure Open Datasets Webページ https://aka.ms/azure-open-datasets Azure ML Free Trial Azure フリートライアル https://aka.ms/amlfree Azure ML Docs Azure Machine Learning ドキュメント https://aka.ms/azureml-ja-docs
- 59. MICROSOFT CONFIDENTIAL 本資料は情報提供のみを目的としており、本資料に記載されている情報は、本資料作成時点でのマイクロソフトの見解を示し たものです。状況等の変化により、内容は変更される場合があります。本資料に表記されている内容（提示されている条件等 を含みます）は、貴社との有効な契約を通じて決定されます。それまでは、正式に確定するものではありません。従って、本資 料の記載内容とは異なる場合があります。また、本資料に記載されている価格はいずれも、別段の表記がない限り、参考価 格となります。貴社の最終的な購入価格は、貴社のリセラー様により決定されます。マイクロソフトは、本資料の情報に対して 明示的、黙示的または法的な、いかなる保証も行いません。 © 2019 Microsoft Corporation. All rights reserved.