お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。
9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。

お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

このエントリーをはてなブックマークに追加

Mar

23

MLOps研究会 #2024年3月度

Model Observabilityについて

Organizing : ScrumSign

MLOps研究会 #2024年3月度
Registration info
Start Date
2024/03/23(Sat) 09:30 ~ 12:30
Registration Period

2024/03/08(Fri) 11:25 〜
2024/03/23(Sat) 12:30まで

Location

大阪・新大阪周辺で開催

大阪市中央区

View Map
出席登録
(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

Description

MLOpsについて

MLOpsは、機械学習(ML)と運用(Operations)を組み合わせた造語です。
機械学習モデルの開発から運用までをスムーズに進めるための手法です。 MLOps は、機械学習を取り入れたシステムの開発・運用が普及するにつれて、探索的なモデリング、デプロイ、学習、モデルの管理、モニタリング等を円滑に行い、安定したサービス品質を担保するため、近年注目を集めています。

今回のテーマ

Model Observabilityに関するツールについて概要を理解したり、ツールを実際に触ってみて意見交換を行います。 Model Observabilityに関するツールは概ね以下のような機能を提供しています。

  • ログとモニタリング: 展開された機械学習モデルに関連する主要な指標、イベント、およびシステムの挙動のログ記録とモニタリングを可能にし、モデルのパフォーマンス、リソース使用状況、および予測に関するリアルタイムの可視性を促進します。
  • モデルパフォーマンスの追跡: 正確性、精度、再現率、またはカスタム定義された指標など、時間と共にモデルのパフォーマンスを追跡し分析し、モデルの有効性の包括的なビューを提供します。
  • データドリフトとコンセプトドリフトの検出: 入力データの分布の変化(データドリフト)と入力と出力の関係の変化(コンセプトドリフト)を検出し監視する機能を含め、変化するデータパターンに関連する問題を特定し対処できるようにします。
  • アラートと異常検出: 重要なイベント、パフォーマンスの逸脱、またはモデルの挙動における異常を機械学習エンジニアに通知するためのアラートメカニズムを提供し、タイムリーな対応とトラブルシューティングを可能にします。
  • 可視化とダッシュボード:モデルの挙動、パフォーマンスの傾向、または特徴の重要性の情報豊富でインタラクティブな視覚表現を作成するための可視化機能とカスタマイズ可能なダッシュボードを提供します。
  • モデルデバッグと根本原因分析: モデルのパフォーマンス、予測、または入力データに関連する問題を調査し診断するためのツールを提供し、モデルデバッグと根本原因分析を容易にします。
  • コンプライアンスと規制要件: データプライバシー、説明可能性、公平性など、展開されたモデルが倫理的および法的基準に従うことを保証するためのコンプライアンスと規制要件に対処する機能を提供します。
  • MLワークフローとデプロイメントパイプラインとの統合: 開発ライフサイクルにモデルの可観測性プロセスを組み込むことを可能にし、展開された機械学習モデルの継続的なモニタリングと改善を保証します。

MLOps研究会

MLOpsの最新動向をキャッチアップしたり MLOps関連のサポートツールについて知見を共有したりすることを目指しています。 広い領域に渡るため、研究会形式で学び合うことが大切と考えています。 そのような場となることを目指しています。  

No. 内容
2023/09/23 Google が推奨するMLOps: 機械学習における継続的デリバリーと自動化のパイプラインのレベル0およびレベル1について
2023/10/28 Google が推奨するMLOps: 機械学習における継続的デリバリーと自動化のパイプラインのレベル0およびレベル1の振り返りとレベル2について・MLOpsツール群について俯瞰
2023/11/25 MLOpsツール Feature Storeについて
2023/12/23 MLOpsツール Prefect Airflow について
2024/1/27 MLOpsツール Data quality monitoring tool
2024/2/24 テーマ Model quality testing について
2024/3/23 テーマ Model observability について

研究会会員より
MLOpsについて、知見がある人たちで情報をもちよりながら議論+勉強をしていくのなかなか無い経験で、非常にためになります。今後、勉強と実践をよいバランスで実施して盛り上げて行ければと思います。MLに関わりがある方は是非ご参加ください!

初めてMLOpsに触れましたが、参加者の経験を共有しながら、web上の資料を読むことで、理解が深まりました。次回以降はツールにも触れていくとのことで、この勉強会を通して、MLOpsを体得していきたいです。

MLを継続的に価値を生み続けるものとするためには、一度作ってはい終わり、ではなく、リリース後の更新、改善も視野に入れたシステム設計が必要になると思っています。 もちろんそのこと自体は既存のML以外のシステムにも共通しますが、対象(データ)の変化の影響を強く受けるMLならではの事情を考慮した考え方やベストプラクティスをこの勉強会での議論を通じて身につけていけたらと思っています。

終了後のランチ

終了後、会場周辺でランチを食べにいきます。
参加は任意となります。

対象者

機械学習エンジニア
データサイエンティスト
分析基盤開発
データエンジニア
Math & Coding コアメンバー
情報系の学生・研究者
機械学習プロジェクトの責任者
これから上記を目指される方

禁止事項

勧誘・リクルートや宣伝目的での参加はご遠慮いただいております。

Math & Codingとは

機械学習の実務者・研究者が、互いに学び研鑽するようなコミュニティとなることを目指します。

◆groupページ
https://www.facebook.com/groups/284004485439214/

◆過去のイベント スクラムサインのコミュニティーページ
https://scrumsign.com/community/

MLOps研究会 一回あたり参加費

1000円

MLOps研究会 参加申し込み

研究会参加申請フォームよりお願いしております。

ご質問・お問い合わせ

info@scrumsign.com
本研究会ご関心ある方はお気軽にお問い合わせください。

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

TomokazuKitamura

TomokazuKitamura published MLOps研究会 #2024年3月度.

03/08/2024 11:25

MLOps研究会 #2024年3月度 を公開しました!

Ended

2024/03/23(Sat)

09:30
12:30

Registration Period
2024/03/08(Fri) 11:25 〜
2024/03/23(Sat) 12:30

Location

大阪・新大阪周辺で開催

大阪市中央区