YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
•Download as PPTX, PDF•
4 likes•2,485 views
Yahoo! JAPAN Tech Conference 2018 D-4 セッションのスライドです。
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
- 2. 自己紹介 • 田頭 幸浩（たがみ ゆきひろ） • 機械学習技術の実サービス適用 およびそのための技術開発
- 3. 取り組む問題とその背景
- 7. よく用いられるシステム構成の課題 • 2段階の最適化で、精度と速度を担保しているので、 どちらの点でもベストとは言えない レコメンドモデルの学習 検索インデックスの構築 高速な応答が可能な レコメンドエンジン 最適化1（精度） 最適化2（速度）
- 10. Extreme Multi-label分類 • Extreme multi-label分類は、膨大な候補の中から 当てはまるものを選択する問題 • レコメンデーションやランキングもこの問題と見なすことができる ので、以降はレコメンデーションの例で説明 • Machine learning • Cybernetics • Learning 例：Wikipediaのページにカテゴリを付与 数十万の候補
- 11. AnnexML • AnnexMLはk近傍法によるextreme multi-label分類器 • Approximate Nearest Neighbor Search for Extreme Multi-label Classification 探索 レコメンド対象の ユーザー 興味が既知のユーザーの中で 行動履歴が似ているユーザー（k=3の例） 推定
- 14. AnnexMLの構造 • Coarse Partitionerを用いて クエリが含まれるpartitionを判定 • Treeインデックスを用いて 近似的に近傍点を獲得 • Graphインデックスを用いて 近似精度を高める（局所探索） Coarse Partitioner Tree Graph Tree Graph Tree Graph
- 16. 学習方法の概要 • Coarse Partitionerの学習 • 興味が似たユーザーが同じpartitionに入るようにしたい • 特徴量空間上でのグラフカット問題として定式化 • FTRL-Proximalアルゴリズムでマルチクラス分類器を学習 • 各partition内での学習 • 似た興味を持つユーザーの類似度が高くなるようにしたい • グラフ構造上でのランキング問題として定式化 • AdaGrad+SGDで類似度関数内の射影行列を学習
- 17. 実験結果：予測精度の比較
- 18. 実験結果：予測速度の比較
- 21. まとめ • ユーザー体験向上のために、高速かつ高精度な レコメンデーションやランキング技術が不可欠 • 機械学習モデルの学習と検索インデックスの構築を統合した AnnexMLを開発した • 既存手法のSLEECと比較して、 速度で58倍、精度で+30%程度の性能向上を達成した