生成 AI を活用した toitta 切片分類機能の裏側 / Inside toitta's AI-Based Factoid Clustering

Transcript

1. 高性能な AI を使うだけじゃない！ 生成 AI を活用した toitta 切片分類機能の裏側 id:pokutuna 2024/10/24

   はてな 生成AI×新規事業 の挑戦 1

2. id:pokutuna • toitta の AI 周辺担当 • 2013 新卒入社 ➡

   受託開発 ➡ 広告配信・データ基盤 ➡ 新規事業 アイコン 2

3. アジェンダ • 切片分類(グルーピング)機能とは • グルーピング処理の流れ • 生成 AI を利用する上での工夫 3

4. 4 toitta の機能

5. 5

6. 書き起こし & 話者分離 6 話者判定と分離 話者の判定と分離を⾃動で⾏い ます。 段落分割で⻑時間のインタ ビューによる書き起こしも⾒や すくします。

   佐々木さん 佐藤さん

7. 切片の抽出 7 インタビュイーの発話を中心に切片化

8. 切片グルーピング 8 佐々木さん 佐藤さん

9. toitta の機能 • 書き起こし & 話者分離 音声認識技術・言語モデルを利用 • 切片の抽出 生成

   AI による抽出・要約・加工 • 切片グルーピング 生成 AI による要約・クラスタリング 9

10. toitta の機能 • 書き起こし & 話者分離 音声認識技術・言語モデルを利用 • 切片の抽出 生成

    AI による抽出・要約・加工 • 切片グルーピング 👈 ここの話 生成 AI による要約・クラスタリング 10

11. 11 切片グルーピング

12. 12 佐々木さん 佐藤さん "近い"切片をまとめる

13. 13 佐々木さん 佐藤さん タイトル & サマリを付加

14. 親和図法を支援 • 切片を付箋に書く • 似た切片をまとめる • まとまりの 関係性を可視化 14 羽山祥樹.

    "KA法（本質的価値抽出法）の手順と実例「資格試験を受ける人のモチベーションの価値マップ」". https://www.figma.com/community/file/1142124393231568930 , (2024-10-18)

15. 15 佐々木さん 佐藤さん

16. 16 佐々木さん 佐藤さん 切片まとめるところまで • 特定手法に特化しない • 次の分析ステップを楽にする ◦ 分析作業は慣れたツールで

17. 17 どのように グルーピングするか?

18. 全体の流れ 18

19. AI にお願い • 「これらを分類してまとめて」 • 一見よさそうな出力は得られるが... ◦ 入出力の一貫性・網羅性がいまいち ◦ 粒度の調整が効かない

    ◦ トップダウン的分類になりがち 19

20. 「近い」切片とは? • 定義が難しい • 作業者・状況によって違う • 切片テキストを 利用しようとしたが... 20

21. 21 例: 引っ越しインタビュー

22. 22 例: 引っ越しインタビュー 収納に関する話

23. 切片の拡張 • 前後の発話から分類用の拡張切片を生成 • 意図・感情・行動・ニーズを拾って短く作文 • 各切片に対して実行 (100~200回/インタビュー) 23 話者は、収納スペースが不足していると感じ

    壁面を活用している。キッチンに突っ張りで フェンスを作りフライパンをかけている。 拡張

24. Text Embedding 24 • 文章の意味を反映したベクトル表現 ◦ 意味が近いテキストは近くなる • 拡張した切片の Embedding

    表現を得る ◦ Vertex AI のクラスタリングに適した Emb を利用 話者は、収納スペースが不足 していると感じ... [0.179, 0.187, … 0.205]

25. 次元削減&クラスタリング 25 • UMAP で低次元へ削減 ◦ 高次元だとクラスタリングが働きにくい • HDBSCAN でクラスタリング

    ◦ 今回の用途に使いやすい ◦ 密度ベース・形状の変化に柔軟 ◦ クラスタ数決めなくて良い

26. 切片のクラスタリング 26 :クラスタなし 使い始めたきっかけ ブコメについて あとで読む機能 通知機能 はてなスター エンジニアの情報収集

27. 拡張切片の出力の調整 27 • 良いクラスタリングができるように調整 • 文の体裁を統一 ◦ ❌「インタビューでは」「〜と言っていました」 ◦ ⭕「話者は

    (背景や理由) (行動) をした。」 に統一 • 固有名詞を避ける ◦ 共通すると過剰に類似度が高くなる ◦ キーワードでグルーピングしたいわけではない

28. タイトル & サマリ 28 • クラスタごとにタイトル & サマリを生成 ◦ 切片

    & 拡張した切片を入力 ◦ 話者の行動に着目した説明を生成

29. 全体の流れ 29

30. 30 生成 AI を 利用する上での工夫

31. 活用の工夫 31 • 切片の拡張 ◦ 簡単なタスクに落とし込む・必要な情報だけ与える • グループ化 ◦ 従来からある手法の活用

    • タイトル & サマリの生成 ◦ 多段階の処理でユーザに見せる品質に整える

32. 簡単なタスクに分解する 32 • 高度な推論能力がなくてもいい形に分解 ◦ 明確なタスク & 必要な情報だけ与える • 切片拡張では切片ごとに実行

    ◦ 1インタビューで 100~200 回実行 ◦ モデルの賢さ依存を下げる・出力を安定させる • モデルを使い分ける ◦ コスト・速度に優れる Gemini 1.5 Flash を利用

33. Gemini 1.5 Flash 33 Artifact Analysis "Gemini 1.5 Flash (Sep

    '24): API Provider Benchmarking & Analysis" https://artificialanalysis.ai/models/gemini-1-5-flash/providers , (2024-10-18)

34. 既存手法と組み合わせる 34 • Embedding & クラスタリング ◦ 昔からある手法 ◦ 結果も(相対的に)安定する

    ◦ 実装を見れる・説明性もある

35. 多段処理で品質を保つ 35 • ユーザーに見せるテキスト品質 ◦ 敬体に統一・テキストの長さの調整 ◦ デザイン意図から特定の文字数に収めたい • 一度にまとめてやらない

    ◦ タイトル&サマリの生成 → 敬体に統一・文字数調整 • Gemini 1.5 Pro を利用

36. 例: テキスト長の調整 36 グループ サマリ文字数 指示:110文字程度

37. 課題 37 • 評価の難しさ ◦ 求めるグルーピング結果が定まっていない ◦ 定量的な指標に落ちていない • 調整を繰り返し定性的に評価

    ◦ 一対比較「A と B のどっちがいい?」

38. 38 まとめ

39. 39 ✅ 切片分類機能とは ✅ グルーピング処理の流れ ✅ 生成 AI を利用する上での工 夫

    • 簡単なタスクに落とし込む • 従来からある手法と組み合わせる • 多段階の処理で品質をコントロール

40. hatena.co.jp/recruit 40 40

41. ご質問や感想は #hatenatech にお願いします 発表後ご質問をピックアップする場合がございます #hatenatech 41