UXリサーチャーによる生成AIサービス開発の論文メモ

気になるツイートがあり後で役立ちそうだったので、備忘として記録します。

Babylon Healthが診療会話の要約をサービスに組み込む際に行った、UXの実験や調査をまとめた論文。ペルソナ分析やWOZ法、一定期間使ってもらっての評価などいろいろやってて、言語系生成AIを実サービスに使う際に役立つノウハウがいろいろ詰まってると思う。NAACL2022。https://t.co/ST3Yd9Poo8
— べいえりあ (@mr_bay_area) July 22, 2023

論文PDFリンク

翻訳からの要約↓

この研究は、医師と患者の相談の音声録音から自動的に医療ノートを生成するシステムのユーザー主導の研究について述べています。

1. 導入： 電子健康記録(EHR)の導入により、クリニシャンは各患者との対話について詳細な記録を保持する必要があります。しかし、行政業務の負担がクリニシャンのバーンアウトに大きな影響を与えています。スピーチ認識を使用して医療相談の音声を転写し、その転写を要約して診察ノートにするというアプローチが提案されています。
2. 関連研究： 自動的に診察ノートを生成するタスクは、医療情報処理の重要な部分であり、特に音声認識と自然言語生成(NLG)の組み合わせは、興味深い挑戦を提供します。
3. ユーザーリサーチと設計： この研究では、次の3つのステージでユーザーリサーチと設計が行われました。
3-1 現在のノート取りの発見：ユーザーの要件と初期の印象を収集します。
3-2 初期のユーザーインターフェース（UI）テスト：クリニシャンに3つの潜在的なデザインオプションのビデオモックアップを示し、フィードバックを提供してもらいます。
3-3 モックコンサルテーション：クリニシャンは、他のクリニシャンが自動システムとして動作するウィザード・オブ・オズのプロトタイプと対話します。
4. ノート生成システムのライブテスト： ユーザースタディに基づいてノート生成システムを開発し、5人のクリニシャンがシステムを使用して各診療のノートを作成するライブテストを行いました。これは3週間続き、その間に300以上の診察がシステムと共に行われました。
5. 考察： ユーザーリサーチと設計の重要性が強調され、特に5つの異なるノート取り行動の出現と、ノート生成システムが診察中にリアルタイムで出力を生成する必要性が明らかになりました。また、患者の不正直さ、複数の主訴、クリニシャンの非言語的観察といった、自動ノート生成システムにとって困難を伴う可能性がある臨床使用事例をいくつか特定しました。

全体的に、この研究は、ユーザー（クリニシャン）のニーズとフィードバックを取り入れた医療ノート生成システムの設計と開発が、システムが臨床現場で実際に使用され、価値を提供するためには不可欠であることを強調しています。また、自動ノート生成が完全には達成できない可能性のある特定の臨床的なシナリオについても考慮し、そのような場合には人間の介入が必要であることを認識しています。

専門職の生成系システムを開発するためのTipsでした。

学びは以下の4つの箇所。