サントリーウエルネスDX推進部エンジニアリングGの武田です。
フルスタックエンジニアとしてコンタクトセンターで使うシステムが抱える課題に日々取り組んでいます。
今回はChatGPTを活用して顧客応対業務を効率化する取り組みについて紹介したいと思います。
お問い合わせ対応について
弊社のコンタクトセンターではお電話にてお客様からの様々なお問い合わせにお応えしています。
お電話が終了したあと、次にお客様からお電話いただいた際に、過去にどういったお問い合わせをいただいたのかを短時間で確認するため、お電話の内容を要約（対話要約）して社内システムに登録しています。
対話要約が抱える問題
対話要約はお客様から過去にどういったお問い合わせをいただいたのかを記録し、次に応対する人に繋ぐ重要な役割を果たします。
これまで運用してきた中で以下のような問題がありました。
- 対話内容の要約に時間がかかる
- 要約に記載される内容の粒度が応対した人によって異なる
- 要約に記録したい内容が欠けてしまう場合がある
これらの問題を解決するために、ChatGPTの活用を検討しています。
ChatGPTを活用した対話要約の自動化
対話要約の生成を以下の流れで自動化しようと検討しています。
- お客様との通話を音声認識ツールでテキスト化します。
- APIでテキストからプロンプトを生成します。
- ChatGPTでプロンプトを実行し、対話を要約します。
対話要約の自動化PoC
ChatGPTによって出力される要約が業務レベルで活用できるかを検証するためにPoCを実施しています。
体制構築
社内にナレッジを蓄積するためにも内製で進めることを選択し、体制を構築しました。
体制としては会社、組織を横断し、サントリーグループのITサービス会社であるサントリーシステムテクノロジー（SST）、弊社のコンタクトセンター、DX推進部で体制を組みました。
SSTがChatGPTのプロンプトのチューニングを、コンタクトセンターにてChatGPTによる出力要約の評価を、DX推進部がシステム化の検討とプロジェクトのディレクションを担当しています。
評価データ準備
まず、評価対象のデータを準備しました。
お客様から新規注文や届け日変更など様々な理由でお問い合わせをいただくので、理由ごとのお問い合わせ件数を集計し、件数が多い理由を評価対象に選定しました。
評価条件検討
次に評価条件を検討しました。
要約において定量評価の指標としてROUGE-Nが使われます。
ROUGE-Nは生成要約と正解要約がN-Gram単位でどれだけ一致しているかを表します。
しかし、N-Gramはn個の文字のまとまりを示すため、ROUGE-Nでは生成要約が正解要約とどれだけ文字単位で一致しているかしか計れません。
これは同じニュアンスの言い換え表現を計測できないことを意味しています。
そこで、人手で要約の精度を評価したり、情報が抜けていないか不必要な情報が含まれてないかなどの観点を洗い出して評価したりするなどの定性評価も加えて総合的に評価することにしました。
環境整備
会社、組織を横断してプロジェクトを進めるために環境を整備しました。
日々のコミュニケーションはSlackを活用しています。
タスク管理はJiraを活用し、タスクの見える化、作業内容の記録をおこないます。
ナレッジ、議事録などはConfluenceに記録しドキュメントとして残すようにします。
プロンプトチューニング
まず、評価データからプロンプトを作成、実行し、出力要約をアウトプットします。
次に、出力要約を評価基準に沿って評価します。
そして、評価結果と評価項目ごとの改善点をFBし、プロンプトチューニングに活かします。
プロンプトチューニング→要約出力→出力要約評価→評価FBのサイクルを繰り返します。
システム化検討
【ChatGPTを活用した対話要約の自動化】の項で記載した方式をシステムに落とし込みます。
各種サービスのインプット、アウトプットを明確にします。
※ChatGPTについては社内専用環境を構築して利用しています。
PoCを進めてみて
現在進行形でプロンプトチューニングを実施していますが、プロジェクトが軌道に乗ってきたので、このタイミングで振り返ろうと思います。
プロジェクトを軌道に乗せるまで
プロンプトチューニングのサイクルを回すところまで立ち上げるのが大変でした。
評価データを用意したり、評価基準を定義したり、コミュニケーションルールを決めたりと色々やることがありました。
コスト試算は事前にした方がいい
ChatGPTはモデル、コンテキスト長によって単価が決まります。
テキストの文字数やリクエスト数からコストを試算したところ、最新モデルを使うと思ったよりも高いことが分かり、モデルによる精度への影響を追加で評価することになりました。
新しいソリューションを活用する場合は早めにコスト試算すべきだったと反省しています。
抽象化や言語化の重要性
ChatGPTによる出力要約の評価FBをする際に各評価項目についてこの出力要約はこうしたい、あの出力要約はああしたいといったように具体のFBになりがちでした。
そこで、あらためて対話要約のそもそもの目的である「次にお客様からお電話いただいた際に過去どういったお問い合わせをいただいたのかを短時間で確認する」ためにはどういった情報を残す必要があるのか。
また、どういった情報は省略した方がいいのかを抽象化し、言語化することにしました。
ICTツールの浸透
Jiraを導入し、最初は私が全てのタスクの状況を吸い上げて記録していましたが、徐々に各自がタスクごとに作業記録を残す文化が普及してきました。
Confluenceを導入し、定例会議のアジェンダを共有することで議事進行がスムーズに進みました。
また、作業内容をConfluenceに書きSlackで共有し、各自のタイミングで確認し、Slackで議論するといったようにリモートでタスクを非同期で進められました。
おわりに
今回は音声認識や生成AIなどの技術を活用した対話要約の自動化の事例を紹介しましたが、その他にも顧客応対業務の変革を目指し様々な活動に取り組んでいます。
サントリーウエルネスでは一緒に働ける仲間を募集しています。
ぜひ弊社のデジタル&テクノロジー採用サイトをご覧ください。
新卒採用ページはこちらです。