AWS生成AIコンテストでのチャットボット開発体験

先日Amazon Web Service, Inc　(AWS社、以下略称で記載)で行われた「生成AIコンテスト」に参加しました。

ChatGPTやClaude、Geminiなど、最近ホットな生成AI。生成AIコンテストとは何か？AIで何が変わるのか？AIの導入はどれくらい効果があるのか？

今年の4月に新卒入社した私が開発から社内運用まで行った体験をお伝えしていきます。

生成AIコンテストとは？

生成AIコンテストはAWS社が主催する、生成AIの活用とソリューションのアイデア出しを行うコンテストです。目的は「社内外への生成AIによる価値提供」です。

私はこのコンテストでAWS×生成AIでできることを学び、自社で設計・開発を行い、社内業務に導入しました。

AWS社の説明時のスライド（抜粋）です。最初は私もこう思っていましたが、実際に開発から効果の測定まで3カ月で完走できました。こんな短期間でAIを実装できるなんて思いませんでした！

社内業務の複雑化と情報分散が生む課題

今回、AIのソリューションは情報検索・ナレッジ共有の領域をテーマとしました。その中で自社の現状を分析したところ、以下の課題がありました。

社内共通業務に関するドキュメントの散在

• 社内ドキュメントの保管方法、アクセス方法が継続的に変化
• 情報の散逸により、欲しい情報へのアクセスが困難

社内の複数チャンネルでの問合せ、回答

• 異なるチャンネルでのコミュニケーションにより、情報の一貫性が欠如
• 重複した問合せや回答が発生

社内組織の変更・異動に伴うキャッチアップの必要

• 組織変更時に、業務情報のキャッチアップが不可欠
  
• 社員ごとのナレッジの違いにより、効率的なキャッチアップが困難
  

特定のメンバーに集中する質問

• 知識の偏りにより、特定のメンバーに質問が集中
• 業務に充てるべき時間の質問対応への無駄な消費

このような課題を抱えている企業様・ご担当者様は多いのではないでしょうか？今回は情報検索・ナレッジ共有の領域の上記課題の解決を目指してソリューション開発を進めました。

社内業務の効率化を実現するAIチャットボット

上記の課題を解消するために社内用のAIチャットボットを開発しました。実際に開発したソリューションを紹介します。

機能

社内イントラ、Google Drive上のドキュメント、Slackの問合せチャンネルのチャット、backlogなど、社内業務に関わる情報をもとに、問合せに回答してくれるAIチャットボットです。

システム構成

チャットボットのシステム構成図です。Amazon BedrockでClaude 3.5 Sonnetという生成AIを使用しています。

安全性

生成AIを使用する上で心配なのはハルシネーション（それらしい嘘）だと思います。そのため、AIが回答に対する自信度を添えることでユーザーが適切に情報を利用できるようにしました。また、参考ドキュメントのリンクを返すことで回答内容をユーザーが検証できるようにしています。

ユーザビリティ

ユーザーが利用しやすいようにSlackで問合せから回答までを行うようにしています。

AIチャットボット作成時に起きた苦労と工夫した点

苦労した点

今回使用したAmazon Kendraには様々なコネクタがあり、Slackの学習にも使用しています。しかし、コネクタが認証を突破することが難しいコンテンツや、コネクタ未対応のコンテンツがありました。これらのコンテンツの収集・整形のためにはローカル環境でのスクリプト処理を行う必要があり、手間がかかりました。

工夫した点

本チャットボットでは約9000件の情報を学習させています。

作成にあたり以下の点を工夫しました。

• 回答フォーマットを指定
• 適切な回答分量を指定
• 古い情報の優先度を低く設定
• 一次情報のリンクを提供
• botにアクセスできるチャンネルを制限

上記工夫点を実現するため、以下のプロンプトで回答を生成しています。

[参考]情報をもとに[質問]に対して[回答フォーマット]で適切に答えてください。 [回答内容]の文量は5行～15行程度が適切です。
[回答フォーマット]の末尾のリンクは参考になる度合いが高い順に最大3件まで出力してください。 ただし、参考になる度合いが低いリンクは出力不要です。 

[回答フォーマット] 
自信:{自信度(%)}
{回答内容}
▼参考情報
・[参考リンク1]
・[参考リンク2]
・[参考リンク3]

[質問]
${質問文}

[参考]
${Kendraからの回答}

実際の運用画面です。

AI導入による業務効率化の成果

初期構築から実装まで約2週間で行うことができました。開発したチャットボットは弊社内で運用しました。結果、使用者60名に対して1週間で250回以上の質問&回答が行われました。1回の質問ごとに平均7分の業務時間削減に成功し(*1)、累計1750分の時間削減に成功しました。

また、チャットボット使用者にヒアリングをし、使用感を集めました。その結果、社内のアンケートでは多数のユーザーがチャットボットを「非常に役立った」「役立った」と評価し、今後も使用したいと思うと回答しました。資料を探す手間が省けるという声や、業務時間の短縮になったという声が寄せられました。

一方で、課題もありました。

まず最新でない情報が回答されるケースがありました。原因は最新のドキュメントを学習させていなかったためです。最新のドキュメントがSlackで特定の範囲でのみ共有されていたため、学習範囲内に入っていなかったことでこのような結果となってしまいました。

また、DMで質問できるようにしてほしいという声もありました。今回はセキュリティの関係上、DMは閉鎖していました。

その他、利用料が高額でした。今回使用したAmazon Kendraの利用料金が高く、実際に運用すると月額$1,000以上になります。

(*1)1回の質問ごとで削減された業務時間をアンケートで収集した結果の平均値。

業務を効率化し、本来の業務に集中できるようにしましょう

今回は情報検索・ナレッジ共有の領域の課題を解消するためにチャットボットを作成しました。AWSの生成AIを用いることで今まで非効率だった業務を効率化することができます。コンテストでは生成AIを使用した多様なソリューションが紹介されていました。AWSの生成AIは情報検索・ナレッジ共有領域だけではなく、幅広い業務の効率化を行えるサービスだと実感しました。

弊社ではSalesforceだけでなく、AWS導入の支援も行っております。AWSの生成AI導入はもちろん、その他のサービスでもご支援可能です。導入するからには必ず成果創出まで繋げたい、導入の効果が出ていないなどお気軽にお悩みご相談ください。

最後までお読みいただきありがとうございました。