AIで作ったものは誰に見せる？使う人の評価で改善を決める

AIへの指示をまとめた「AIスキル」や、そこから生成された文章や画像の出来栄えを、あなたは誰に見せて評価していますか。品質を確かめるために、その分野の専門家や社内の上司からお墨付きをもらおうとしていないでしょうか。

せっかく作った仕組みや生成物に本当に価値があるかを決めるのは、それを現実に使う人や購入する本人の行動です。専門家の意見だけでは、その価値を確かめられません。評価する相手や見せるものを間違えると、見当違いの修正を重ねることになってしまいます。

本記事では、AIを使った仕組みの使い手と、出力された結果の受け手を分けて正しく評価相手を選び直す視点を提供します。実際の利用場面に近い行動を観察し、的確にAIへの指示や生成物を改善していく手順としてお役立てください。

AIで作ったものの価値は、使う人に確かめる
スキルを使う人と、生成物を見る人を選ぶ
実際に使う場面を見てもらう
AIで反応を整理し、直す箇所を選ぶ
専門家の指摘で止めず、小さく試して改善する
よくある質問
AIを使う新規事業の企画と検証をご支援します

AIで作ったものの価値は、使う人に確かめる

AIによる生成物や、特定の作業をAIに任せる仕組みの価値を決めるのは、それを現実に必要としている本人の行動です。専門家の制作基準を満たすことだけを、その価値の合格条件にはできません。

AIに特定の仕事をさせるための指示や資料をまとめたスキルを構築した後は、実際の利用シナリオでどのように使われるかを観察し、反復して改善することが求められます。ここで陥りがちなのが、生成された文章やデザインの質を、その分野の専門家に評価してもらい、過去の制作基準を満たしているかで合否を決めてしまうことです。しかし、実際の利用者以外から得られた意見や提案は、リサーチを通じて証明すべき仮説にすぎません。

ここからは架空の設計例として、子ども向け工作教室の告知文を自動作成するAIスキルを考えます。このとき、プロのコピーライターに「文章として美しいか」「構成のセオリーを守っているか」を尋ねるのではなく、実際に教室を探している保護者に見せることが不可欠です。専門家が「完璧な告知だ」と評価しても、保護者が参加に必要な情報を見つけられるか、参加を選ぶかは別に確かめます。逆に、専門家が表現の不足を指摘しても、保護者が必要な情報を得て選べるなら、告知は役割を果たし得ます。

また、保護者に評価してもらう際も「この告知文はどうですか？」と意見だけを求めるのは避けるべきです。顧客は必ずしも言葉通りに行動するわけではないからです。単なる感想ではなく、過去にどのような基準で教室を選んだのかを聞き出したり、実際の申し込みに似た実験的な行動をとるかを確かめたりする必要があります。

価値を正しく測るためには、そもそも誰の行動を観察し、誰の評価をAIへの指示に反映すればよいのかを明確にしなければなりません。

スキルを使う人と、生成物を見る人を選ぶ

AIが役に立つかを確かめるためには、検証に協力してもらう相手を正しく選ぶ必要があります。このとき対象となるのは、実際の利用者か、将来的に利用する可能性が高い候補者です。たとえその分野に詳しい専門家や専門団体の関係者であったとしても、実利用者としての代表性がないのであれば、彼らの意見を中心に据えることは避けます。

ここで重要なのは、評価者を「AIスキルを使う人」と「AIの生成物を受け取る人」の2種類に分けて選ぶことです。この2つを混同すると、誰の何に向けた評価なのかが曖昧になり、改善の方向性が見えなくなってしまいます。

前節で挙げた子ども向け工作教室の告知を自動作成するAIスキルを例に、具体的な対象者を設計してみましょう。

1つ目の対象者は、AIを使って仕事をする「スキルの利用者」です。今回の例では、教室の企画や運営を担う担当スタッフが該当します。担当者には、用意したAIの指示書や入力用フォーマットを実際に操作してもらいます。入力の手間が多すぎないか、意図した通りの告知文の原型がスムーズに引き出せるかが、このスキル自体の評価軸になります。

2つ目の対象者は、AIによって作られた告知文を読む「教室への参加を検討する人」です。この場合は、週末に子どもを通わせる習い事を探している保護者を選びます。保護者に見せるのは、AIへの指示の仕方やツールではなく、最終的に出力された告知の文章や画像そのものです。その告知を見て、実際に参加を検討したり、申し込みの手続きに進もうとしたりするかが、告知が参加を判断する材料として役立ったかを見る手がかりになります。

このように、担当者と保護者を別々の評価者として選ぶことで、入力や手直しで困る担当者の問題と、告知から必要な情報を得られない保護者の問題を分けて調べられます。参加を選ばない理由には、料金や開催日など教室自体の条件も含まれます。対象者が明確に定まれば、次はその人たちにどのように生成物やツールを触ってもらうかを設計する段階へと進みます。

実際に使う場面を見てもらう

対象者が決まったら、次はその人たちにAIスキルや生成物を試してもらい、行動を観察します。ここで重要なのは、評価者に「これについてどう思いますか？」と単なる感想を求めるのではなく、現実の利用場面に近い状況で行動してもらうことです。

効果的に検証するには、目標が現実的で答えを教えない課題を設定し、実際の利用者がそれを完了できるかを観察する方法が適しています。評価者を誘導せず、自力でどのように判断し操作するかを見守ることで、本当の使い勝手や関心を確かめることができます。

子ども向け工作教室の例で、2種類の対象者にどのような課題を設定できるか考えてみましょう。

まず、スキルの利用者である担当スタッフに対しては、「来月のスライム作り教室の告知文を作成し、Webサイトへの掲載準備を完了させてください」といった具体的な作業を課題として提示します。このとき、「AIにこのキーワードを入力してください」といった答えや手順は教えません。担当者が用意された指示書を読んでスムーズにAIを動かせるか、AIの出力に対してどのように手直しを加えるかを静かに観察します。途中で操作に迷ったり、出力結果に不満を感じて何度も生成をやり直したりする場面があれば、それがAIスキルを改善すべき具体的な手がかりとなります。

次に、教室への参加を検討する保護者に対しては、普段の生活の中で教室を探している状況を再現してもらいます。「この告知文は魅力的ですか？」と尋ねるのではなく、「開催日に参加できる教室を探すつもりでこのページを見てください」と伝えます。ここでの目的は、文章の良し悪しに対する感想と、実際の申し込み行動を区別することです。仮に保護者が「楽しそうですね」と肯定的な感想を口にしても、参加費の記載が見当たらずに申し込みボタンを押すのをやめてしまったなら、生成された告知文には必要な情報が不足していると分かります。

このように、誘導のない条件で実際の場面に沿った行動を観察することで、試験中に観察した行動を収集できます。ただし、課題として行ったクリックは実際の購入を示しません。それぞれの対象者がどこで迷い、どこで実行を決断したのかという事実が集まったら、次はその記録を整理し、AIへの指示や生成物を具体的にどう直すかを判断する段階に入ります。

AIで反応を整理し、直す箇所を選ぶ

行動の観察が終わったら、収集した記録から次にどこを修正するかを判断します。この工程では、膨大な記録の整理をAIに任せつつ、直す箇所の最終的な決定は、人が元の事実と利用者の必要性を見極めて行うのが効果的です。

対象者が課題に取り組む様子を記録すると、発言、画面のスクロール、迷って手が止まった時間など、大量の情報が残ります。参加者の同意と組織の利用条件を確認し、AIに送ってよい文字起こしやメモを大規模言語モデル（LLM）に入力し、「スムーズに進んだ点」と「つまずいた点」に分類させると、課題の全体像を素早く把握できます。

ただし、AIが提示した要約や改善提案をそのまま鵜呑みにしてはいけません。要約に、元の記録にない理由が加わっていないかを確認します。重要なのは、観察から得られた事実と解釈を明確に区別し、次に何を変えるか、何をさらに調べるかを決めることです。人が必ず元の記録に立ち返り、本人の実際の行動を確認する必要があります。

工作教室の告知文の設計例で考えてみましょう。保護者の観察記録をAIに整理させた結果、「文章が長いため、読むのをやめたと考えられる」という解釈が提示されたとします。しかし、人が元の記録を確認すると、保護者がスクロールを止めて画面を閉じたのは、「対象年齢」や「持ち物」といった必須情報を探している最中だったと確認できたとします。この場合、単に全体の文字数を減らすようAIスキルを直すのではなく、「参加に必要な条件を冒頭に箇条書きで出力する」ように指示（プロンプト）を変更するのが、本人の必要に基づいた改善策となります。

AIスキルの利用者である担当スタッフの記録についても同様です。「告知文の再生成を何度も繰り返した」という事実があれば、入力フォーマットの項目が足りないのか、出力された文章の語り口が合わなかったのかを原文の記録から読み解きます。

整理の労力をAIで減らしながらも、評価の基準を専門家のセオリーや推測ではなく「本人がどう行動したか」に戻すことで、的確な修正箇所を選び出せます。直すべき点が明確になれば、次は実際に修正を加え、それが本当に役立つかを確認する手順へと進みます。

専門家の指摘で止めず、小さく試して改善する

直すべき箇所が決まったら、AIへの指示を少しだけ変更し、再び利用者に試してもらうサイクルに入ります。ここで重要なのが、専門家からの指摘の扱いです。

プロのライターやデザイナーなどによる助言は改善のヒントになりますが、それだけを利用・購入価値の合格基準にしてはいけません。専門家の意見も、実利用者に試して効果を測るための仮説として扱います。

工作教室の例で、専門家から「もっと感情に訴える表現にすべきだ」と指摘を受けたとします。この助言でAIへの指示を変更しても、そこで完成とは見なしません。変更後のAIを使って担当者が告知文をスムーズに作成できるか、それを読んだ保護者が実際に申し込みへ進むかを改めて確かめます。小さく修正して実際の行動で確認する手順を繰り返すことで、専門家の助言を採るかも、使う人に役立つかで決められます。購入価値まで確かめたい場合は、実際の料金や開催条件を示し、本人が申し込み・支払いを選ぶかを別に確認します。AIスキル自体についても、試験後に担当者が次の告知で再び使うかを見ると、課題を完了しただけの評価から進めます。

よくある質問

AIが作ったものの価値を決めるのは、過去のセオリーではなく、現実にそれを必要とする本人の行動です。協力者を選ぶ際は、AIの指示を操作する「スキルの利用者」と、結果を受け取る人を分けます。それぞれの対象者が実際の場面に近い状況でどう行動するかを観察し、事実に基づいて指示を小さく修正していくことで、本当に選ばれるものへと近づけられます。

しかし、実際の検証を進めるうえでは、「対象者に専門知識がある場合はどう扱うか」「どこまでの行動を確認できれば購入とみなせるのか」など、評価相手の選び方や行動の境界線について迷う場面が出てくるかもしれません。ここでは、本人の行動から価値を確かめるプロセスにおいて残りやすい疑問にお答えします。

専門家が実際の利用者でもある場合は、その意見を採用してもよいですか？

対象者が実際の利用者や将来の購入候補者であれば、専門家であっても検証の対象になります。ただし、基準とするのは「プロの視点からの意見」ではなく、「一人の利用者としての行動」です。知識に基づくセオリーや理想論を聞き出すのではなく、本人が自分のために使うときにどこで迷い、何があれば利用を決断するのかを観察し、その事実を改善の材料にしてください。

告知文のリンクがクリックされれば、購入や申し込みの証明になりますか？

クリックだけでは実際の購入の証明にはなりません。試験的な環境でのクリックは関心を持った兆候にすぎず、そこから先の手続きを完了するとは限らないからです。リンク先で必要な情報が見つからずに離脱していないか、実際の申し込み手続きまで進もうとしたかを確認する必要があります。興味を持った段階と実際の行動の境界を区別し、最終的な決断に至ったかを確かめます。

スキルの利用者と購入者で、求める基準が食い違った場合はどうしますか？

それぞれの人が何に困っているかを分け、生成物の目的と運用の負担を合わせて判断します。工作教室の例であれば、保護者が申し込みを決断しやすい告知文を出力することが最優先です。そのうえで、スタッフが理想的な告知文をなるべく少ない手間で作成できるよう、AIへの指示や入力用のフォーマットを工夫します。参加判断に必要な情報を残しながら、スタッフが繰り返し使える入力や出力を試します。