生成AIを社内で使い始めて数か月。担当者は「便利になった」と言うし、実際に使われてもいる。 それでも、次の投資を決める場面や社内で報告する場面になると、結局どれだけ良くなったのかを説明できない—— この状態で足踏みしている会社は少なくありません。 効果がないのではなく、効果を語る言葉が手元にない状態です。
この行き詰まりは、測定の技術というより何を良くしたかったのかを決めずに使い始めたことから生まれます。 目的が「業務効率化」のような言葉のままだと、後から数字にしようとしても取っかかりがありません。 この記事では、AI活用と受託開発を手がけるCoconutWorksが、 AIの効果をどの指標で見るか、比べる相手をどう用意するか、数字にしづらい効果をどう扱うかを、 費用や削減率の数字を出さずに整理します。
結論: 効果は4つの指標のどれで見るかを先に決める
| 指標 | 何を見るか | 集め方 | 向いている業務 |
|---|---|---|---|
| ① 時間 | その作業に使っている時間。着手から完了までの所要時間 | 担当者による実測、または導入前後の同じ作業の比較 | 手順が決まっていて、毎回ほぼ同じ流れで進む定型作業 |
| ② 量 | 同じ体制でこなせた件数。溜まっていた未処理の減り方 | 既存システムや管理表に残っている処理件数の記録 | 波があり、忙しい時期に処理が詰まる業務 |
| ③ やり直し | 差し戻し・修正・聞き直しの回数 | 依頼と再依頼のやりとりの記録、チェック時の指摘の記録 | 出力の正しさや読みやすさが問われる業務 |
| ④ 使われ方 | 使っている人数と頻度。使われなくなった時期 | ツール側の利用記録、業務側への聞き取り | 社内に配ったが定着しているか分からない段階 |
4つすべてを追う必要はありません。むしろ、対象業務に合う指標を一つか二つに絞るほうが判断しやすくなります。 定型的な事務作業なら①、繁忙期に詰まる業務なら②、 出力の正しさが問われる業務なら③、社内展開の途中なら④が手がかりになります。 以下、選び方と測り方を掘り下げます。
なぜ「入れたのに変わらない」と感じてしまうのか
理由の一つは、導入前の状態を誰も記録していないことです。 AIを使い始める場面はたいてい現場の思いつきから始まります。 便利そうだから試す、うまくいったから続ける、という自然な流れの中で、 「前はどれくらいかかっていたか」を残す動機は生まれません。 後になって効果を説明しようとしたときに、比べる相手がないことに気づきます。
もう一つは、効果が個人の中で閉じている場合です。 AIを使った本人にとっては明らかに楽になっているのに、 その分だけ別の作業が増えていたり、成果物を受け取る側の手間が変わっていなかったりすると、 業務全体としては何も変わっていないように見えます。 文章の下書きをAIが作るようになったが、受け取った側が毎回大きく書き直しているのであれば、 負担の場所が移っただけで総量は減っていません。
三つ目は、期待していた効果と実際に出た効果が違う種類だった場合です。 経営側は費用が下がることを期待していたのに、現場で起きた変化は 「同じ人数でこなせる件数が増えた」「特定の担当者しかできなかった作業が他の人にも回るようになった」だったとします。 どちらも実務上は意味のある変化ですが、費用の話として報告すると 「効果が出ていない」という結論になってしまいます。どの種類の効果を狙うのかを、使い始める前に一つ選んでおくことが、 この食い違いを防ぐ一番簡単な方法です。
4つの指標をどう選ぶか
①時間は最も分かりやすい指標ですが、 手順が毎回ほぼ同じ作業でなければ数字が安定しません。 請求書の内容確認や問い合わせメールの一次返信のように、 始まりと終わりがはっきりしている作業に向いています。 測るときは、AIに渡してから結果が出るまでではなく、担当者が着手してから業務として完了するまでで見ます。 出力を見直す時間や、間違いを直す時間を含めないと、実感と合わない数字になります。
②量は、時間の削減が体感として現れにくい業務で使いやすい指標です。 人手が足りずに未処理が溜まっている業務では、 一件あたりが早くなっても定時までかかることは変わらず、時間で見ると変化が出ません。 その代わり、処理できた件数や溜まっていた分の減り方に効果が出ます。 既存システムや管理表に処理日が残っているなら、集めるための手間もかかりません。
③やり直しは見落とされやすい指標です。 社外に出す文書や、他部署に渡す資料を作る業務では、 差し戻しや聞き直しのたびに待ち時間が発生し、それが積み上がって全体の遅れになります。 AIを使うことで抜けや表現のばらつきが減れば、やり直しの回数として現れます。 逆にこの数字が悪化していれば、出力をそのまま使ってしまっている、 渡している材料が足りていない、といった原因の手がかりになります。
④使われ方は、効果の大きさではなく 定着しているかを見る指標です。全社にアカウントを配った段階では、 まず使われているかどうかを確認しないと、効果を測る土台自体がありません。 使っている人が一部に偏っている、ある時期を境に使われなくなった、という事実が分かれば、 次に打つ手は効果測定ではなく、使い方の共有や対象業務の見直しだと判断できます。 AIの定着についてはChatGPT止まりを卒業するでも扱っています。
比べる相手をどう用意するか
指標を決めたら、次に必要なのは比べる相手です。 理想は導入前の記録ですが、多くの場合は残っていません。 そのときは、今のやり方に戻して数回分だけ計る方法が取れます。 同じ作業をAIなしの手順で何件か処理し、所要時間や差し戻しの回数を記録します。 全件を測る必要はなく、日常的に発生する作業を数件押さえるだけで、 「何もない状態」からは抜け出せます。
比べるときに注意したいのは、時期の揃え方です。 月初と月中で作業量が違う業務、季節によって問い合わせが増える業務では、 違う時期同士を比べると効果があったのかどうか分からなくなります。 同じ時期同士を比べるか、一件あたりの数字に直してから比べるかのどちらかで揃えます。 あわせて、測っている期間に別の変化がなかったかも確認します。 人が増えた、業務のやり方を同時に変えた、という事情があれば、 その分は差し引いて見る必要があります。
測定を厳密にしようとしすぎると、今度は測ること自体が業務になってしまいます。 担当者に細かい記録を頼み続けると、記録の負担で嫌がられ、途中で途切れます。測るのは対象業務と期間を区切ったうえで、判断できる程度までと割り切るほうが、 最後まで続きます。厳密な数字より、続けられる記録のほうが判断には役立ちます。
数字にしづらい効果をどう扱うか
AI活用で実際に喜ばれる変化は、時間や件数にきれいに収まらないことがあります。 「調べ物で手が止まらなくなった」「この作業を頼める相手が増えた」といった変化です。 こうした効果は数字にしづらいものの、代わりに見られる手がかりはあります。
| 見えにくい効果 | 代わりに見る手がかり |
|---|---|
| 属人化がゆるむ | 同じ作業に対応できる人の数。担当者が不在の日に止まった件数 |
| 品質のばらつきが減る | 社内チェックで指摘された箇所の数。修正して出し直した回数 |
| 判断や回答が早くなる | 依頼を受けてから回答するまでの日数。折り返しの待ち時間 |
| 担当者の負担が軽くなる | 残業や休日対応が発生した回数。担当者への定期的な聞き取り |
たとえば、特定のベテラン担当者しか書けなかった報告書をAIの下書きで他の人も作れるようになった場合、 効果は時間ではなく対応できる人の数に現れます。 その担当者が休んだ日に業務が止まらなくなったかどうかも、同じことを別の角度から見た指標です。 数字が小さくても、社内の詰まりが一つ外れたという事実は、次の投資判断の材料になります。
ただし、こうした手がかりを集めるときは、 担当者への聞き取りを「効果があったか」ではなく 「前と比べてどこが変わったか」という聞き方にすることをおすすめします。 前者の聞き方では、導入を進めた側に気を使った答えが返ってきやすく、 判断材料になりません。変化した場面を具体的に語ってもらうほうが、 次にどこへ広げるかの見当もつきます。
迷ったときのチェックポイントと、進め方の順序
何から手を付けるか決めかねているときは、次の点を社内で確認すると測る対象が絞れます。 いずれも専門知識がなくても確かめられる項目です。
- 何を良くしたいのか、一つ選べているか — 時間・量・やり直し・定着のどれを狙うか。ここが決まっていないと、どの数字を集めても判断に使えません。
- その業務は繰り返し発生するか — 回数の少ない業務は、効果があっても数字に表れるまで時間がかかります。日次・週次で回る業務のほうが題材として扱いやすくなります。
- 記録が今どこにあるか — 既存システムや管理表に処理の記録が残っているなら、集める手間はほとんどかかりません。手元に何もない場合は、まず記録の置き場所を決めます。
- 誰が測るのか — 現場に任せきりにすると記録が途切れやすく、管理側だけで測ろうとすると実態からずれます。両方が短時間で済む形にしておきます。
- 悪化していたら気づけるか — 良くなった数字だけを見ていると、別の場所に移った負担を見落とします。前後の工程にも一つ見る項目を置いておきます。
進め方の順序としては、狙う効果を一つ決める、対象業務を絞る、 比べる相手（今のやり方の数回分）を用意する、期間を区切って測る、 結果を見て使い方か対象業務を見直す、という流れが無理がありません。 とくに三番目を省くと、後から効果を語れなくなります。 測る対象を業務システムの中のデータから取り出す場合は、既存の業務システムにAIを後付けするときの考え方で扱っているデータの取り出し経路の話が参考になります。
よくある誤解と、起きやすい失敗
効果測定の場面で繰り返されやすい誤解も挙げておきます。 いずれも、測り方そのものより前提のずれから起きるものです。
- 「全社の平均で見れば実態が分かる」 — 使っている部署と使っていない部署を混ぜて平均すると、効果は薄まって見えなくなります。効果が出ている業務を特定してから、その範囲で測るほうが判断に使えます。
- 「削減できた時間を人件費に換算すれば説明できる」 — 空いた時間が別の業務に回っている場合、費用は減りません。換算した数字だけを示すと、実態と合わないという指摘で議論が止まりがちです。何に使われたかまで併せて見るほうが説明が通ります。
- 「効果が出ないならAIが業務に合わなかった」 — 選んだ業務の回数が少なかった、出力を人が作り直していた、といった設計側の理由であることも少なくありません。どこで効果が消えたのかをたどってから判断します。
- 「まず正確に測る仕組みを作ってから始めたい」 — 測定の仕組みづくりが先に立つと、本題の業務改善が始まりません。手作業の記録で判断できる範囲から始め、続けると決まってから仕組みにするほうが、無駄になる範囲が小さくて済みます。
よくある質問
まとめ
「AIを入れたのに変わらない」という感覚の多くは、 効果がないことよりも効果を見る場所が決まっていないことから来ています。 時間・量・やり直し・使われ方のどれを狙うかを一つ選び、 比べる相手を数回分だけ用意し、期間を区切って測る。 数字にしづらい効果は、対応できる人の数や差し戻しの回数といった手がかりに置き換える。 この順序であれば、次に広げるか題材を変えるかの判断ができる状態にたどり着けます。
どの指標で見ればよいか決めかねている、測った結果をどう次につなげるか迷っている—— そうした段階からのご相談も承っています。対象業務と今の進め方をお伺いしたうえで、 測る対象の絞り込みから、業務に組み込む形の設計までお手伝いします。相談・お見積もりは無料です。
