ランダム化比較試験を活用した導入効果検証方法 業務改善施策における活用編
目次
この記事の概要、対象とする方
本記事では製品・サービス技術の内容を問わずに適用できる効果検証方法”ランダム化比較試験”について引き続き紹介します。全体の構成として、1章では前記事にて”ランダム化比較試験”の概要を紹介しましたが、本記事は2章の”ランダム化比較試験”のポイントを踏まえた、実際のビジネスでの生かし方について”業務改善施策における活用”を例示とともにご紹介します。
前記事は”ランダム化比較試験”の概要について紹介しました。以下を参照してください。
本記事の対象読者は前記事と同様、ITソリューションの導入・運用検討をしている方、ITを用いた新規事業の立上、成長に携わっている方、施策の効果検証をしたい方を主に想定しています。
IT導入におけるランダム化比較試験の活用方法
1章(前記事)では一般的なランダム化比較試験について解説しましたが、ビジネス上では特に対象者の無作為抽出などをはじめとして厳密に試験をすることは出来ない場合が多いため、ランダム化比較試験の考え方を生かしたビジネス向けの簡潔な効果検証について紹介します。
ランダム化比較試験の要諦とビジネスにおける活用のポイント
ランダム化比較試験の考え方として特に以下の2点が大事になり、それらを抑えることで効果検証の精度を担保することが出来ます。
①対象のグループ毎に属性の偏りが少なく、施策以外の要因の影響を受けにくい
②施策の効果有無が分かり易く、偶然性が少ない
ランダム化比較試験において無作為に対象を抽出する理由は対象が偏らないようにするためでした。その理由を押さえることで精度は多少落ちますが、出来るだけ近い属性の対象を二つのグループに分けるという形で疑似的に偏りが少ないグループ分けが出来るようになります。
そして、もう一つの点として効果検証時に出てくる結果が微妙、偶然性が入り込むという課題がありますが、それに対して出来るだけ効果が定量的に分かり易く、かつ偶然が起こりにくい指標を採用することで対処することが出来ます。具体例は次にて説明します。
合わせて読みたい！店舗業界で活用！AIカメラを活用した業務改善とマーケティング活用
さまざまな業種やサービスにおいて、来店者の性別や年齢といった属性分析に加え、店舗内での顧客の行動の把握、商品の選定プロセスに関するデータ取得が可能になります。その手法や導入事例をご紹介します。
→導入事例を読む
ビジネスの効果検証におけるランダム化比較試験の活用例 業務改善施策の効果検証
業務改善のための施策、新システム導入の例を挙げて効果検証をする方法を紹介します。標準の実施のステップは以下の形になり、特にステップ1が大事となります。
ステップ1 業務に詳しい担当者のアサイン
業務改善効果を検証するにあたって、業務内容、プロセスに詳しい方をプロジェクトに入れることで最終的な効果検証の精度があげられますので出来るだけ、メンバーに入れることをお勧めします。
ステップ2 評価指標の選出
業務改善効果を見るために評価指標をまず検討する必要があります。指標は上記で紹介した”効果が定量的に分かり易く、かつ偶然が起こりにくい指標”が望ましいです。一般的には以下が考えられます。
・業務の削減量、業務あたりの削減時間
・業務のミス率
逆に例えば”残業時間”は偶然性が高いので経理部門など業務内容に偶然性が入り込む余地が少ない場合のみ採用をお勧めします。
ステップ3 実施対象のグループ分け
本ステップではグループ毎の偏りが出ないように、各種属性(構成メンバーの年齢・性別・所属部署、担当業務の種類)をそろえて対象を割り振る必要があります。ケースバイケースとなりますが業務改善施策の場合、例えば以下の図のような分け方の場合、偏りがない可能性が高いと考えられますのでご参考ください。
【特に望ましいケース】(1~5においてどれも偏りが無い)
【奨励する割り振り例】
これらの比較では、比較的どの属性も偏りが出ない可能性が高いです。さらに都市間の顧客の差異、部内の課の差異が少なければより正確な比較が出来ます。
【偏りやすい割り振り例】
本社は管理部等の人員が厚いため、グループAとBの構成員の割合に違いが出る可能性が高いです。上記の場合、本社ではなく、支社1と同様の業務を行っている本社内の一部署と比べるのが適切と考えられます。
業務内容が大きく異なり、働いている方の属性も違いが出てしまいます。これはBtoC営業部：BtoB営業部とかの比較でも近いことが起きると考えられるのでご注意ください。
ステップ4 施策、新システム導入実行
施策実行においては、特筆すべきことはあまりありませんが、グループAとBに分ける意味が薄くなってしまうため、実施する施策のグループBへの影響は最小限に抑えてください。
ステップ5 効果検証
効果検証においてはステップ1で設定した指標について効果検証を行いますが、以下のようにグループA、Bどちらにも属さないグループであるグループCは評価の対象にしないように気を付けてください。
もし実施結果が微妙な時、以下を実施することで効果をより精密に検証出来ますのでご参考ください。
・上記ステップ1～5について、グループAとBを選び直し、複数回実施する
・グループA、Bの母数を増やす
・ステップ2における選定された評価指標をより詳細の指標に分解し、それらの指標の変化を見る
(指標の分解方法については”KPIツリー”と同じ考え方で行うことをお勧めします。)
本章のまとめ
・ランダム化比較試験の精度を上げるには1.割り振り対象の属性の偏りを抑え、2.成果に偶然が入る余地を抑え、3.評価指標を定量的で分かり易くするのが推奨される
・効果検証にあたって、特に序盤に業務内容、プロセスに詳しい担当者をプロジェクトに入れることが推奨される
参考書籍
ランダム化比較試験について詳しく知りたい方は以下の書籍が体系的かつ、分かり易くまとまっていますので参考にしてください。
『「原因と結果」の経済学―データから真実を見抜く思考法』 中室牧子、津川友介 著
商品販売状況がリアルタイムで把握できる！販売実績管理システムとは
小売業や商業施設の効率化が進む中、スタッフの販売実績をリアルタイムに集計し、わかりやすく「見える化」するシステムが注目されています。各拠点間の情報共有やノウハウ共有として、入力された成績が即反映されるため、集計のためのリードタイムが発生せず管理者は現状をすぐ把握可能です。その手法や導入事例をご紹介します。
→導入事例を読む
本サイトを運営しております株式会社WillSmartは事業立ち上げから企画・ソフト、ハードを組み合わせたソリューションの開発・運用サポートを提供しております。課題解決型AIやカーシェアリングシステム、非接触型サイネージの様々な事例などをご紹介しています。
メルマガでは、定期的（月に2度）にコンテンツの更新状況をお伝えする予定です。ご興味のある方は以下よりご登録ください。
