ランダム化比較試験を活用した導入効果検証方法 概要説明編
目次
この記事の概要、対象とする方
近年、ITにおいて新製品・サービスが多く世に出ており、それらを適切に生かすことで事業の成長に繋がります。しかし、製品種類の多様化、技術の進化もあり導入効果を検証することが難しくなってきています。そして十分に効果検証が出来ないと宝の持ち腐れになってしまいます。
そこで、本記事では製品・サービス技術の内容を問わずに適用できる効果検証方法”ランダム化比較試験”について紹介します。構成として、2章に分け、1章では”ランダム化比較試験”の概要を紹介し、2章で”ランダム化比較試験”のポイントと踏まえた、実際のビジネスでの生かし方について例示をしながら紹介します。加えて、より詳しく知りたい方は最後にある参考情報を参考にしてください。
なお本記事では1章について記載しており、2章は以下をご参考ください。
本記事の対象読者はITソリューションの導入・運用検討をしている方、ITを用いた新規事業の立上、成長を携わっている方、施策の効果検証をしたい方を主に想定しています。
ランダム化比較試験とは？
ランダム化比較試験の背景と有効性
ランダム化比較試験は元々医学研究において、治療方法毎の効果有無を検証する方法を模索していく上で発展してきた歴史があり、投薬、治療法における臨床試験で主に活用されてきました。そして、近年はビジネス分野にも検証手法として他分野に広まってきました。
そのような人命にかかわる分野での活用を起点としていることもあり、実施内容に対する効果検証する手法として広く有効性が証明されています。
合わせて読みたい！ウィズコロナ時代に求められるバス・公共交通機関の混雑度のリアルタイムな可視化とは
駅の無人化・省人化を実施するにあたって求められる安全対策や不正乗車（運賃逋脱）対策として活躍する駅AIカメラソリューション。その手法や導入事例をご紹介します。
→導入事例を読む
ランダム化比較試験の実施ステップ
ランダム化比較試験の実施ステップは簡潔には以下となっています。
①対象者を無作為にAとBの二つのグループに振り分ける
②Aのグループのみに対して、施策を実施する
③AとBの二つのグループにおける追跡調査を行い、効果検証をする。
上記のステップを実施した結果として、Aのグループにおいて当初施策実施によって期待していた効果が発生し、Bのグループにおいて特に変化が見られなかった場合、その施策は有効となり、そうでない場合は無効という形になります。イメージ図としては以下になります。
ランダム化比較試験の実施ステップ イメージ図
【施策の効果が有効な場合】
・グループAにのみ期待する効果が得られていた
【施策の効果が無効な場合】
・グループA、B両方に期待する効果が得られていた
・グループA、B両方に効果が表れなかった
効果検証精度を担保する上での注意点
実施ステップは簡潔には上記の通りでおおよその効果検証は出来ますが、厳密に効果検証をしたい、または統計的な正確さを重視する場合は以下の3点に注意する必要があり、順に解説をします。
①対象の母数は十分か
②グループA、Bへの対象の振り分けが十分に無作為であるか
③グループAに効果が表れた時、その効果はどの程度有意か
①対象の母数は十分か
効果検証において、対象の母数が少ないと各対象における個別の属性(例：性別、年齢、性格、趣向等を指す)のばらつきが多く出てしまい、特定の属性が施策とは別に結果に影響を及ぼす可能性が出てきます。簡単な例としては年収調査などで対象者を抽出した結果、中央区などの在住者に集中した(実態より高く数値出る可能性が高い)などがあります。
その影響を減らすうえで一定数の母数の確保は大事となります。
②グループA、Bへの対象の振り分けが十分に無作為であるか
対象のグループへの振り分けが十分に無作為でないと、①と同様に片方のグループにおける対象の属性が偏ってしまい、結果検証に影響を及ぼします。
③グループAに効果が表れた時、その効果はどの程度有意か
効果がある、またはないことが分かった場合でも、その効果が”偶然発生した”可能性を排除することはできません。例を挙げると、実は効果が1%の向上しかないチラシ投函の営業施策が実施された際、たまたま大きい案件を獲得してしまう。などが挙げられます。これを防ぐには繰り返し同じ条件で検証を実施する、事前にp値（有意確率）※を設定し、それを踏まえて検証を行う必要があります。
上記における太字の部分の具体値はケースバイケースなため、必要に応じて統計、データ分析の担当者にご相談ください。また、上記の3つ (特に③)はいずれも厳密な効果検証をする場合の注意点となりますので、一般的な効果検証では心に留めておくレベルで良いと思います。
※偶然でその結果が得られる確率を指します。(効果検証においては、偶然効果が上がる確率)統計的には一般的に5%,1%が設定され、小さく設定すればするほど厳密となります。
本章のまとめ
・ランダム化比較試験は実施内容に対する効果検証する手法として広く有効性が証明されている
・ランダム化比較試験は対象の無作為抽出、グループ化、片方のグループへの施策導入、効果検証というステップに分かれている
・より厳密に効果検証するにあたって、グループ毎の偏りを減らし、偶然による見せかけの成果に注意する必要がある。
参考書籍
ランダム化比較試験について詳しく知りたい方は以下の書籍が体系的かつ、分かり易くまとまっていますので参考にしてください。
『「原因と結果」の経済学―データから真実を見抜く思考法』 中室牧子、津川友介 著
本サイトを運営しております株式会社WillSmartは事業立ち上げから企画・ソフト、ハードを組み合わせたソリューションの開発・運用サポートを提供しております。記事の内容や関連する事柄についてお聞きしたいこと、ご意見がありましたら、お気軽にお問い合わせください。
メルマガでは、定期的（月に2度）にコンテンツの更新状況をお伝えする予定です。ご興味のある方は以下よりご登録ください。
ウィズコロナ時代に必要となる、便利で安心な駅のためのデジタルサイネージシステムとは
ウィズコロナ時代に向けて駅係員と駅利用者の接触機会を減らしたいというニーズに加え、駅係員の不足による業務効率化の必要性も加わり、デジタルサイネージを活用した駅案内業務の省人化が進んでいます。そこで、活躍が期待されるのが駅の案内業務効率化を実現するWill Smartの鉄道向けデジタルサイネージシステムです。運行情報を多言語配信したい、災害時には災害情報を自動配信したい、広告運用で運用費を抑えたい、表示をスマホで切り替えられるようにしたい、無人駅で駅係員の代わりとする、など効率と効果を高めます。その手法や導入事例をご紹介します。
→導入事例を読む
本サイトを運営しております株式会社WillSmartは事業立ち上げから企画・ソフト、ハードを組み合わせたソリューションの開発・運用サポートを提供しております。課題解決型AIやカーシェアリングシステム、非接触型サイネージの様々な事例などをご紹介しています。
メルマガでは、定期的（月に2度）にコンテンツの更新状況をお伝えする予定です。ご興味のある方は以下よりご登録ください。
