あなたはスモールビジネスの顧客サポートに役立つ製品を管理しているとしましょう。目指しているのは、顧客のエンゲージメントとリテンションのレベルを向上させることです。検討中の案が2つあります。
* 事業主がエンゲージメントの統計と傾向をモニターできる、 ダッシュボード
* 事業主が顧客とのコミュニケーションを自動化するのに役立つ、 チャットボット

ダッシュボード案は顧客との話の中で何度か話題にのぼり、潜在的需要が高いと思われますが、使うのがパワーユーザだけかもしれないというリスクもあります。チャットボットは会社の皆が気に入っていて、経営陣は強気でこれを推しています。顧客は大いに喜ぶでしょうし、クールなプロジェクトですし、なにより、チャットボットは大流行しています。

あなたなら、どちらを選びますか？

画像提供： Matthew Henry

このような優先順位付けの問題は、製品管理の核心です。選択を誤ると、非常に高いペナルティ、つまり、開発費用＋デプロイ費用＋メンテナンス費用＋機会費用＋その他の費用が課せられる可能性があります。人は、多数決や、高給取りの意見（HIPPO：highest-paid person opinion）、業界の傾向などの、根拠の弱いシグナルを頼りに決断したくなることがよくありますが、それはルーレット台にチップを置くのとあまり違いません（それで、「大 ばくち 」と呼ばれます）。

この記事では、成功する案を見極めるために私が最良と考える方法を実証します。その方法は、次の3つの部分からなります。

• ICEスコア
• 確信度（無料ツールを使用）
• 漸増的な検証

ICEスコア

ICEスコアは、Sean Ellisが発明した優先順序付けの方法です。彼は、DropBoxやEvenbriteなどの会社の成長を助けたことと、グロースハッキングという言葉を作ったことで有名です。ICEスコアの当初の目的は成長実験を優先順位付けすることでしたが、通常のプロジェクト案にも使えます。

スコアは、案ごとに次のように計算します。

ICEスコア=I（インパクト：Impact）×C（確信度：Confidence）×E（容易性：Ease）
* インパクトとは、その案が改善対象の主要尺度に与える良い効果の推定量です。
* 容易性とは、その案を実施するために必要な労力とリソースの推定量です。これは通常、労力（人週）の逆元です。つまり、労力が少ないほど容易性は高くなります。
* 確信度は、そのインパクトについての確信（自信）の程度を示し、実施の容易性についての確信の程度もいくらかは示します。なぜインパクトと労力だけによる順位付けでは不十分なのかについては、私の 記事 で詳しく説明していますが、短く言えば、人はインパクトと労力のどちらの推定もとても下手なのに、おめでたいことに、それに気付いていないからです。確信度の値は、人が自分の推定に対して正直な態度をとるようにするための、矯正手段です。

この3つの値は、どれも重視されすぎることのないように、1から10の相対スケールで格付けされます。1から10が何を意味するかは、格付けが一貫している限り、それぞれのチームが選定することができます。最終的には、次のようなプロジェクト案のアイデアバンク表を作ることを目指します。

注釈：
プロジェクト案
インパクト
確信度
実施の容易性
ICEスコア
コミュニティタブ
提出フローの更新
PayPal課金の追加
領収書発行の調整

例を使って、この表の使い方を説明します。

ワークショップのお知らせ：リーン生産管理（バルセロナ）
7月7～8日、バルセロナ
この2日間のワークショップでは、 Jeff Gothelf （Sense & Respond, Lean UX）と私が、 リーン生産管理 の原理とツールについて、つまり、現代の生産管理がどのようにしてビジネスの成果を導き、成功に向けて最適化するかについて説明します。

最初のICE

ダッシュボードとチャットボットの2つの案についてICEを計算することにします。この初期段階では、直感だけに頼って大まかな値を使用します。

• インパクト：ダッシュボードはリテンションを大幅に増加させますが、一部の顧客にしか効果がないのではないかと考えて、 10のうち5 の評価を付けます。一方でチャットボットは多くの顧客にとってゲームチェンジャーになる可能性があるので、 10のうち8 の評価を付けます（インパクトの評価方法については、別の記事を書く予定です）。
• 容易性：過去の類似プロジェクトだけを参考にして、ダッシュボードの構築には10人週かかり、チャットボットには20人週かかると推測します。チームリーダーからは、もっと良い推定がもらえるでしょう。（あなたとチームが選んだ）この簡単な表を使って、人週の推定を容易性に変換します。

注釈
人週
容易性
1週間
1－2週間
26週間以上

すると、ダッシュボードの容易性は 10のうち4 、チャットボットは 2 の評価になります。

確信度の計算

確信度を計算する方法はただ1つ、傍証（間接的な証拠）を探すことです。この目的で、私は次の図のツールを作りました。この図は、一般的にありそうなテストと証拠、そして、それから得られる確信度のリストです。この図を使うときには、すでに明らかなものは何か、それはいくつあるか、そして、より確信度を高めるためには、何を得る必要があるかを考えてください。

注釈：（右上から時計回り、外側から中心へ）
自己確信
売り込み資料
テーマ的な支持
ビジョン／戦略、現在の傾向／バズワード、外部調査、マクロ的な傾向、製品方法論に沿う
他者の意見
チーム／管理部門／外部の専門家／投資者／報道機関が考える良案
推定と計画
大雑把な見積もりの計算
エンジニアリング／UXの実現性の評価、
プロジェクトのタイムライン、
ビジネスモデル
事例による証拠
根拠：少数の製品データポイント、トップセールスの要求、興味を持った1～3人の顧客、競合他社のうち1社が採用している、など
市場データ
根拠：調査、スモークテスト、競合他社の多数が採用している、など
ユーザ／顧客による証拠
根拠：多数の製品データ、トップユーザの要求、20人以上のユーザとのインタビュー、操作性の研究、MVP
テスト結果
根拠：長期的なユーザスタディ、大規模なMVP、アルファ／ベータ、A／B実験など
ローンチデータ
ほぼゼロ
極低
低
中の下
中
高
確信度

注：これ以外の証拠テストが当該の製品や業界にある場合は、専用バージョンのツールを自由に作成してもかまいませんが、確信の強弱が何によって表されるかに配慮してください。確信度の評価の詳細な背景については、 以前の記事 を参照してください。

ツールの使用例に戻りましょう。

• チャットボットの傍証：自己確信（あなたが、それを良い案だと考えている）、テーマ的な支持（業界で、良い案だと思われている）、他者の意見（マネージャや同僚が、良い案だと考えている）。ここから得られる総合的な確信度は、10のうち0.1です。このツールでは明らかに、意見は信頼できる指標とは見なされません。面白いですね。
• ダッシュボードの傍証：自己確信（あなたが、それを良い案だと考えている）と、事例による支持（少数の顧客が求めている）。確信度は大幅に上がって10のうち0.5になりますが、それでも低確信度です。残念ながら、顧客は自分たちの将来の挙動を予測するのは苦手なのです。

ICEスコアは次のようになります。

注釈：
案
インパクト
容易性
確信度
ICEスコア
ダッシュボード
チャットボット

注釈：
ダッシュボード
チャットボット
ICEスコア
優先順位付けの勝負

この時点ではダッシュボードは良案のように見えますが、ツールによれば、低確信度から脱していません。判断を下すには、まだ情報が足りません。

推定と実現性チェック

次に、エンジニアリングとUXの担当者たちと顔を合わせて、両方の案について検討します。どちらのプロジェクトも一見したところ、実現可能に思われます。エンジニアリングのリーダーが、労力の大まかな見積もりを作ってきます。ダッシュボードはローンチするまで12人週、チャットボットは16人週かかります。あなたが作った容易性のスケールによれば、それぞれの容易性のスコアは5と4になります。

並行して、大雑把な見積もりを計算します。詳しく見ると、ダッシュボードのインパクトは思ったより低いようなので、評価を3とします。チャットボットの評価は、やはり8と思われます。

確信度ツールを使うと、両方の案は推定と計画のテストに合格して、ある程度の確信度が得られました。現在、ダッシュボードの確信度は0.8、チャットボットは0.4です。

チャットボットが追い上げてきていますね。確信度は依然として低いままで、これには正当な理由があります。これらの数値はどこからともなく引き出されたものなので、もっと多くの証拠を集める必要があるからです。

市場データ

既存の顧客に調査票を送って、チャットボットとダッシュボードを含む5つの新機能の候補から1つを選んでもらいます。数百の回答が得られたとします。その結果、チャットボットの人気がとても高く、回答者の38%がこれを選び、この調査ではこの機能が首位です。ダッシュボードは17%の得票で、第3位です。

この調査で、両方の機能に傍証となる市場データが得られますが、確信度はチャットボットの方が高く、1.5のスコアです。ダッシュボードの確信度も上がりましたが、やっと1です。

チャットボットが相手を大きく引き離しました。同僚や業界の意見は正しかったようですね。では、ここで決断を下すべきでしょうか？　おそらく、まだ早すぎます。このプロジェクトはとても高費用ですが、確信度は中の下です。残念ながら、調査結果からは強力なシグナルは生まれませんでした。作業を続けましょう。

顧客による証拠

さらに情報を得るために、既存の10人の顧客に両方の機能の対話型プロトタイプを見せて、ユーザスタディを行います。並行して、調査の参加者20人に電話インタビューを行って、2つの候補機能のうち1つを選んでもらいます。

この研究で、さらに微妙な様相が見えてきます。

• ユーザスタディの参加者10人のうち8人が、ダッシュボードは有用だと感じ、少なくとも週に1回は使うだろうと答えました。彼らはこの機能を、あなたが意図したとおりに理解しており、また、問題なくこの機能を使いこなしていました。電話インタビューでも、ユーザが理解していること、そして週1回で使用したいと希望していることが確認されました。
• ユーザスタディの参加者10人のうち9人が、チャットボットを使うだろうと答えました。彼らの熱意はとても高く、この機能が役に立つ理由を即座に理解して、多くの人がなるべく早く欲しいと求めてきました。ただし、操作性には問題があり、顧客の何人かは、あらかじめ用意された紋切り型の応答によって自分の顧客が気分を害するのではないかとの懸念を述べました。

この定性研究から、考察の材料がいくらか得られます。ダッシュボードは意外と人気があるようです。チャットボットは、ハイリスク・ハイリターンのプロジェクトのように思えてきました。確信度ツールを参照して、ダッシュボードとチャットボードに、それぞれ3と2.5の確信度を与えます。インパクトを、ダッシュボードは6、チャットボットは9に調節します。最後に、操作性の研究から、チャットボットのUIをもっと軽くするために追加の作業が必要なことがわかり、容易性を2に下げます。

ここで表は再び逆転して、ダッシュボードが首位に立ちました。この結果をチームとマネージャに渡します。ICEスコアに厳密に基づくなら、ダッシュボードを勝者と宣言すべきですが、どちらの確信度も、「高い」とはとても言えません。「おそらく良案」の機能に決定するのには気が乗らず、チームは、両方のテストを続けることにします。

最終テストの勝者はどちらか？

まずチャットボットのMVP（min-viable product：実用最小限の製品）を作ることに決めます。開発には6週間かかり、テストに参加意思を示した200人の調査回答者に向けてローンチします。167人がこの機能を有効化しますが、利用率は日を追って劇的に下がり、2週間後にはアクティブユーザはたったの24人になります。追跡調査と電話によって、「チャットボットは参加者が期待したよりも使い方が難しくて、便利にはほど遠く、さらに悪いことに、人間味を重視する顧客の反感を買う」ということが明らかになります。この機能によって事業主の仕事は、実はよけいに忙しくなるのです。結果を分析して、あなたとチームは、「顧客の期待を満たすチャットボットの実用バージョンをローンチするには少なくとも40から50人週が追加で必要になり（容易性は1）、リスクが高い」との結論に達します。また、これを便利だと思う顧客が最初の予想よりもはるかに少ないことも明らかです。そこで、インパクトを2に下げます。これで、この機能は根本的に変わってしまうので、ユーザスタディの結果を信頼して確認を行うことはできず、確信度ツールを利用して、確信度を0.5に下げます。

別の200人の顧客に向けて5週間以内にダッシュボードのMVPをローンチします。結果は非常に良好です。参加者の87%がこの機能を使い、多くの人は毎日使っており、使わなくなる人はほとんどいません。フィードバックは圧倒的に肯定的で、ほとんどの人は、さらに多くを望みます。インパクトが予想よりも大きいことがわかり、8になります。エンジニアリングチームは完全版のダッシュボードをローンチするにはさらに10週間かかると推定し、容易性は4になります。確信度ツールによれば、迷うことなく確信度を10のうち6.5に設定できます。

この時点で、順位付けは実に簡単になっています。次に推進すべき特徴がダッシュボードであることに異議を唱える人はいません。調査結果を記録するために、チャットボットの案はアイデアバンクに残しますが、ICEスコアが低いので、当然ながらリストの最後に置かれます。

まとめ

1.良くない案に投資するのをやめる

この例から、直感や意見、テーマ、市場傾向などに基づいて、多くの労力の必要な特徴に賭けることが、どれほど危険なのかがわかります。ほとんどの案はダッシュボードよりもチャットボットに似ています。インパクトについては期待外れで、思っているよりもずっと費用がかかります。成功する案を見つける唯一の現実的な方法は、その案をテストにかけて不確実性のレベルを下げることです。

2.アウトプットではなく成果を気にかける

このやり方で製品を作るのは面倒で時間がかかるように見えるかもしれませんが、実際には他のやり方よりもずっと効率的なのです。確信度のテストは、良くない案に費やされる無駄な労力をほとんど取り除くだけではなく、すぐに目に見える結果のある、短期的で実現可能な 学びのマイルストーン にチームを集中させます。このプロセスを通して、チームは製品、ユーザ、市場について多くを学び、結果的に、すでにユーザによってテスト済みの優れた最終製品が得られます。ですから、ローンチの日に驚き慌てるようなことはほとんどなく、ローンチ後の修正の必要もずっと少なくなります。

3.千の花を咲かせよう

実際には、多くの場合、2つではなく多数の案からの選択が必要になります。個々の案に注ぐ労力を確信度に基づいて制限することによって、従来型の大ばくち的な開発を避けて、多くの案を並行してテストすることができます。詳しくは、 GISTプランニング に関する私の記事を参照してください。

注釈：
目標
目標1
目標2
案
案1
案2
案3
案4
ステップ

この例では、チームは4つの案を並列にテストしています。いくつかのステップのあるプロジェクトを実行し、それぞれのステップで徐々に大きなバージョンを作って、より高い確信度についてテストします。

4.マネージャとステークホルダーを味方に付ける

私がこの話をすると人々が一番心配することは、どうやってマネージャとステークホルダーから同意をとるか、です。製品に関して彼らの神のような力を制限することが本当にできるのでしょうか？　驚いたことに、できるのです。私はマネージャたちから、「製品に関する意志決定者にはなりたくないが、説得力のない意見をチームから提示されると、関与せざるを得ない気持ちになる」という話をよく聞きます。説得力があるかないかは、当然ながら条件付きの意見ですから、あなたが、完璧に練り上げた売り込み資料に加えて本物の証拠と明確な確信度を示すなら、状況は変わります。驚くほど会話が簡単になるでしょう。逆に、次にCEOが必携の持論であなたを驚かせたなら、彼女の案がどのように評価されるのかを見せましょう。どれぐらいのインパクト、労力、確信度の値をその案に与えることができるか、その案のICEスコアが他の案に対してどれぐらい高くなるのか、そして、より高い確信度を得るためにはどのようにテストすれば良いのかを示します。理性のある人なら、大抵は、それが良い取り組み方だということに同意するでしょう。それでも納得してくれないなら、このブログ記事を彼らに送って、コメントを残すように（または私に宛てて@ItamarGiladにメッセージを送るように）頼んでください。あなたに代わって私が闘うことをお約束します。

Itamar Gilad（ itamargilad.com ）：高価値な製品を作るための企業支援と講演を行う製品コンサルタントです。過去15年以上にわたり、Google、Microsoftや、多数のスタートアップで製品管理の上級職を務めてきました。

eメールによる記事の配信を希望される方は、 ニュースレターにサインアップ してください。

David Smooke 、 AMI にお礼を申し上げます。