国または地域と言語

    国または地域と、言語を選んでください。

    おすすめ

      すべての国と地域

        キャラクターを選ぶ

        上部のバーとプロフィールに表示されます。いつでも変更できます。

        指標とA/Bテスト

        結果を定義し、競合する説明を検証して、根拠が何を裏づけるかを判断します。

        • 6 件のシナリオ
        • 30 分ずつ
        • 話すか入力して 回答します
        • レポートの基準: 選んだレベル

        質問は合成音声が行います。

        面接のレベル

        練習シナリオ

        シナリオを選んでください。各面接は、選んだレベルのレポートで終わります。

        30 min4 段階ミドル レベル

        ガードレールを伴う決済画面の実験

        Elm Ticketsは、ユーザー単位の無作為な割り当てで、新しい決済画面をテストしています。対照群は割り当てられた1,000人のユーザーから200件の購入と8件の返金、介入群は割り当てられた1,000人のユーザーから230件の購入と23件の返金です。チームには、購入の増加と顧客への害の両方を考慮した展開の判断が必要です。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に4レッスン

        ミドル の基準

        • 前提、方法、結果を結び付けてください:購入しなかった人を除くと無作為に割り当てた対象が変わってしまうので、私は割り当てられたユーザー1人あたりの購入を、主要なITT(intent-to-treat)の結果指標として使います。私は共通のフォローアップの期間を持つ返金のガードレールを定義し、まずログの記録と割り当てを確認します。
        • 結果を左右するエッジケースをテストしてください:これらの条件が因果的な解釈を支えるので、私は無作為な割り当て、サンプル比率、接触のログ、ユーザー同士が影響し合うかどうかを確認します。私は事前に定めた結果指標について不確かさを推定し、最初に有利な結果が出た時点で止めないようにします。
        • 責任を持つ検証や運用のチェックを説明してください:購入が増えただけでは顧客にとってよい結果になったことは確かめられないので、私は返金が出そろうことと、ガードレールを確認する間、全面的な展開を保留します。私は見出しの率から勝ちを宣言するのではなく、両方の効果と不確かさを報告し、その後、判断のルールを合意します。
        30 min5 段階ミドル レベル

        オンボーディングの完了率の低下

        Maple Deskは予約の登録フローを変更し、プロダクトマネージャーはそれを元に戻したいと考えています。古いフローでは400回の開始から240件が完了し、新しいフローでは600回の開始から252件が完了し、モバイルのトラフィックがより多くありました。この比較で何が裏付けられるか、そして減少をどのように調査するかを決めてください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • 成熟した対象ユーザーのコホートを定義し、デバイスの構成を比較し、管理された検証を提案する前にイベントを確認している。
        • トラフィックの構成が変わると全体の率も変わることがあるので、モバイルとデスクトップのコホートを別々に比較し、計測を信頼する前に生のイベントを照合します。レポートの期間をそろえると、締め切り間際の完了の欠落が明らかになりやすくなります。
        • ユーザーがフローを行き来すると管理された実験が汚染されてしまうので、明確なガードレールと停止のルールを決めたうえで、ユーザー単位でランダムに割り当てます。意味のある効果の大きさからサンプルサイズを決め、割り当てたすべてのコホートに完了までの期間を確保します。
        30 min5 段階ミドル レベル

        継続率のダッシュボードをめぐる争い

        Northstar Notesは、新しいプランで継続率が改善したかどうかを知りたいと考えています。4月に開始した100人のうち80人が5月に活動し、5月に開始した50人のうち30人が6月に活動しました。別のグラフでは、それらをまとめて110人の継続ユーザーとしています。アップグレードによって、同じ顧客の別のアカウントのレコードが作られることがあります。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • アップグレードを安定した顧客の識別情報に対応付け、確定していない観察を除外し、継続率と件数を区別している。
        • そうしないと同じ人が新規の顧客と継続の顧客の両方になりうるので、数える前に、各アップグレードと重複したアカウントを安定した顧客の識別情報に対応付けます。対応付けられないものを確認し、ログの停止と活動ゼロを区別します。
        • プランが何かを変える前から、プランへの自己選択が以前の活動と相関している可能性があるので、顧客のグループを対照群やランダムな実験と比較します。一部の顧客がプランを断った場合でも、ITT解析のために割り当てを保持します。
        30 min4 段階ミドル レベル

        結果を集める前に実験を計画する

        Pine Dispatchは、ユーザーが予約を完了するのを助けるリマインダーをテストしたいと考えています。計画のベースラインは完了率20%で、チームは22%への上昇に意味があると考えています。次のリリースの前に、どれだけ待ち、いつ判断するかを含めたテストの計画が必要です。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • サンプルサイズの計算でベースライン、検出可能な最小の効果、有意水準、検出力を使い、その後、対象のトラフィックを期間に換算してください。
        • 登録が終わっても最新の結果が出そろうわけではないので、私は必要な割り当てユーザー数を1日の対象トラフィックで割り、その後に7日間の結果の期間を加えます。私は週ごとの運用のサイクルをカバーし、結果を解釈する前に割り当てのバランスを確認します。
        • 有意になるたびに止めると偽陽性が増えるので、有効な逐次の設計を選んでいない限り、私は事前に定めた固定期間での判断を守ります。私は別に定義した害のガードレールを監視し、効果の早期の勝ちを宣言せずに、安全のために止めることができます。
        30 min4 段階ミドル レベル

        薄れていくリリース直後の急増

        Birch Boardsは、4週間にわたって、ユーザーを新しいワークスペースのレイアウトに無作為に割り当てました。介入によって1週目の完了したタスクは増えましたが、週ごとの改善はゼロに向かって縮小し、チームは毎朝有意性を確認していました。これが継続的な展開を裏づけるかどうかを判断してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • 登録した週と接触してからの期間を分け、割り当てを保ち、安定した後の週ごとの効果を不確かさとともに比べてください。
        • 固定期間の検定は示された分析計画を前提としているので、毎日結果をのぞき、最初に有意になった時点で止めると、偽陽性のリスクが高まります。私は事前に定めた最終の分析か、有効な逐次の方法を使い、計画したすべての結果を報告します。
        • 初期の目新しさによる改善は持続的な価値を示すものではないので、私は持続的な効果と品質のガードレールが明らかになるまで、全面的な展開を保留します。新たに事前に定めたコホートや、より長い安定後のフォローアップを使えば、結果を見た後で成功のルールを書き換えずに、効果の持続をテストできます。
        30 min4 段階ミドル レベル

        遅くなったサービスを隠す平均

        Spruce Supportは、ルーティングの変更後に平均の応答が速くなったと報告しています。変更前は、単純なチケット80件の平均が2時間、複雑なチケット20件の平均が10時間でした。変更後は、単純なチケット95件の平均が3時間、複雑なチケット5件の平均が12時間でした。結果を説明し、次の分析を提案してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • 変化の原因を特定する前に、チケットの構成を一定にし、未解決のチケットによる打ち切りを確認し、応答のイベントを定義してください。
        • 80×3+20×12は480なので、以前の80対20の構成に新しいセグメントごとの時間を当てはめると、4.8時間になります。どちらのセグメントも遅くなっているので、私はその悪化を、単純なチケットの割合の増加と分けて考えます。
        • 全体の平均が下がったのはサービスが速くなったからではなく構成によるものなので、私はチケットの種類ごとに応答を調べることを勧めます。私は平均とあわせて、セグメントごとの件数と裾のレイテンシーを公開し、その後、比較できる到着と未処理の残りのガードレールを使ってルーティングをテストします。

        面接ハブの利用

        面接ハブはAll Accessに含まれています。続けるには、プランを選ぶかアカウントにサインインしてください。

        プランを見るサインインまたは登録

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        ヘルプとフィードバック

        質問、うまく動かない点、アイデアなどをお寄せください。メールで返信します。

        どのような内容ですか?

        返信のためだけに使用します。