多変量テストとは、複数の要素の組み合わせを同時に試すことです。
一度に多くの要素をテストすることで効率を高めるほか、どの要素が機能しているか、どの要素が連携しているのか、またその理由も特定できます。
例えば、ファーストビューのキャッチコピーA・B・C、ボタン赤・緑・青を、3×3の9パターンに組み合わせ、一番成果の得られるパターンを特定するテストです。「キャッチコピーBには赤いボタンがセットだと成果を得られやすい」などのテスト結果から改修につなげられます。
多変量テストのデメリットは、統計的な有意差を出すために大量のトラフィックまたはコンバージョンが必要となることです。時には数百、数千という数のテストパターン(バリエーション)を1回で行うため、有意差が出るまでに膨大な時間を要します。