マトリックス数の増減によるデバイス毎の回答差について ～回答デバイスに配慮した調査設計に向けて～

ダウンロードする　→

生活者起点のリサーチ＆マーケティング支援を行なう株式会社ネオマーケティング（所在地：東京都渋谷区）では、今の時代に即したマーケティングリサーチのあり方を検討するべく研究チーム「NEO Research Labo」を立ち上げ、独自で調査を行なっております。今回プロジェクト第2段の調査として、マトリクス設問のおける回答デバイスの違いが回答の質に与える影響を明らかにするべく、インターネットリサーチを実施いたしました。

調査背景

近年のインターネットリサーチにおいて、スマートフォン回答者の割合が増加しています。以前はPCでアンケート調査に回答することが主流でしたが、近年はスマートフォンが年代を問わず普及していることも相まって、調査業界としてもスマートフォン回答を前提とした調査設計が求められています。
そこで、PCとスマートフォンで回答したときの回答の違いを明らかにし、よりこれからの時代における有効なインターネットリサーチのあり方を検討するための調査プロジェクトを始動しました。

【調査内容】
インターネットリサーチを行い、以下3点について回答したデバイスによる違いを検証しました。
●　回答設問数の影響
●　マトリックス数の増減による影響　
●　マトリックス数が多い設問は、複数設問に分けて聴取すべきか

調査概要

1．調査の方法：株式会社ネオマーケティングが運営するアンケートサイト「アイリサーチ」のシステムを利用したWEBアンケート方式で実施

2．調査の対象：アイリサーチ登録モニターのうち、全国の20～69歳の男女を対象に実施

3. 調査対象の条件：本調査を回答したデバイスによって以下割付し、調査を実施
※回答者自身または同居家族が「調査業・広告代理業・マーケティング業」に従事している場合、調査対象外とする「職業排他」を実施

4．有効回答数：3000名

5．調査実施日：2020年8月21日（金）～2020年8月25日（火）
※備考：バイアスを完全に排除するため、マトリックス数ごとの群を作り、各設問は回答させた。各群フレッシュサンプルで実施。

• ◆調査結果総括

• ●SAマトリックスは10×5、10×5、20×5で大きな差がなく、マトリックス数の増減によって、PCとスマホのデバイスを考慮した設計を考える必要性は少ない。
  
  ●MAマトリックスは、マトリックス10×10に近づくほど、PCとスマホの差は少なくなる。
  そのため、理想は10×10が望ましいが、実務への適用を考えると、10×10～15×15の範囲が現実的と考える。どうしても20×20になる場合は、設問を2問に分けることも一つの手となりえるのではなかろうか。
  

• 分析結果

• ●離脱率/回答時間の違い
  マトリックス数が増えると、スマホ回答者はPC回答者に比べ離脱率が高くなり、回答時間が長くなる。
  　　
  
  ●回答傾向の違い
  ・SA（単一回答）マトリックスの場合
  　マトリックス数の増加によるスマホ回答者とPC回答者の違いは、ほぼ見られなかった。
  
  ・MA（複数回答）マトリックスの場合
  マトリックス数が15×15を超えてくると、スマホ回答者とPC回答者で、回答傾向に違いが生まれてくる。各群の選択肢はマトリックス数に応じて異なるため厳密に比較できないが、前半の選択肢はスマホ回答者に回答される割合がやや高く、後半では若干PC回答者に回答される割合が高い傾向であった。
  　　
  ・Minマトリックス（10×10）：
  スマホ回答者とPC回答者の回答傾向の違いはほぼ見られなかった。
  ・Mediマトリックス（15×15）：
  スマホ回答者とPC回答者で、回答傾向の違いが数か所見られた。
  ・MAマトリックスに（20×20）：
  Mediマトリックスよりも多く、回答傾向の違いがみられる箇所が見られた。
  
  ※スマホ回答者とPC回答者の回答傾向の違いは、それぞれの設問項目におけるそれぞれの選択肢の回答割合を比較。10ポイント以上値に差があった時に、違いがあると判断。
  
  
  ●回答デバイスに配慮した調査設計に向けて
  スマホ回答者には配慮して、選択肢が多い20×20の場合は2問に分けることが考えられる。
  
  ・C群(20×20で1問聴取)は、スマホ回答者はPC回答者に比べ10ポイント以上高いセルが存在。
  ・D群(10×20で2問聴取)は、スマホ回答者とPC回答者の差が10ポイント未満に留まった。
  
  ⇒選択肢が多いC群はスマホ回答者とPC回答者の結果に違いが生じた。
  C群が回答した設問を単純に分割した設問を回答したD群では、スマホ回答者とPC回答者の結果の違いは小さくなった。まだまだ検証は必要となるが、デバイスによる回答結果の違いを小さくするため、選択肢の多いマトリックスは分割した方がよいと考えられる。
  
  

• 1.離脱率

• 
  離脱率は概ね低く、デバイス間の違いは小さかった。ただし、マトリックス数が最も多いC群のQ1は脱率が高い(特にスマホ)。Q2以降の離脱率は低くなることから、最初の設問を乗り越えれば、途中離脱は少ないことがうかがえる。さらに、C群からD群にかけて離脱率が低下することから、20×20マトリックスを2問に分けると、離脱率が下がることも分かった。

• 2.回答時間

• 
  一人当たりの回答時間は、マトリックス数が増えるにつれて長くなる。
  特に、スマホ回答者の回答時間が長くなる傾向がある。
  

• 3.回答設問数の影響/マトリックス数の増減による影響に関して
  （Minマトリックス(10×10)の場合）

• 
  ＜目的＞
  回答設問数やマトリックス数の増加が、回答傾向に影響を与えるか確認する。
  　※なお、実際は全設問の分析を実施しているが、MAマトリックスの代表として、離脱率・回答時間で差が見られ、回答傾向に大きな違いがありそうなQ1のみ記載する。
  SAマトリックスの検証はQ5を取り上げる。
  
  ＜検証方法＞
  〈PC回答者の値-スマホ回答者の値〉の差分を算出し、回答傾向の違いを確認する。
  差分が大きいほど、PCとスマホの回答傾向に違いがあることを示している。
  ※スマホ回答者とPC回答者の回答割合に10ポイント以上値に差があった時、違いがあると判断。
  
  ＜調査結果＞
  Minマトリックス(10×10)の場合：
  MAマトリックス・SAマトリックスともに、スマホとPC回答者の回答傾向に違いはほぼ見られない。　　　　　　　　　
  ※他のQ2～Q4のMAマトリックス設問でも同様の傾向。
  

• 3.回答設問数の影響/マトリックス数の増減による影響に関して
  （Mediマトリックス(15×15)の場合）

• SAマトリックスは、スマホとPC回答者の回答傾向に違いはほぼ見られない。
  MAマトリックスでは、スマホ回答者の方が高い箇所が数か所見られた(10ポイント未満の差だが、Minマトリックスよりも差が出始めている)。
  ※他のQ2～Q4のMAマトリックス設問では、スマホ回答者の方が10ポイント以上高い箇所が数か所見られた。
  
  
  
  
  
  

• 3.回答設問数の影響/マトリックス数の増減による影響に関して
  Maxマトリックス(20×20)の場合

• SAマトリックスでは、スマホとPC回答者の回答傾向に違いはほぼ見られない。
  MAマトリックスになると、スマホ回答者が10ポイント以上高い箇所が多くなってくる。
  Min/Mediマトリックス設問と選択肢が異なるため厳密に比較できないが、スマホ回答者の回答が前の選択肢にやや集中している傾向がある。
  ※他のQ2～Q4のMAマトリックス設問でも同様の傾向。
  
  
  
  
  

• 4.マトリックス数が多い設問は、複数設問に分けて聴取すべきか

• 
  ＜目的＞
  マトリックス数が多い設問は、複数設問に分けて聴取すべきか確認する。
  
  ＜方法＞
  C群は20×20で1問、D群はC群が回答する設問を2つに分割し、20×10で2問を回答させる。その回答傾向の違いから、選択肢数の多いマトリックスは1問で聴取すべきか、分割して聴取すべきかを検討する。
  なお、C群の分析結果は前頁の上の表である。
  
  ＜調査結果＞
  キャラクターイメージを、C群(20×20で1問聴取)とD群(10×20で2問聴取)で比較すると、
  C群はD群に比べ、スマホ回答者の結果が前半の選択肢で高く、後半の選択肢でやや低い傾向。
  

• 5. (参考)アンケート回答におけるデバイス比率

• 
  ＜目的＞
  PCとスマートフォンでの回答比率を確認する。
  
  ＜コメント＞
  「普段、アンケートを回答する際のデバイス」は、全体でPCが69.5％、スマホが59.9％でややPCでの回答割合が高い。男女ともに、年代が高いほどPCで、年代が若いほどスマホで回答していることがわかる。
  

ダウンロードする　→