そのグルイン、バイアスだらけじゃないですか?

先日、面白いグルインに関する記事を見つけました。ちょっと、内容は変えていますが主旨は以下のようなものです。

+++++++++++++++++++++++++++++++++++++

都内のとあるグルイン会場、モデレーターが、女性向け飲料の2時間のグループを終えて、バックルームに戻ってきました。そしてクライアントを交えたデブリーフィングが始まりました。

まずクライアントのパッケージデザイン開発責任者のタクヤさんが口を開きました。

「結論は出たね。この新しいパッケージデザインで全く問題ない。対象者Cさんは、すっごく、このデザイン気に入っていたよね♪」

Cさんは、グループの中でもひときわ魅力的な女性でした。

これに対して、ブランドマネジャーのシズカさんが反論しました。

「Cさんの話は聞くべきじゃないわ。ちょっと、あのひと、どこか抜けているんじゃない?」

バックルームには緊迫した空気が張り詰めました・・・

ここには様々なバイアスが潜んでいます。まず、タクヤさんにはselective retention (選択的保持)として知られるCognitive Bias(認知バイアス)が見られます。タクヤさんは、もちろんグループで様々な発言を聞きました。でも、それらを忘れてしまい記憶に残っているのは「彼が聞きたかったこと」だけなのです。一方でシズカさんにもバイアスがかかっているように見えます。Confirmation bias (確証バイアス)のひとつであるGender Bias (ジェンダーバイアス)によって、グループ観察中にCさんの発言には無意識に耳をふさいでいたのです。

+++++++++++++++++++++++++++++++++++++++

同じグループインタビューやデプスインタビューを見ていても、違う人が違う結論を導き出してしまうことはよくあります。上記の例は極端かもしれませんが、グルインを実施している皆さんは、これに近い光景を目にしたことがあるのではないでしょうか。これはバイアスが大きく影響しているからです。

マーケティングリサーチにはバイアスがつきものです。皆さまも、リサーチのことを学び始めたときは、どのようなバイアスがあって、どのように避けるかみたいなことを習われたのではないでしょうか。ただ、それは多くの場合、定量調査に関することであって、定性調査におけるバイアスについて語られることはあまりないように思います(私が知らないだけかもしれませんが・・・)。

しかしながら定性調査にもバイアスは存在します。そこで、今回は定性調査にはどのようなバイアスがあるのかをまとめてみました。 

定性調査における様々なバイアス・・・対象者編

まずは、対象者がかかるバイアスについてです。なお、以下のバイアスの日本語名に関して、調べてわかったものは、そのまま記載しましたが、わからなかったもの、「( )で囲っています」は私が勝手に名付けました。これが正式な日本語名だと誤解しないように、くれぐれもご注意ください(苦笑)。

<< Acquiescence Bias/Yea-Saying/Friendliness Bias>>
+ (とりあえず、“はい/いいですね”って言っておこうバイアス)

対象者の中には、グルイン/デプスでモデレーターから示されたコンセプトやデザインに対して否定的な意見を言うとモデレーターや、他の肯定的な意見を持つ参加者が気を悪くするのではないかとか考える人がいます。このような人は事を荒立てたり、議論することが好きではなく、また面倒に感じたりするので、すべてのことに対して、とりあえず「はい/いいですね」と答えてしまう傾向があるようです。

また、多くの対象者はグルインの終盤になってきくると、疲れてきて、とりあえず早く終わりたいので「はい/いいですね」といって議論を終わらせようとする心理が働いてしまうこともあります。

このバイアスを避けるには、「様々な違う意見が出ることが貴重です」、「意見に正しい/間違っているはありません」といったことを、グルイン中に適宜リマインドすることが重要かと思います。

<< Social Desirability Bias/ Social Acceptance Bias >>
+ 社会的容認バイアス (私は“常識人よ/いい人よ”と見られたいバイアス)

人には、誰でも、周りから認められたい、変な奴だと思われたくないという思いがあります。この思いから、対象者がグルイン中に実際に思ってもみない発言をしてしまうことがあるというバイアスです。特にセンシティブなトピックや個人的なトピックの場合はこのバイアスが現れる傾向が強いようです。例えば、「不倫についてどう思いますか」という質問で、本人がしていても「よくないことだと思います」と答える人が多いのではないでしょうか。また、専業主婦に「普段の食事の準備で心がけていることは何ですか」と聞いて、実際は冷凍食品の手抜きばかりでも、「はい。毎日栄養バランスを考えて手作りを心がけています」と答えてしまうのもこのバイアスが表れる例かと思います。

モデレーターは対象者にこのバイアスがあるなと感じたら、本人のことではなく、第三者のこととして聞いてみるのが一つの手です。

「最近、不倫がよく話題になっていますが、している人はどう思っているのでしょうね」、「周りの友達は、普段の食事の準備についてどう言っていますか」

なんて聞くと、本人の本音が見えてくるかもしれません。

<< Moderator Acceptance Bias >>
+ (モデレーターに気にいられたいバイアス)

これは上記の社会的容認バイアスと似ていますが、その容認されたい対象が特にモデレーターに向いている場合です。サービス精神旺盛の人は目の前にいる人を喜ばせたいという思いが常にあります。このような人が対象者だと、モデレーターが聞きたいこと、喜ぶだろうことを敏感に察知して、そのような答えを発言してしまうことがあるのではないでしょうか。対象者が男性で、モデレーターが美人な女性だったら、特にこのバイアスには要注意ですね(笑)。

<< Habituation >>
+ (繰り返しに疲れてしまうバイアス)

これは、長いネットリサーチの最後の方に、マトリクスの設問があって、対象者が疲れ、面倒になって、すべてに「あてはまる」を選んでしまう状況を思い起こしてもらうとわかりやすいと思います。このような現象は定性調査にもあります。インタビューでは、例えばある製品の購入理由を、深堀したいがために手を替え品を替え、様々な角度から質問することがあります。しかしながら、対象者は面倒になって、(「さっきも話したじゃん」と心の中でムッとしながら)同じ答えしかしなくなってしまうことがあります。インタビューは、深堀することが重要ですが、一方で、しつこすぎなく、また対象者のEngagementを保ちながら話を進めることにも気をつかうことが重要ですね。

<< Sponsor Bias >>
+ スポンサーバイアス

これは、皆さまよくご存じだと思います。調査において、その調査の委託者であるクライアント名を明らかにすると、回答に影響を与えるというバイアスです。MROCはUnbrandedにすべきかBrandedでもよいのか、みたいな議論がありますが、これはこのバイアスをどのように考えるかという議論でもあるかと思います。

<< Dominant Respondent Bias >>
+ (一人の対象者が議論を引っ張るバイアス)

これも皆さまお馴染みのバイアスなので、説明するまでもありませんね。ご存知のように、このバイアスがグルイン否定派の論拠になっています。

<< Overstatement Bias >>
+ (話を盛ってしまうバイアス)

このバイアスの原因は、モデレーターに気にいられたいバイアスに近い部分があります。

最近、世間では周りからの注目を集めるために「話を盛る」という風潮が強くなってきているのではないでしょうか。グループインタビューやデプスインタビューで話を盛られるのも、多少であればよいのもしれませんが、行き過ぎると、それが「作り話/真実ではない話」になってしまう可能性があります。

特に、この話を盛ってしまう人は。グルイン/デプスによく参加している、いわゆるプロフェッショナルレスポンデントに多いのではないでしょうか。グルイン/デプスに呼んでもらいたい(謝礼をもらいたい)、だから、気に入られそうなこと、場が盛り上がるようなことを言っておこうみたいなインセンティブが働くのだと思います。

この風潮はやっかいですね。今後、モデレーターや分析者には、今後ますます真実を見極める力が重要になってくるのではないでしょうか。

<< Mood Bias >>
+ (その時の気分によって回答が変わってしまうバイアス)

これをバイアスと呼んでよいのかどうか、やや疑問ですが、ぜひ知っておくべきだと思いますので紹介しておきます。人は、その時の気分によって回答が変わります。もし平日夜のグルインに参加する男性社会人対象者が、その日に仕事で失敗して上司に怒られて気分が落ち込んでいたら、ネガティブな発言を連発することでしょう。しかしながら、そのグルインが土曜日で、その対象者が仕事のことはすっかり忘れてウキウキ状態だったら、同じトピックであっても反応は全く別の物になっているかもしれません。この点に関しては、前回の記事に詳しく書いていますのでぜひご参考にしてください。

(前回の記事 – 今、定性ハイブリッド調査がアツい!)

https://www.teisei-ishin.co.jp/article/15403141.html

<< Interaction bias >>
+ (私は“違う視点がある人なのよ”と主張したいバイアス)

あなたが、社内で会議をしていて、あるトピックについて順番に発言が行われたとします。例えば、ある新規事業アイデアに対して、最初の2人が、「これ素晴らしい!」という発言をしていたら、3番目に発言するあなたは、本当は自分も「悪くはないな~」と思いつつ、あえて「私はちょっと違う意見です」と言ってしまうことはないでしょうか。これは、自分には人とは違う視点を持ったユニークさがあるということを無意識にアピールしたい、また議論を盛り上げるために、人とは違う意見を出しておこうというサービス精神が働くのだと思います。また、「私も同じです」と言ってしまうと、「お前は自分の意見はないのか」と後で上司に怒られてしまうかもしれないですし。

グルイン参加者においても、このような意識・・・謝礼もらうのだから人と同じ意見だけ言うのは申し訳ない、人と自分は違うのよというアピールをしたい・・・が働くことがあるというのが、このバイアスです。

<< Consistency Bias/Concept Test Bias >>
+ 一貫性バイアス(私は“自分の考えをしっかり持っている人よ”と見られたいバイアス)

これは、様々な意味合いがあるようですが、定性調査内で現れる典型的な例は、対象者が一度、何かを発言したら、その後でする発言において、一貫性を保とうとすることです。グルインやデプスの最初で、「普段の食生活ではどのようなことに気をつけていますか」、という質問に対して、「野菜を取り入ることを心がけています」みたいに答えた対象者は、引き続いての新飲料のコンセプト呈示では、「とてもおいしい」というコンセプトに最も魅かれていたとしても「“1日分の野菜が取れる”のコンセプトが最も好きです」と答えてしまう場合があてはまります。自分は意見をコロコロ変えない、自分は自分の考えをしっかり持っている人なのよと見られたい心理が働くのでしょうかね。

ちなみに、みなさんはコンセプト評価の定量調査をしたくて調査票を作るとき、コンセプト評価の質問はどこに置きますか?最初でしょうか、または当該カテゴリーの実態や態度に関する質問をした後に聞くでしょうか。私は、バイアスがかからないように最初に聞けと習ってきたのですが、そう考えると、通常グルインでコンセプト評価は後の方で聞くのはどうなのかと思ったりしています。まあ、ケースバイケースなのでしょうが。

<< Self-Selection Bias >>
+ 自己選択バイアス(調査に参加する人はそれだけで普通の人じゃないかもしれないバイアス)

例えば金融サービスのグルインに参加しようとする人は、一般の人よりも金融サービスに対する興味・関心が高いと考えられます。そのような人に、新しい金融サービスのコンセプトを示せば、一般の人より、理解度は高くよりポジティブな回答傾向を示すのではないだろうかという話です。あまり金融サービスに興味のない人であれば、「ふーん。よくわからない」で終わってしまうコンセプトに対しても、興味ある参加者は絶賛し称賛の言葉を並べるかもしれません。それを見ていた分析者は、「このコンセプトは行ける!」と思ってサービス化してみたら、全然売れずに「グルインではあんなに評判よかったのに・・・」なんて嘆くことになることがあるかもしれません。

もちろん皆さんも参加者募集のスクリーニング調査の際に、「あなたの普段の生活に関する座談会」みたいな名前をつけて、出来るだけ内容がわからないような工夫をされてはいるかと思いますが、普段どのような金融サービスを利用していますか、そのサービス名は、とか延々とスクリーニングとして聞かれると、どう考えても金融サービスに関する調査への参加募集だとバレていると考えたほうがよいかと思います。なので、この人たち(グルインに参加している人)は、どこまで市場を代表している人なのだろうかという視点を常に持ちながら参加者の発言を聞くことも重要なのではないでしょうか。

<< Confirmation Bias >>
+ 確証バイアス(恋をすると相手の欠点が見えなくなってしまうバイアス)

人が恋に落ちるのに理由はありません。でも、恋におちると、その理由を後付けで探し出そうとします。もちろん、その時は相手のよいところしか見えなくなり、欠点は見えなくなります。場合によっては欠点をむりやりポジティブに解釈しようとしだします。「私に暴力をふるうのは、それだけ私のことを深く愛している証拠だわ」みたいに。これは人だけではなく、対ブランドにもあてはまります。あるブランド狂信者がグルインに参加して、そのブランドの新しいコンセプトを見せられると、そのコンセプトがどんなにひどくても、このコンセプトは素晴らしい、こういう良い点があると自分を正当化させる発言を連発することでしょう。

ブランド狂信者を育てることがマーケティングの目的ですが、調査においては、狂信者の反応をどう理解すべきかは慎重である必要があると思われます。

定性調査における様々なバイアス・・・インタビュアー/分析者編

ここからは、インタビュアーや分析者がかかるバイアスについてです。

<< Selective Exposure/Selective Retention/Confirmation Bias >>
+ 選択的露出/選択的記憶/確証バイアス/(自分に都合のよいことだけ取り入れてしまうバイアス)

これは冒頭のストーリーにおける男性クライアントに現れていたバイアスですね。自分に都合の悪いことは聞かなかったり、忘れてしまったり、解釈を捻じ曲げてしまったり・・・。このSelection BiasやSelective Retentionは前述の対象者だけではなくインタビュアーや分析者においても起こり得る、定性調査においては特に注意が必要なバイアスです。

ただし、このような傾向は人間、誰にでもあるのではないでしょうか。特に世間でポジティブ思考といわれる人はこのような傾向が強い人なのかもしれませんね。なので、普段の生活においてこのバイアスは決して悪いものではないかもしれません。ただし、定性調査の分析においては注意が必要です。

<< Culture Bias/Gender Bias >>
+ カルチャーバイアス/ジェンダーバイアス/(ステレオタイプで見てしまうバイアス)

これはわかりやすいバイアスかもしれません。グルインの対象者リストを見て、関西出身者が多くいれば、かならずこのグループは盛り上がるはずだという先入観を持ってしまうように、文化による先入観を持ってしまうことですね。また女性を見て〇〇だ・・・なんて勝手に決めつけてしまうことはジェンダーバイアスです。文化や性別ではないですが、日本人が好きな、「彼はA型です」と聞けば、その人は細かい人だと思ってしまうようなことも、このバイアスの一つなのかもしれません。

<< Leading questions and wording bias >>
+ 誘導質問によるバイアス

これもグルイン中によく見られるバイアスです。例えば、

「多くの人がコーラ飲料は体に悪いと考えていますが、あなたはコーラ飲料についてどう思いますか」

定量調査でこのような調査票を作ったら、一瞬でクライアントからの信頼を無くしますが、定性調査でこのような質問をするモデレーターさんは決して少なくないように思います。

グルインの中のあるコンセプトの評価で、あまり反応がなかった時にモデレーターさんが

(モデレーター)

「前のグループで、このコンセプトに対して〇〇の点が△△だからよいって言っていた人がいたけどけど皆さんはどう思う」

(対象者A)

「そう言われれば、その点はよいかもね」

(対象者B)

「うん、そうね」

(対象者C)

・・・黙ってうなずく

みたいになって、これらの対象者の発言が既成事実となり、「このグループでも〇〇の点が評価された・・・」という結論になり報告書に載っていくことは少なからずあるように思いますがいかがでしょうか。

黙っている人に発言を促したり、聞きたい答えが出てこなかったりする場合に刺激を与えるという意味で、このような聞き方をするのもありなのかもしれませんが、その反応にたいする解釈には気をつけるべきかと思います。

もっともクライアントさんから自分のストーリーをつくりあげるために、このように聞いてくれというリクエストになる場合も少なくはないですが・・・

<< Unanswerable Question Bias >>
+ (答えられない質問に無理やり答えさせてしまうバイアス)

これは誘導質問と似ていますが、対象者が答えられないことに無理やり答えさせるようなケースがよくあります。

例えば、デプスインタビューで普段カミソリでしか髭を剃らない対象者に

(インタビュアー)

「もしも、あなたが、次に電気シェーバーを買ったとして、こんな機能がついていたらどう思う」

(対象者)

「(オレは電気シェーバー嫌いで今後も使うつもりはないって、さっき言ったのに・・・、まあ仕方ないから何か言っておこう・・・)もし使うとしたら悪くはないかな・・・。役に立つかもしれないですね」

みたいな答えが返ってきて、新機能はノンユーザーにも可能性があるみたいな報告書が出来上がってしまうようなケースです。

クライアントさんや調査会社の人間は、「せっかくリクルートして謝礼も払っているのだから、とりあえず聞けることは聞いておかなきゃ損」、みたいなマインドになるのもわかるのですが、それによって間違った方向にいかないように注意が必要ですね。

<< Survivorship Bias >>
+ 生存者バイアス/死人に口なしバイアス

これは、定量、定性にかかわらずリサーチにおける対象者条件の設定の際に思い出したいバイアスです。

生存者バイアスに関しては以下のような説明がありました。

+++++++++++++++++++++++++++++++++++++++++++

脱落あるいは淘汰されていったサンプルが存在することを忘れてしまい、一部の「成功者」のサンプルのみに着目して間違った判断をしてしまうというバイアス。

たとえば、プロスポーツ選手の平均年俸が高いことを理由に、子どもをプロスポーツ選手にしようと考えるケースがこれにあたる。高給を受け取るスター選手は、基本的に、厳しい生存競争を勝ち抜いた勝者ばかりである。数年たっても芽が出ず、無名のまま去る若者のほうが多いことは容易に想像がつく。

つまり、我々が目にしている選手は、それほどのスター選手でない場合でも、残っているというだけで、かなりのエリートなのだ。そのエリートの数字のみを見て、「平均的なプロスポーツ選手像」を描いてしまうのは、実態以上に物事を過大評価することにつながるのである。

++++++++++++++++++++++++++++++++++++++++++++

これをリサーチに置き換えてみます。

昨今、定量調査においても定性調査においては対象者条件が厳しくなってきており、出現率が1%を切るあるブランドユーザーに対して調査をかけることも当たり前になってきています。そのようなユーザーに対して、このブランドの新製品のリサーチを行うと、ノンユーザーに対する調査よりも当然よい結果が出ます。そこで、この製品は行けるという話になりますが、その際に99%のノンユーザーの存在を無視してよいのですかという話でしょうか。上の説明に置き換えると、超厳選された「ユーザー」の結果のみを見て。「市場の全体像」だと勘違いしてしまうのは、実態以上に物事を過大評価してしまうということではないでしょうか(もちろん優秀なクライアントさまやリサーチャーはノンユーザーにも調査して総合的に判断されるでしょうが)。

<< The halo effect >>
+ ハロー効果(あばたもえくぼバイアス/坊主憎けりゃ袈裟まで憎いバイアス)

これも、皆さまよくご存じでしょう。ある人が、何かある特定項目で際立っているような場合、他の評価項目にも影響することです。例えば、グルイン中にある対象者が「私は東大出身なのですが・・・」みたいな発言をしたら、その人の発言はすべて正しいと思いこんでしまうようなことです。

これは逆方向にもあって、ある対象者が「私は中卒なのですが・・・」という発言をしたら、グルイン中に、その人がどれだけ素晴らしい発言をしても無視してしまうといったようなバイアスですね。

以上、定性調査に関係する様々なバイアスを紹介させていただきました。ただし、定性調査のバイアスはこれだけではなく、他にも多々あります。今回紹介させていただいたのは、その一部だとお考えいただいたほうがよいかと思います。

バイアスと定性リサーチャーの役割

さて、今更ですが、そもそも定性調査におけるバイアスとは何なのでしょうか。定量調査においては、サンプルに代表性のない場合にサンプリングバイアスといった言葉や、刺激物の呈示順によって回答傾向が変わる順序バイアスみたいな用語がよく語られます。定性調査においては、特に定義があるわけではありませんが、人間のモノの見方、考え方に関しての「先入観・偏見・偏り・傾向」と理解すればよいのではないでしょうか。

では、このようなバイアスに対して、我々定性調査を実施するものはどのように向き合っていけばよいのでしょう。

最も重要なことは、人の思考やモノの見方にはバイアス(先入観・偏見・偏り・傾向)が掛かり得る、そしてそれはどのような傾向や偏りなのかということを理解するということではないでしょうか。

冒頭ストーリーのパッケージ開発責任者タクヤさんが、自分を含めて人間には、自分に都合のよいことだけを見たり、記憶に保存したりする傾向・・・選択的露出/選択的記憶といった確証バイアスがあるということを知っていれば、グループの見方も変わってきていたかもしれません、

この確証バイアスに対処するには、ある結論や判断に「本当にそうか?」「反対意見は?」といったツッコミを自分自身でいれて、結論や判断の精度を高めていく手法(クリティカルシンキング)が有効だそうですが、このようなものの見方の訓練ができていれば、違う結論(このデザインは改善の余地がある)になっていたかもしれません。

とはいえ、リサーチの専門家ではないクライアントさんにここまで期待するのは酷というものです。だからこそ、定性リサーチャーの出番があり存在価値が生まれるのだと思います。冒頭のストーリーで、モデレーターさんが、タクヤさんに迎合してしまい「おっしゃり通りだと思います。このデザインで大丈夫そうですね。」となってしまうとグルインをした意味がなくなってしまいます。タクヤさんにとってはグルインをしようがしまいが結論は決まっているのですから・・・。

ただ、ここで

(モデレーター)

「確かにCさんは気に入っていたけど、DさんやEさんは違っていたと思います。なので、このデザインは〇〇といった改善が必要なのでは?」、

(タクヤさん)

「なるほど、見落としていたけど確かにそうですね! 考え直してみる必要がありそうですね」

となるとグルインをやった意味が出てくるのではないでしょうか。

ということで、定性リサーチャーは、定性調査の対象者に起こっているバイアスを見抜き、それをコントロールしつつ、クライアントに起こっているバイアスを指摘し第三者的な視点からの助言を与える存在であるべきだと言えるのではないでしょうか。

最後になりますが、リサーチにおいてバイアスは避けられないという議論があります。リサーチ業界の論客レイ・ポインター氏は、All research suffers from some form of bias(すべてのリサーチには何らかのバイアスが掛かっている)と唱えています。確かに対象者がリサーチに参加すること自体が上記のSelf-Selection Biasがかかることでしょうし、それ以外にも今回紹介したような様々なバイアスがかかることは避けられないことなのかもしれません。

言い換えると、すべての(定量、定性問わず)リサーチにおいては、バイアスというものを意識し、対処を考えなければならないと言うことなのかもしれません。そのためには、まずは敵を知る・・・どのようなバイアスがあって、どのように作用するのかということを理解することが重要なのではないでしょうか。

<今回参考にさせていただいたサイト>

You’re Irrational: How to Avoid Cognitive Blind Spots in Qualitative Analysis 

http://conversionxl.com/youre-irrational-avoid-cognitive-blind-spots-qualitative-analysis/

9 types of research bias and how to avoid them  

http://www.imoderate.com/9-types-of-research-bias-and-how-to-avoid-them/

What is Bias in Qualitative Research?  

http://www.focusgrouptips.com/qualitative-research.html

4 Kinds of Market Research Bias and How to Avoid Them  

http://blog.gutcheckit.com/4-kinds-of-market-research-bias-and-how-to-avoid-them