前々回の本メルマガでGRIT-GreenBook Research Industry Trend Reportの結果を紹介させていただきました。
その際の「What use of these techniques and approaches do you see ahead in your future?
…あなたは、これらの手法それぞれの将来の利用についてどのように考えていますか」
という結果の選択肢にFacial analysis「顔表情分析」というものが出てきます。現時点で利用意向としてはそれほど高くないのですが、私、この手法についてよく知らなかったので、どのようなものか興味を持っていました。そのような中、この顔表情分析について、面白い記事を見つけましたので、今回は顔の表情分析について書かせていただきます。
※ 今回のベースとなった記事はこちらです
※ 以下は前々回紹介させていただいたGRIT結果の再掲です。Facial analysis「顔表情分析」は15番目です。
What use of these techniques and approaches do you see ahead in your future?
あなたは、これらの手法それぞれの将来の利用についてどのように考えていますか
※ 以下の（ ）内の数字は左から順番に、
+ In use「（将来）使う」、
+ Under consideration「検討している」、
+ No Interest to date「今は興味がない」、
+ Don’t ever expect to use「将来的にも使わないと思う」、
+ Not sure「わからない」
※ 順番はIn useの数字の高いものでソートしています。
1. Online Communities 「オンラインコミュニティ（MROC）」（45％、38％、9％、3％、4％）
2. Mobile Survey 「携帯・スマホを使った（定量）調査」（42％、45％、9％、2％、3％）
3. Social Media Analytics 「ソーシャルメディア分析」（36％、42％、12％、4％、5％）
4. Text Analytics 「テキストマイニング」（32％、37％、15％、5％、11％）
5. Webcam-based Interviews 「Webカメラを使った（テレビ電話）インタビュー」（26％、38％、23％、6％、6％）
6. Mobile Qualitative 「モバイル（携帯・スマホ）を使った定性調査」（24％、41％、20％、6％、9％）
7. Visualization Analytics 「ビジュアライゼーション分析」（23％、31％、14％、4％、28％）
8. Eye Tracking 「アイトラッキング」（22％、21％、30％、19％、9％）
9. Apps based research 「スマホのアプリを使った調査」（22％、45％、19％、4％、10％）
10. Mobile Ethnography 「モバイルエスノグラフィ」（20％、40％、21％、7％、12％）
11. Virtual Environment 「仮想空間を使った調査」（17％、30％、23％、10％、20％）
12. Predictive Markets 「予測マーケット（ビッグデータ分析？）」（17％、30％、20％、6％、27％）
13. Research gamification 「ゲーミフィケーションを利用した調査」（15％、34％、20％、9％、23％）
14. Crowdsourcing 「クラウドソーシング」（13％、30％、27％、7％、23％）
15. Facial analysis 「顔表情分析」（9％、20％、39％、19％、13％）
16. Neuro Marketing 「ニューロ（脳反応）マーケティング」（9％、21％、27％、20％、22％）
17. Biometric Response 「生体反応分析」（7％、21％、33％、17％、22％）
質問形式アンケートの限界と潜在意識を探る手法
上記GRITの結果において、15番目は今回ご紹介するFacial Codingのことですが、16番目のNeuro Marketingも17番目のBiometric Responseも、その根本的な発想と目指すところは同じかと思います。それは、現在のマーケティングリサーチにおける代表的な方法である、質問形式アンケートや質問形式のグループインタビュー・デプスインタビューの有効性に対する疑問でしょう。
ジェラルド・ザルトマンが「心脳マーケティング」を発表して、かなり経ちますが、その本によると自己の思考や感情のうち自覚しているもの、いわゆる顕在化しているものはたった５％で、無意識（潜在意識）のものが９５％だとのこと。そうであれば、質問形式アンケートや質問形式の定性調査は、この5%だけを対象にした手法であり、残り95%は無視した調査手法であるということになります。
そう考えると、質問形式アンケートや定性調査から、消費者のブランド選択等の意思決定プロセスを探ることには限界があると言わざるを得ません。元記事の中には以下のようなコメントが紹介されています。
「人間が意思決定する理由には二つある。それは、よい決定理由と本当の決定理由である。最先端の脳科学は、本当の理由は脳が言語化できない領域で行われることを示唆している。一方で、伝統的なマーケティングリサーチ手法は、よい決定理由を報告するものである。」
このような、質問形式アンケートや定性調査の限界に打ち破るべく、残りの95%を対象にしようというのが、今回、紹介する顔表情分析（Facial Coding）であり、Neuro Marketingであり、Biometric Responseです。エスノグラフィー、行動観察と行った手法が注目を集めているのも同様な理由でしょう。
Facial Codingとは
人の感情と顔の表情に関係性があることに最初に気付いたのは、進化論で有名なダーウインだそうです。そして、時を経て1978年にポール・エクマンというアメリカの心理学者が、顔のあらゆる表情を分類するためにFACS（Facial Action Coding System、顔動作記述システム：以下FACSまたはFacial Codingと記述）を考案しました。
このポール・エクマンという人はアメリカの有名な心理学者でアメリカのテレビドラマ『Lie to Me(ライ・トゥ・ミー 嘘の瞬間)』の主人公カル・ライトマン博士のモデルとなった人です（日本でもFOX Japanやテレビ東京で放送されていたので、皆さんもご存知かもしれません）。
この、FACSは、顔の筋肉の動きから、その人が現在どのような感情を抱いているかを分類しようとしたものです。エクマンは長年の研究から表情が文化依存的ではなくて人類に普遍的な特徴であり生得的基盤を持つことを明らかにしました。そして人間の基本的な感情は怒り、嫌悪、恐れ、喜び、悲しみ、驚き、軽蔑の７つに分類されるとし、顔の表情から、その人の感情を分類出来るようにしたのが、このFACSです。
ちなみに、どうやって表情から感情を分析するのか？私も詳しく理解しているわけではありませんが、概要は以下のような感じのようです。
まず、顔の表情の様々な動きがコード化されています。コードの例として、「眉毛の内側が下がる」、「眉毛の外側が下がる」、「ほほの筋肉があがる」、「唇の口角が開く」、「目の瞳孔が右に動く」、「頭全体が前後する」みたいな細かいものが多数定義されており、ある人の顔の表情に、例えば「ほほの筋肉があがる」と「唇の口角が開く」があった場合は、喜びの感情がある、「眉が全体的に下がる」と「唇がキュッとなる」ときは怒りの感情があるみたいな判断をしていきます。また、単にその人がどのような感情であるかを判断するだけではなく、コードの組み合わせによって、その度合い（例：激しく怒っている、ちょっと怒っている・・・）も判断されます。
FACSについて詳しく知りたい人は、エクマン本人の運営しているサイトを見てもらうのが一番よいかと思います。
顔の表情の細かい動きを見分けるのは、トレーニングしないと出来ることではありません（僅か0.2秒で現れる顔の表情の変化を見分ける必要があるそうです）。このサイトでは表情分析のトレーニング用のプログラムが販売されています。私もデモのトレーニングをやってみましたが、全然わかりませんでしたが・・・（苦笑）
FACSを使ったテレビCMの効果検証
さて、ではこのFACSは、マーケティングリサーチにも活用できるのでしょうか？ ここからは、FACSがTVCMの広告効果検証に有効であることを証明しようとした記事について紹介させていただきます。
皆さん、アメリカでは１月末または２月頭に実施されるスーパーボウルというプロのアメリカンフットボールの王座決定戦が超人気番組であることをご存知かと思います。毎年、視聴率は40％を越え、歴代視聴率ランキングのほとんどが、スーパーボウルで占められています。これだけ、視聴率が高い番組なので、その中でオンエアされるテレビCMも大変注目を集めることをご存知かと思います。
FACSの有効性の検証は、2010年～2012年のスーパーボウルでオンエアされた車のTVCMを使って行われました。オンエアされたTVCMに対する視聴者の反応をFACSで分析し、その結果と広告された車の、オンエア翌月の実際の売り上げ変化の比較がなされました。また、ベンチマークとして、USA TodaによるTVCMに対する好感度調査の結果、およびニューロマーケティングの代表的手法であるEEG（脳波測定）の結果も利用されました。
以下は調査方法の概要と調査結果です。
+++++調査の概要+++++
調査対象者はアメリカの大学生120名
↓
2010年、2011年、2012年のスーパーボウルでオンエアされた13のテレビCMを対象者に呈示。TVCMの呈示はWebカメラがついているパソコンを使って行い、対象者がパソコンでTVCMを見ている際の顔の表情をWebカメラを使ったパソコンソフトで撮影録画
↓
撮影された各CMに対する反応（顔の表情）をFACSをつかって分析し、スコア化
↓
そのスコアと、CMがオンエアされた翌月の実際の（オンエアされたCMの）車の売り上げの変化を比較。また、ベンチマークとして、USA Todayで実施されていたスーパーボウルでオンエアされていたCMの好感度調査とSands社が実施しているEEGによる調査結果も同時に比較。
↓
各CMに対するFacial Codingによるスコア、USA Todayの好感度調査の結果、Sands社のEEGによる調査スコアそれぞれと、CMオンエア直後の当該車種の売り上げの変化の相関係数を測定することによって、Facial Codingによるスコアが他の２つのスコアと比べて、車の売り上げ変化を正確に予測できるのかどうかを検証。
全体の検証調査の概要は以上なのですが、これだけではよくわからないと思いますので、いくつか補足させていただきます。
まず、Facial Codingを使って、各TVCMに対する反応をどのようにスコア化しているかですが、CM視聴中にどのような感情が、どの程度の強さで、どのくらいの頻度で発生しているかを、特殊なフォーミュラを使って計算して最終的に、スコア化したとのことです（詳しい計算式等は記事に書いていないのでよくわかりません。すいません）。
USA TodayによるCM好感度調査はUSA Today Ad Meterと呼ばれているものです。上記に記載させていただいたようにアメリカの国民的イベントであるスーパーボウルでオンエアされるTVCMは非常に注目を集めます。
USA Todayは1989年から、実際にスーパーボウルが放送されている時に、サンプルを300名程会場に集め、オンエアされたTVCMの好感度をライブで測定して、翌日の紙面でその結果を発表しています。測定は、特別な測定器を使って行われ、TVCMを見ながら各サンプルが、測定器のダイヤルを右に回したり、左に回したりして、その好感度を表現し、その記録を集計します（広告プリテストで興味曲線を測定するイメージです）。
繰り返しになりますが、スーパーボウルでオンエアされるTVCMはスーパーボウルと同様に大変注目を集めます。今年のWinnerはバドワイザーのCMだったとか、ドリトスのCMだったとか、それはそれで大きなニュースになっています。
※ 2013年からは、同時にオンライン調査も実施されるようになり、若干調査方法が変更されたそうです
EEGとは、Electroencephalographの略で、いわゆる脳波計のことです。頭に電極のついたヘルメットみたいなものをかぶって測定するやつと言えば、皆さんイメージしやすいでしょう。アメリカのSands Researchという調査会社が、この脳波測定を利用した調査を専門に行っており、スーパーボウルでオンエアされたTVCMに対する脳波測定結果（各CMに対しての脳波が反応したスコア）を公開しています。
+++++調査結果+++++
では、この検証調査の結果を紹介いたします。
まず調査された13のTVCMで宣伝されていた車の1月から2月売り上げ変化の順番をソート（上位⇒下位）し、順番にCM1、CM2、CM3、・・・CM13とラベルを振ったとします。そうすると、
● Facial Codingによるスコアの順番(上位⇒下位でソート)
CM5⇒CM3⇒CM6⇒CM9⇒CM8⇒CM4⇒CM10⇒CM7⇒CM1⇒CM2⇒CM12⇒CM11⇒CM13
（売り上げ変化％と、スコアの相関係数は0.404）
● USA Today Ad Meterによるスコアの順番(上位⇒下位でソート)
CM11⇒CM4⇒CM10⇒CM12⇒CM7⇒CM5⇒CM8⇒CM1⇒CM13⇒CM2⇒CM9⇒CM3⇒CM6
（売り上げ変化％と、スコアの相関係数は0.015）
● Sands社EEGによるスコアの順番(上位⇒下位でソート)
CM11⇒CM13⇒CM10⇒CM7⇒CM8⇒CM3⇒CM2⇒CM1⇒CM9⇒CM6⇒CM12⇒CM5⇒CM4
（売り上げ変化％と、スコアの相関係数は0.054）
すいません。これだけ見てもイマイチよくわからないと思いますが、Facial Codingのスコアの順番が何となく、USA TodayとEEGのスコアの順番よりも、売上げ変化の順番と相関していることを感じて頂ければと思います（詳しい結果を知りたい方は原文記事をご覧ください）。
特にボトム3の順番は正確に予測できています。また、Facial Codingスコアの、相関は、他の2つの方法よりはるかに高く、記事の筆者はこれらの結果を持って、Facial Codingは、売上げ予測に有効であると結論付けています。
さて、この調査方法と結果、いろいろと突っ込みたいところはありますので、それは次のセクションで書かせていただきます。
Facial Codingは使えるのか？
皆様は今回の検証調査の結果をご覧になってどのようにお感じになりましたでしょうか。皆さんも多分同じだと思いますが、私としては、この検証調査には突っ込みたいところが多々あります。なので、この記事からだけでは、自信を持ってFacial Codingを、すぐにリサーチ手法として使おうという気にはなれません。とはいえ、顔の表情を分析から得られるものは大きく、今後いろいろな活用の可能性を検討していくと面白いのではないかと考えています。
まずは、突っ込みたい点から書きます（いろいろありますが、大きなことを二つだけ）。
- 比較相手が間違っている
USA TodayのAd Meterは広告の好感度を測定するものであって、売り上げ予測をするものではありません。EEGも売り上げ予測をしているわけではありません。それに勝ったと言われてもちょっと違うように思います。もっと単純に、CMを見た上での、紙なりインターネットでのアンケートによる購入意向の測定結果と比較してくれればよいと思うのですが・・・でもこれをやると、たぶん負けると思いますが。
- 広告効果を単純に売り上げの変化だけで測ってよいのでしょうか？
皆様にとっては釈迦に説法でしょうが、TV広告の高評価⇒売り上げアップみたいな単純な図式は描けませんね。売り上げを左右する要因にはTV広告以外にも、他の広告媒体の広告・キャンペーンの影響やチャネルの問題等、様々な要因が影響します。もちろん、商品そのものの評価も重要な要因です。また、このTVCMのリーチやフリークエンシーがどの程度あったかということも大きく影響します。これらの要因をすべて無視して、売り上げとの相関係数が高いと言われても、納得できないですね。
では、どうすればよいのでしょう。例えば、もう少し広告効果が起こるプロセスを噛み砕いて、広告を見ることによって起こる態度変容の度合いを測定して（例：広告対象商品の好意度スコアが上がった/下がった）、それを広告効果の目的変数にしてみてはどうでしょう。
でも、よく考えると、これは自己矛盾を起こしていますね。態度変容をどのように測定するかいうと、それはアンケート調査になってしまうのでしょうから、アンケート調査を否定するFace Coding(を含む潜在意識を測定するニューロ系の手法)が、それを目的変数とするのは論理破綻を起こしています。
ということで、今後、Facial Coding（を含むニューロ系の調査）が今後普及していくには、その効果（売り上げをアンケート調査以上に正確に予測出来るとか、態度変容をアンケート調査以上に正確に測定できるとか）ということが、どのように証明出来るかがポイントのように思います。
ただ、それは答えがどこにあるのかがよくわからないまま、この手法は正しいと証明しようとするような事で、難しい問題のように思います。加えて、調査の価格に関しても大きな進歩が必要でしょうが・・・
一方で、今後、顔の表情分析が進歩すると、定性調査でも使えるようになるシーンが多々あるのではないかと感じています。単純に考えると、従来型グループインタビュー・デプスインタビューや、弊社iTeDi（インターネットテレビ電話インタビュー）のような対象者の顔の表情が見える定性調査において、対象者が話している様子を専門家が見ながら、「今、ウソ言っている」、「今のポジティブな発言の度合いは、上っ面だけ」、「この言葉だけではよくわからないが、実はかなり不満を感じている。かなり深刻」みたいな分析や解説をしてくれたら、定性調査の分析もかなり変化するのではないでしょうか。
まあ、警察の取調べみたいに対象者にウソ発見器みたいなものをつけてもらって、インタビューするのも一つの手かもしれませんが、対象者は、そんなことをされてまでインタビューに協力したくはないですね。でも、同じようなことが顔の表情で、対象者に気づかれることなくわかるのであれば、やってみる価値があるかもしれません。
「目は口ほどに物を言い」という諺があります。定性調査においても対象者と顔を見ながら（＆声のトーンも感じながら）コミュニケーションするということは、MROC等のテキストだけによるコミュニケーションとは得られる情報の量と質が大きく違うことに、皆さん気づいていることかと思います。
この、アドバンテージをもっと活かすためにも、今後、顔のFacial Codingのような顔表情分析が今以上に発達すると面白いですね。
私も、この分野は、もう少し勉強してみたくなりました。とりあえず、TSUTAYAに行ってライ・トゥ・ミーを借りてきます（笑）