Appendix

広告

Entries

食べログ点数操作炎上の誤解 アマゾンより良い評価方法が災い 点数のアルゴリズムが不明なのはやらせ対策


【クイズ】「恣意的」の意味として正しいものはどれでしょう?

(1)ある目的を持って、わざとそうするさま。
(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。
(3)偶然に物事が起こるさま。


●食べログの検索順位の誤解

 食べログがこの前、「有料プランを契約しない店の検索順位や点数を落としている」と炎上しました。

 私がそんなことはする義理はなく、面倒くさいので何も書いていませんでしたが、あれは食べログの説明が雑すぎだと思いました。(何で結局書いたのか?というと、後述のアマゾンの評価記事を読んだためです)

 私が気になったのは点数操作の方ですので、そっちの話がメインで検索順位は軽く。

 とりあえず、この検索順位が下がる場合があるというのは嘘ではないと言えそうです。といっても、他のサイトでもよくある広告が先に出るからといった理由ですけどね。

 例えば、楽天市場やヤフーショッピングといった買い物サイト、それから、グーグルなどの検索サイトと同様に、広告している店舗が先に表示されるといった考え方のためです。

 食べログの表示で広告かどうか見分けがつかないというのはステマとなり問題が残りますので、これはただちに改めるべきでしょう。明確にマズイやり方です。

 これは実際、すぐに「広告優先」と上部に記載するようになりました。対応の早さは問です。とはいえ、本来はどのお店が広告で順位が上がっているのか明記する、あるいは、広告枠と検索枠を明確に分離すべきなので、まだ修正すべき点は残っています。良い機会なので、きちんと直しておくべきです。

 ただ、広告で特定の店舗を先に出すという考え方そのものは、前述の通り、別に悪徳とは言えません。(食べログの場合、実際に店舗側が広告として頼んでいるのではなく、有料プラン店舗を食べログ側が自動で前に出しているっぽい説明をしていました)


●食べログ点数操作炎上の誤解

 さて、点数操作疑惑の話。実際に食べログが点数操作をしている可能性はもちろんあるものの、既知の情報で説明可能な話に見えたました。そもそも批判するのであれば十分な証拠が必要ですからね。

 疑似科学信者による既存の科学批判なんかもそうであるように、ネットでは無知ゆえに激しく批判するということがたまに起こります。激しく批判するなら、もっとちゃんとした証拠が必要でしょう。

 食べログの点数の付け方は、以前から単純平均ではなかったです。後でアマゾンの問題点を指摘した記事で出てくる、評価分布の問題を考慮したためだったと記憶しています。

 ただ、さらにややこしくなって多くの人がついていけなくなったのは、食べログが食通度合いの高い一部のユーザーを重視して評価するやり方に変えてからです。

 このシステム採用の理由は後で説明しますが、これを知っていると、今回のように一気に3.0まで下がるということも十分に起こり得るがわかります。

 まず、食べログは3.0未満の評価がほとんどなく、3.0がスタート地点のような感じになっています。なので、この状態からの食通度合いの高いユーザーの出現は、主にプラスに働いている可能性が高いと考えられます。

 そういう食通度合いが高い少数のユーザーの影響が大きいお店で、食通度合いの定義などが変更になると一気に3.0のスタート地点に戻るということが起こり得るというのは不思議な話ではありません。そりゃ当たり前だろうというものです。

 また、食通度合いの定義変更では、食通度合いの高い人が減る一方みたいな変更もありそうです。例えば、レビュアーが増えるに従って今までの食通度合いの基準が緩くなりすぎたので厳しく変更するなどした場合、食通度合いの高い人は増えずに減るだけ…となり、点数が下がる店舗ばかりになります。

 こういう評価基準の変更を行う時期は、食べログが営業活動を自粛しないといけないかもしれませんね。誤解するオーナーが出やすくなってしまいます。


●アマゾンより良い評価方法が災い

 こういった特殊なシステムは、理解の範疇を超えるという人が多いと思われます。そして、「意味わからん、だから不正だ!」となっちゃうおそれが出てきます。

 しかし、これ、むしろユーザーの利益のために考えだされたシステムなんですよ。

 今回の報道で、点数のわかりづらさは以前食べログであったヤラセ口コミ疑惑と似ていると書いているジャーナリストがいましたが、取材不足ゆえの誤解だと思われます。

 なぜ食べログが今のような評価方法を作ったのか?と言うと、そもそもそのやらせ対策のためでした。やらせ対策があっての、今の評価方法という順番なんです。

 アマゾンは単純平均でわかりやすいため、全面的に悪いとは言えないのですが、短所もあります。ユーザーによるやらせが容易なのです。

 なぜ人は疑似科学やデマを信じるのか? 江戸しぐさ・EM菌・ホメオパシーなどで書いたように、最初数人が5点満点をつけていたある疑似科学批判の本が疑似科学信者らに見つかって一気に評価が低下していました。疑似科学信者らが連続して1点・2点という低い評価を与えることで、簡単に点数を操作することが可能なためです。

 食べログはそもそもやらせ投稿を監視していますが、これをすり抜けたとしても食通度合いを重視するシステムのために、アマゾンほど簡単に点数操作はできません。

 アマゾンも食べログ方式を採用さえしていたなら、こういう悲惨なことは起きなかったかもしれません。例えば、他の書籍で信頼できるレビューを多数投稿している人の5点に引っ張られて、あまり点数が下がらなかった…といった感じです。

 ということで、「アマゾンより良い評価方法が災い」と書いたのですけど、「災い」となっているように実際には一長一短です。このユーザーのためを思ったシステムのせいで、今回めちゃくちゃ叩かれてしまったわけですからね。

 前述のように多くの方がこのシステムが理解できないために、反感を買いやすくなってしまっています。あらぬ批判でかわいそうだと思うものの、ユーザー数が増えれば増えるほど生じる問題で、かなり相性が悪いと感じます。


●全員4.0でも3.2は誤報

 なお、ITmedia ニュースが"全員が「4.0」をつけていても、店舗の点数は「4.0」にはならず、「3.2」になったり、「3.6」になったりする"と報じていたらしいのですけど、これは現在本文に見当たらず、閲覧者の捏造かITmediaの誤報だと考えられます。

「食べログ」の標準検索は「広告枠」とカカクコム 「いきなり3.0点にリセット」の理由は - ITmedia ニュース

 訂正部が明記されていないものの、訂正アリになっている記事なので、たぶんここの部分が誤報で訂正したのでしょう。

 今あるのは、"例えば、ある店舗を10人がレビューし、5人が「4.0」を、5人が「3.0」をつけていても、店舗の点数は必ずしも「3.5」にはならず、「3.2」になったり、「3.6」になったりする"という記述。全員4.0という話はありません。

 「誤報だったら」という話ですけど、盛大な誤報で炎上事件に燃料投下しちゃますいでしょ…。これはデマ化して、後を引くかもしれません。


●レビュー数が少ないと3.0はおかしい?

 それから、レビュー数が少ないお店が3.0のままというのにも文句つけている方がいました。新しいお店は3.0でも結構良いお店が隠れているように見えるというのも、同じ系統の話です。

 ただ、これも考え方としては、食べログの方向性が正しいと思われます。

 以下は別に食べログの評価が正しいという記事ではないんですけど、サンプル数が少ないほどばらつきが大きいという話。したがって、ある程度レビューが増えるまで点数があまり動かないという食べログのやり方は、これまた理にかなっています。
(食べログが以前から単純平均でなかったというのも、評価分布のばらつきを考慮したためだったはずです)
なぜ、アマゾンの星評価はあてにならないのか | HBR.ORG翻訳マネジメント記事|DIAMOND ハーバード・ビジネス・レビュー  2016年09月23日 バート・デ・ランゲ,ドナルド・R・リクテンスタイン,フィル・ファーンバック

 少数のサンプル(評価者)による評価の平均点は、その製品のユーザー全員がレビューを投稿した場合に得られるはずの平均点と、完全に同じではない。星評価平均点の信頼度がより高まるのは、サンプルのサイズが大きい場合、そして評価分布のばらつきが比較的小さい(つまり評価者たちの判断が似通っている)場合である。

 アマゾンでの星評価平均点が、『コンシューマーレポート』誌の品質評価点とどの程度一致しているかを検証した。同誌を発行するコンシューマーズユニオンは、科学的な製品試験を行う専門組織である。

 その結果、両者の一致度は極めて低かった。実際、アマゾンで同じ製品カテゴリーに属する2つの製品を比べて星評価が高いほうが、『コンシューマーレポート』でも同様に高い評価を得ていた確率は、平均してわずか57%だった。これは、コイン投げをわずかに上回る程度に過ぎない。

『コンシューマーレポート』が正しいと限らないと思われるかもしれませんが、両者の妥当性の差は客観的に確かめられています。

  『コンシューマーレポート』が高い評価を与えた商品は中古でも高い価格で取引されるのに、アマゾンレビュアーが高評価を与えた商品は中古価格と相関していないのです。
 品質を表す別の伝統的な指標として、リセールバリュー(再販価値)がある。信頼性と性能に優れた製品ほど、時間が経過してもより高い価値を保持する。したがって、ユーザーによる評価の平均点が品質を客観的に反映するならば、リセールバリューと正の相関を示すはずだ。

 そこで我々は、camelcamelcamel.com(価格追跡サイト)、およびusedprice.com(ディーラー調査を含む複数ソースに基づき中古価格を見積もる専門サイト)からリセールバリューを収集して、アマゾンの星評価と比較した。いずれの場合も、星評価平均点はリセールバリュー(中古価格)とはまったく相関関係になかった。それとは対照的に、『コンシューマーレポート』の評価点はリセールバリューの予測因子として有効であった。

●点数のアルゴリズムが不明なのもやらせ対策

 そう言えば、点数のアルゴリズムが不透明だから悪いというのもありました。これもひどい難癖ですね。結局、これもまたやらせ対策というところだと想像できます。

 点数の算出が透明だったアマゾンは前述のように操作し放題で、ここでは参考になりません。食べログに近くてわかりやすいのはグーグルの検索順位でしょう。

 昔グーグルの検索順位はSEO(検索エンジン最適化)でかなり操作が可能でした。例えば、実態のない多量の偽サイトからリンクを貼ることで、評価を上げたいサイトを重要なサイトであるかのように見せかけ、グーグル、そして、検索サイト利用者を騙していました。

 これはやらせ投稿と同じようなものですから、かつてはグーグルもやらせし放題だったと言えます。

 もちろんグーグルは対策をしてやらせが難しいように変更しました。ただ、今回の話でより重要なのは、グーグルが変更を加えてきた検索順位の出し方を詳細には教えてこなかったということです。

 グーグルではヒントを出すような大まかな説明はするものの、具体的な公式のようなものは教えてくれません。検索順位の操作が容易になってしまいますからね。
(ただ、今グーグルは人工知能(AI)も検索順位決定に使っていると予想されており、実際にはもう公式化そのものができないのではないかと思われます)


●お店側の不満はバイアスがかかっている

 あと、食べログが恣意的に点数を操作しているというお店側の主張について。


【クイズ】「恣意的」の意味として正しいものはどれでしょう?

(1)ある目的を持って、わざとそうするさま。
(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。
(3)偶然に物事が起こるさま。

【答え】(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。 (「ある目的を持って、わざとそうするさま」は意図的の説明。意図的と多少意味が違うものの、置き換えても不都合ないことが多いです)


 仮に評価基準変更で点数が上がっている場合と下がっている場合が同数であったとしても、このような主張は出てくる可能性が高いです。

 というのも、有料プラン拒否をした後に点数が上がっていたり、変わっていなかったりした場合にはオーナーが、有料プラン拒否のことを気にすることはほぼないためです。

 そして、当然、有料プラン拒否と関連付けを行いやすくなるのは、点数が上がったレストランのオーナーより、点数が下がった!というオーナーということになります。そりゃ、もう当たり前です。

 「虫の知らせは本当にある」と感じるのと同様のバイアスですね。何かイベントが起きてから、そういえば…と関連づけるために、実際に虫の知らせがあると誤解するのです。

 さらに、前半で書いたように、そもそも点数が下がる変更ばっかりだったという可能性もありそうです。その場合、かなり有料プラン拒否と結びつけられやすい状況だったと言えます。


●多様性が無視されている

 …といった感じで、実際に食べログが不正している可能性ももちろんあるものの、起きていた現象はほぼ説明できる範囲内であり、不正を主張するならもっと確かな証拠が必要だったと思われます。ちょっと批判が感情的すぎたように見えました。

 で、この炎上を踏まえてなのですが、最後に今回の騒動とは直接関係ない話。食べログは基本的に叩かれやすいなと感じた点です。

 マイノリティ叩きなんかがそうなのであるように、自分とは違う人を許せないという人が多いです。食べログに不満が集まりやすいのは、そこで出ている点数が自分の感覚と一致しないというのが潜在的にあるのではないかと思います。

 あらゆるものに個人差があり、例外があって当たり前です。特に食べ物の好みというのは差が大きくなりやすいので、なおさらでしょう。

 こんなこと言っちゃったら食べログのビジネスモデル全否定なわけですけど、レストランに点数評価をして、なおかつ多くの一般大衆を相手にするというのはかなり前途多難な道かもしれません。


【本文中でリンクした投稿】
  ■なぜ人は疑似科学やデマを信じるのか? 江戸しぐさ・EM菌・ホメオパシーなど

【その他関連投稿】
  ■一日三食はもう崩壊状態で夕食も脇役化 一日四食~五食時代へ
  ■世界一のグルメ国と言われるのに、世界一食探しを楽しめない日本人
  ■日本のインドカレー店 実はネパール風でナンはパキスタンだった!
  ■B-1グランプリ、巨大化・商業化の弊害で退会団体続出 小倉焼うどん,みしまコロッケ,姫路おでんなど
  ■そんな教え方じゃわからない!正しい箸の持ち方なら矯正箸を使った方が良い
  ■食べ物・飲み物・嗜好品についての投稿まとめ

Appendix

広告

ブログ内 ウェブ全体
【過去の人気投稿】厳選300投稿からランダム表示









Appendix

最新投稿

広告

定番記事

宝くじ高額当選者3000人のその後……10年後の彼らの生活は?
歴代首相の身長ランキング 背の高い、低い意外な総理大臣 野田佳彦・麻生太郎・鳩山由紀夫・小泉純一郎・安倍晋三など
日本で馴染みのある韓国系企業一覧
国別ノーベル賞受賞者数ランキング 日本は8位、上位はどこの国?
橋下徹大阪市長の出自 同和地区(被差別部落)と父・叔父と暴力団
意外に有名企業があるファブレス企業・メーカー 任天堂・ダイドードリンコ・やおきんなど
飛び降り自殺は意識を失うから痛みはない…は嘘 失敗した人の話
白元・鎌田真の経歴と派手な交友関係 神田うの,松本志のぶ,妻も美魔女など
楽天Edyはコンビニの公共料金の支払い(収納代行)に使える?
楽天Edyの使えるコンビニ・使えないコンビニ
主な緑黄色野菜一覧 と 実は緑黄色野菜じゃない淡色野菜の種類
のれん代とのれん代の償却のわかりやすい説明
消滅可能性都市ランキングと一覧 1800市区町村中896自治体が危機
カルシウムの多い食材ランキングベスト20 牛乳以外に取れる食品
堀越二郎の妻は死んでないし菜穂子でもない モデルは堀辰雄の婚約者矢野綾子
創価学会、会長候補の正木正明氏左遷で谷川佳樹氏重用の理由は?
インチキで効果なし、活性水素水詐欺 誇大広告であるとして排除命令が出た商品も
高カロリー食品ランキングベスト20(100グラムあたり)
EPA、DHA(オメガ3脂肪酸)の魚油サプリ 効果なしどころか危険という説
リチウムイオン電池の寿命を長持ちさせるのは、使い切って満充電?継ぎ足し充電?

ランダムリンク
厳選200記事からランダムで









アーカイブ

説明

書いた人:千柿キロ(管理人)
サイト説明
ハンドルネームの由来

FC2カウンター

2010年3月から
それ以前が不明の理由