やらせ…点数操作炎上食べログよりアマゾンレビューがひどい？

2020/02/09：
●アマゾンはやらせレビューだらけ　しかも見分けられるレベルじゃない
●日本国内より海外業者重視のアマゾンのせいで悪徳企業がやり放題
2020/06/04：
●凄腕編集者がベストセラー連発の理由はアマゾンのレビュー操作だった
2020/09/08：
●やはりあったアマゾンのやらせ投稿で罰金…が、異例である理由
2016/11/4：
●食べログの検索順位の誤解 検索サイトや買い物サイトでも同じ
●点数操作炎上の誤解 アマゾンと違って素人と玄人で評価に差
●点数を計算できないのはやらせ対策！アマゾンより良い評価方法が災い
●全員4.0でも3.2になる食べログのはやっぱり変！…は誤報？
●レビュー数が少ないと3.0はおかしい？サンプル数と信頼性の関係
●点数のアルゴリズムが不明なのもやらせ対策 グーグルと同じこと
●お店側の不満はバイアスがかかっているという問題もある
●多様性が無視されている…食べログは叩かれやすいサービスである


【クイズ】「恣意的」の意味として正しいものはどれでしょう？

(1)ある目的を持って、わざとそうするさま。
(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。
(3)偶然に物事が起こるさま。


●アマゾンはやらせレビューだらけ　しかも見分けられるレベルじゃない

2020/02/09：最初にアマゾンの話を追加。アマゾンは、「Amazonおすすめ商品」「Amazon’s Choice」でユーザーの求める商品を優先して表示しています。これはメーカーの宣伝ではなく、消費者の行動をベースにしており、理論的には非常に良いしくみです。好感が持てます。

　ただし、＜｢Amazonやらせレビュー｣中国企業の呆れた手口 高評価や｢Amazonのおすすめ｣を信じてはダメ　東洋経済オンライン / 2020年2月4日 7時20分＞(本田 雅一：ITジャーナリスト)では、やらせレビューなどにより、実際にはこのデータは汚染されており、「悪貨が良貨を駆逐する」といった現象が起きていると指摘されていました。
https://news.infoseek.co.jp/article/toyokeizai_20200204_327965/

　炎上した食べログも同様だと思われますが、これはアマゾンが関わってやっているとは考えられていません。ただ、アマゾンのアルゴリズムを予想した上で、悪い企業が悪用しているんですね。グーグル検索ではもっとあからさまで、グーグルは直接関わっていないものの、企業らがグーグル対策を公然と行っています。

　具体的な不正ですが、アマゾンの場合は、商品を出品者自身が出庫してレビューを書いてもらうギフティングが行われているとのこと。また、Amazonギフト券などを報酬としたレビュー依頼を組織的に行うことで、評判を作っています。かつては怪しい日本語のレビューが並んでいたものの、現在は日本人が書いていると思われるレビューも多く、やらせかどうか見分けられないといいます。


●日本国内より海外業者重視のアマゾンのせいで悪徳企業がやり放題

　あと、アマゾンは直接関わっていない…と書いたのですけど、作者の本田 雅一さんは＜この状況を生み出したのはAmazon自身だ＞としていました。海外出品者に門戸を広げるAmazon自身の戦略が根本的な問題を生んでいるとして、以下のように書いています。ちょっとわかりづらいんですけどね。

＜Amazonのシステムを熟知した海外出品者が、あらゆる手段を使って販売をブーストさせているのに対して、国内出品者は追従できない状況がある。とりわけAmazonとの関係が深いベンダーは、売り上げの大半をAmazonに依存しているため、不正なレビューや順位操作に対して表立ったクレームを上げることができないと、Amazonで自社ブランド製品を販売するある出品者は話した＞

　よりわかりやすいのは、得られる利益に対し、不正を働くことのリスクが小さく「ズルをしたほうがお得」な状況の指摘でしょうか。日本で事業活動を行う日本企業は評判の悪化のリスクが高く、ズルはしづらいです。一方、海外の業者は日本での評判が悪くなっても構わないので、ズルを躊躇しないという説明でした。

　こうした海外業者は登録の段階で弾くということもできるのですけど、ここでアマゾンの方針が効いてくるのです。出品者登録が極めて簡素であるため、海外の業者がガンガン参入しているという状況になっているとのこと。こういう風に誰でも出店できるがゆえに質が低いというのは、楽天よりヤフーの方が質が低い理由としても言われていますね。


●凄腕編集者がベストセラー連発の理由はアマゾンのレビュー操作だった

2020/06/04：幻冬舎見城徹がすごい理由 安倍首相やバーニング周防郁雄と友達だからを書いていて見つけたアマゾンレビューを操作してヒット作を次々と生み出す方法。事実かどうかは不明ですし、悪い方法なのですけど、これなら点数操作は可能だろうという頭の良い方法であり、変に感心してしまいました。

・ある編集者がクオリティの低い本でもベストセラー連発できるのは、ホリエモンから学んだ一種の戦略があるため。
・その編集者は約1000名を集めた有料コミュニティを持っている。コミニュティでは、編集者が手掛けた書籍をいち早く贈られる。
。書籍を入手した会員は、いっせいにAmazonで星５個のレビューを書きまくる。TwitterなどのSNSでも盛大に感想を発信し、あたかも「大波が来ている」かのような演出に貢献する。また、編集者の周辺にいるファンなども早い段階でAmazonの予約を入れ、人気ランキングを一気に押し上げる。
・これにより、「超話題作」のような評判になり、勢い良く売れていく。
・さらに、この売れ行きを利用して、出版社が特大新聞広告などの宣伝を行い、大ヒットの流れをつくっていく。
https://web.archive.org/web/20190517201017/https://www.amazon.co.jp/gp/customer-reviews/R23HY916GAL7S2

　ちょうどこの編集者のいる出版社の本を読んだところだったんですが、苦痛なほどつまらないのに話題になった作品で不思議に思っていたところだったんですよね。読んだタイミングとしては、個人的にタイムリーな話でした。そういえば、ある政治家の本でもあちこちに寄贈しまくって、アマゾンの評価を上げたのでは？と疑われていたことも思い出しました。

　こうした点数操作は食べログでも不可能ではないでしょう。ただ、後述するように食べログの場合、やらせ対策として、レビュアーの重要度に差をつけています。レビューが少ないなど、一般的なレビュアーの点数評価はあまり影響しないため、普通の人をいくら買収しても操作は難しいです。

　それでも、食べログで点数操作したい場合はどうすべきかというと、食べログに評価されていると予想される一部の優良レビュアーに頼んで良い評価を入れてもらう必要があると考えられます。なので、食べログの方がアマゾンよりやらせによる操作が難しくなっているとは言えるでしょう。


●やはりあったアマゾンのやらせ投稿で罰金…が、異例である理由

2020/09/08：アマゾンでやらせが対処されず、やらせ投稿が有効になっていることを思わせるアマゾンで「星一つ」やらせ投稿　依頼者に異例の刑事罰：朝日新聞デジタル(2020年9月4日)という記事が出ていました。中国から不正というのではなく、日本国内のケースですね。

　福岡市内で健康食品・器具の通販会社を経営する男性役員（25）は、仕事仲介サイトで商品レビューの仕事を募集した際に応募した福岡県内の40代女性に対し、2018年1月、500円を支払い、同じ福岡市内の別の健康食品販売会社がアマゾンで扱うサプリメントに低評価のレビューをつけさせ、信用を傷つけたとされています。

　低評価レビューが1週間で2商品に9件ほど続いたため、不審に思った販売元の男性社長（39）が投稿者名を検索したところ、やらせレビューの請負を含む仕事仲介サイトの登録者だと判明。そこから女性と依頼主の男性役員を苦労の末特定し、18年5月に福岡県警に被害届を出し、罰金20万円の略式命令に繋がりました。

　ただし、「苦労の末」であり、特定はたいへん。電子商取引の専門家によると、こうした「やらせレビュー」の実行者を特定するのは難しく、刑事罰に至るのは異例とのこと。実際には蔓延している模様です。なので、サイト側で頑張ってほしいところなんですが、後述する食べログのように対策すると疑心を生んで叩かれやすくなるリスクがあります。

　あと、月に2件ほどレビュー投稿の仕事を受けていた女性によると、請け負ったのは高評価をつける投稿ばかりで「低評価の投稿を依頼されたのは初めてだった」とのこと。そもそも健康食品は全部科学的根拠がないと言ってよいのですが、特に悪質で罰則を受ける健康食品のレビューも高評価ばかりで低評価なのを見たことがありません。やらせ投稿はかなり蔓延していると予想されます。


●食べログの検索順位の誤解 検索サイトや買い物サイトでも同じ

2016/11/4：食べログがこの前、「有料プランを契約しない店の検索順位や点数を落としている」と炎上しました。私がそんなことはする義理はなく、面倒くさいので何も書いていませんでしたが、あれは食べログの説明が雑すぎだと思いました。それなのに、何で結局書いたのか？というと、後述のアマゾンの評価記事を読んだためです。

　私が気になったのは点数操作の方ですので、そっちの話がメインで検索順位は軽く。とりあえず、この検索順位が下がる場合があるというのは嘘ではないと言えそうです。といっても、他のサイトでもよくある広告が先に出るからといった理由ですけどね。

　例えば、楽天市場やヤフーショッピングといった買い物サイト、それから、グーグルなどの検索サイトと同様に、広告している店舗が先に表示されるといった考え方のためです。食べログの表示で広告かどうか見分けがつかないというのはステマとなり問題が残りますので、これはただちに改めるべきでしょう。明確にマズイやり方です。

　これは実際、すぐに「広告優先」と上部に記載するようになりました。対応の早さは問です。とはいえ、本来はどのお店が広告で順位が上がっているのか明記する、あるいは、広告枠と検索枠を明確に分離すべきなので、まだ修正すべき点は残っています。良い機会なので、きちんと直しておくべきです。

　ただ、広告で特定の店舗を先に出すという考え方そのものは、前述の通り、別に悪徳とは言えません。食べログの場合、実際に店舗側が広告として頼んでいるのではなく、有料プラン店舗を食べログ側が自動で前に出しているっぽい説明をしていました。


●点数操作炎上の誤解 アマゾンと違って素人と玄人で評価に差

　さて、点数操作疑惑の話。実際に食べログが点数操作をしている可能性はもちろんあるものの、既知の情報で説明可能な話に見えたました。そもそも批判するのであれば十分な証拠が必要ですからね。疑似科学信者による既存の科学批判なんかもそうであるように、ネットでは無知ゆえに激しく批判するということがたまに起こります。激しく批判するなら、もっとちゃんとした証拠が必要でしょう。

　食べログの点数の付け方は、以前から単純平均ではなかったです。後でアマゾンの問題点を指摘した記事で出てくる、評価分布の問題を考慮したためだったと記憶しています。ただ、さらにややこしくなって多くの人がついていけなくなったのは、食べログが食通度合いの高い一部のユーザーを重視して評価するやり方に変えてからです。

　このシステム採用の理由は後で説明しますが、これを知っていると、今回のように一気に3.0まで下がるということも十分に起こり得るがわかります。

　まず、食べログは3.0未満の評価がほとんどなく、3.0がスタート地点のような感じになっています。なので、この状態からの食通度合いの高いユーザーの出現は、主にプラスに働いている可能性が高いと考えられます。

　そういう食通度合いが高い少数のユーザーの影響が大きいお店で、食通度合いの定義などが変更になると一気に3.0のスタート地点に戻るということが起こり得るというのは不思議な話ではありません。そりゃ当たり前だろうというものです。

　また、食通度合いの定義変更では、食通度合いの高い人が減る一方みたいな変更もありそうです。例えば、レビュアーが増えるに従って今までの食通度合いの基準が緩くなりすぎたので厳しく変更するなどした場合、食通度合いの高い人は増えずに減るだけ…となり、点数が下がる店舗ばかりになります。


●点数を計算できないのはやらせ対策！アマゾンより良い評価方法が災い

　こういった特殊なシステムは、理解の範疇を超えるという人が多いと思われます。そして、「意味わからん、だから不正だ！」となっちゃうおそれが出てきます。しかし、これ、むしろユーザーの利益のために考えだされたシステムなんですよ。

　今回の報道で、点数のわかりづらさは以前食べログであったヤラセ口コミ疑惑と似ていると書いているジャーナリストがいましたが、取材不足ゆえの誤解だと思われます。というのも、なぜ食べログが今のような評価方法を作ったのか？と言うと、そもそもそのやらせ対策のためだったため。やらせ対策があっての、今の評価方法という順番なんです。

　アマゾンは単純平均でわかりやすいため、全面的に悪いとは言えないのですが、短所もあります。ユーザーによるやらせが容易なのです。

　なぜ人は疑似科学やデマを信じるのか？ 江戸しぐさ・EM菌・ホメオパシーなどで書いたように、最初数人が5点満点をつけていたある疑似科学批判の本が疑似科学信者らに見つかって一気に評価が低下していました。疑似科学信者らが連続して1点・2点という低い評価を与えることで、簡単に点数を操作することが可能なためです。

　食べログはそもそもやらせ投稿を監視していますが、これをすり抜けたとしても食通度合いを重視するシステムのために、アマゾンほど簡単には点数操作ができません。

　アマゾンも食べログ方式を採用さえしていたなら、こういう悲惨なことは起きなかったかもしれません。例えば、他の書籍で信頼できるレビューを多数投稿している人の5点に引っ張られて、あまり点数が下がらなかった…といった感じです。

　ということで、「アマゾンより良い評価方法が災い」と書いたのですけど、「災い」となっているように実際には一長一短です。このユーザーのためを思ったシステムのせいで、今回めちゃくちゃ叩かれてしまったわけですからね。

　前述のように多くの方がこのシステムが理解できないために、反感を買いやすくなってしまっています。あらぬ批判でかわいそうだと思うものの、ユーザー数が増えれば増えるほど生じる問題で、かなり相性が悪いと感じます。


●全員4.0でも3.2になる食べログのはやっぱり変！…は誤報？

　なお、ITmedia ニュースが"全員が「4.0」をつけていても、店舗の点数は「4.0」にはならず、「3.2」になったり、「3.6」になったりする"と報じていたらしいのですけど、これは現在本文に見当たらず、閲覧者の捏造かITmediaの誤報だと考えられます。

・「食べログ」の標準検索は「広告枠」とカカクコム　「いきなり3.0点にリセット」の理由は - ITmedia ニュース

　訂正部が明記されていないものの、訂正アリになっている記事なので、たぶんここの部分が誤報で訂正したのでしょう。

　今あるのは、"例えば、ある店舗を10人がレビューし、5人が「4.0」を、5人が「3.0」をつけていても、店舗の点数は必ずしも「3.5」にはならず、「3.2」になったり、「3.6」になったりする"という記述。全員4.0という話はありません。

　「誤報だったら」という話ですけど、盛大な誤報で炎上事件に燃料投下しちゃますいでしょ…。これはデマ化して、後を引くかもしれません。


●レビュー数が少ないと3.0はおかしい？サンプル数と信頼性の関係

　それから、レビュー数が少ないお店が3.0のままというのにも文句つけている方がいました。新しいお店は3.0でも結構良いお店が隠れているように見えるというのも、同じ系統の話です。ただ、これも考え方としては、食べログの方向性が正しいと思われます。

　以下は別に食べログの評価が正しいという記事ではないんですけど、サンプル数が少ないほどばらつきが大きいという話。したがって、ある程度レビューが増えるまで点数があまり動かないという食べログのやり方は、これまた理にかなっています。
(食べログが以前から単純平均でなかったというのも、評価分布のばらつきを考慮したためだったはずです)

なぜ、アマゾンの星評価はあてにならないのか | HBR.ORG翻訳マネジメント記事｜DIAMOND ハーバード・ビジネス・レビュー　 2016年09月23日　バート・デ・ランゲ,ドナルド・R・リクテンスタイン,フィル・ファーンバック

　少数のサンプル（評価者）による評価の平均点は、その製品のユーザー全員がレビューを投稿した場合に得られるはずの平均点と、完全に同じではない。星評価平均点の信頼度がより高まるのは、サンプルのサイズが大きい場合、そして評価分布のばらつきが比較的小さい（つまり評価者たちの判断が似通っている）場合である。

 アマゾンでの星評価平均点が、『コンシューマーレポート』誌の品質評価点とどの程度一致しているかを検証した。同誌を発行するコンシューマーズユニオンは、科学的な製品試験を行う専門組織である。

 その結果、両者の一致度は極めて低かった。実際、アマゾンで同じ製品カテゴリーに属する2つの製品を比べて星評価が高いほうが、『コンシューマーレポート』でも同様に高い評価を得ていた確率は、平均してわずか57％だった。これは、コイン投げをわずかに上回る程度に過ぎない。

『コンシューマーレポート』が正しいと限らないと思われるかもしれませんが、両者の妥当性の差は客観的に確かめられています。

　 『コンシューマーレポート』が高い評価を与えた商品は中古でも高い価格で取引されるのに、アマゾンレビュアーが高評価を与えた商品は中古価格と相関していないのです。

 品質を表す別の伝統的な指標として、リセールバリュー（再販価値）がある。信頼性と性能に優れた製品ほど、時間が経過してもより高い価値を保持する。したがって、ユーザーによる評価の平均点が品質を客観的に反映するならば、リセールバリューと正の相関を示すはずだ。

 そこで我々は、camelcamelcamel.com（価格追跡サイト）、およびusedprice.com（ディーラー調査を含む複数ソースに基づき中古価格を見積もる専門サイト）からリセールバリューを収集して、アマゾンの星評価と比較した。いずれの場合も、星評価平均点はリセールバリュー（中古価格）とはまったく相関関係になかった。それとは対照的に、『コンシューマーレポート』の評価点はリセールバリューの予測因子として有効であった。

●点数のアルゴリズムが不明なのもやらせ対策 グーグルと同じこと

　そう言えば、点数のアルゴリズムが不透明だから悪いというのもありました。これもひどい難癖ですね。結局、これもまたやらせ対策というところだと想像できます。

　点数の算出が透明だったアマゾンは前述のように操作し放題で、ここでは参考になりません。食べログに近くてわかりやすいのはグーグルの検索順位でしょう。

　昔グーグルの検索順位はSEO(検索エンジン最適化)でかなり操作が可能でした。例えば、実態のない多量の偽サイトからリンクを貼ることで、評価を上げたいサイトを重要なサイトであるかのように見せかけ、グーグル、そして、検索サイト利用者を騙していました。

　これはやらせ投稿と同じようなものですから、かつてはグーグルもやらせし放題だったと言えます。もちろんグーグルも今は対策をしてやらせが難しいように変更しました。ただ、今回の話でより重要なのは、グーグルが変更を加えてきた検索順位の出し方を詳細には教えてこなかったということです。

　グーグルではヒントを出すような大まかな説明はするものの、具体的な検索順位の公式のようなものは教えてくれません。検索順位の操作が容易になってしまいますからね。(ただ、今グーグルは人工知能(AI)も検索順位決定に使っていると予想されており、実際にはもう検索順位の公式化そのものができないのではないかと思われます)


●お店側の不満はバイアスがかかっているという問題もある

　あと、食べログが恣意的に点数を操作しているというお店側の主張について。


【クイズ】「恣意的」の意味として正しいものはどれでしょう？

(1)ある目的を持って、わざとそうするさま。
(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。
(3)偶然に物事が起こるさま。

【答え】(2)気ままで自分勝手なさま。論理的な必然性がなく、思うままにふるまうさま。　(「ある目的を持って、わざとそうするさま」は意図的の説明。意図的と多少意味が違うものの、置き換えても不都合ないことが多いです)


　仮に評価基準変更で点数が上がっている場合と下がっている場合が同数であったとしても、このような主張は出てくる可能性が高いです。というのも、有料プラン拒否をした後に点数が上がっていたり、変わっていなかったりした場合にはオーナーが、有料プラン拒否のことを気にすることはほぼないためです。

　そして、当然、有料プラン拒否と関連付けを行いやすくなるのは、点数が上がったレストランのオーナーより、点数が下がった！というオーナーということになります。そりゃ、もう当たり前です。「虫の知らせは本当にある」と感じるのと同様のバイアスですね。何かイベントが起きてから、そういえば…と関連づけるために、実際に虫の知らせがあると誤解するのです。

　さらに、前半で書いたように、そもそも点数が下がる変更ばっかりだったという可能性もありそうです。その場合、かなり有料プラン拒否と結びつけられやすい状況だったと言えます。


●多様性が無視されている…食べログは叩かれやすいサービスである

　…といった感じで、実際に食べログが不正している可能性ももちろんあるものの、起きていた現象はほぼ説明できる範囲内であり、不正を主張するならもっと確かな証拠が必要だったと思われます。ちょっと批判が感情的すぎたように見えました。

　で、この炎上を踏まえてなのですが、最後に今回の騒動とは直接関係ない話。食べログは基本的に叩かれやすいなと感じた点です。

　マイノリティ叩きなんかがそうなのであるように、自分とは違う人を許せないという人が多いです。食べログに不満が集まりやすいのは、そこで出ている点数が自分の感覚と一致しないというのが潜在的にあるのではないかと思います。

　あらゆるものに個人差があり、例外があって当たり前です。特に食べ物の好みというのは差が大きくなりやすいので、なおさらでしょう。こんなこと言っちゃったら食べログのビジネスモデル全否定なわけですけど、レストランに点数評価をして、なおかつ多くの一般大衆を相手にするというのはかなり前途多難な道かもしれません。


【本文中でリンクした投稿】
　　■なぜ人は疑似科学やデマを信じるのか？ 江戸しぐさ・EM菌・ホメオパシーなど
　　■幻冬舎見城徹がすごい理由 安倍首相やバーニング周防郁雄と友達だから
　　■アマゾンレビューがひどい安倍首相本の小川榮太郎、杉田水脈擁護でLGBTと痴漢を同一視

【その他関連投稿】
　　■一日三食はもう崩壊状態で夕食も脇役化 一日四食～五食時代へ
　　■世界一のグルメ国と言われるのに、世界一食探しを楽しめない日本人
　　■日本のインドカレー店 実はネパール風でナンはパキスタンだった！
　　■B-1グランプリ、巨大化・商業化の弊害で退会団体続出 小倉焼うどん,みしまコロッケ,姫路おでんなど
　　■そんな教え方じゃわからない！正しい箸の持ち方なら矯正箸を使った方が良い
　　■食べ物・飲み物・嗜好品についての投稿まとめ