在J.D.Power公布2015年中国市场的汽车可靠性研究（VDS）排名之后，知乎大神们就展开了激烈的讨论。一位自称“车行金融狗”的用户“酱油兄”表示：“J.D.Power对于问卷质量的把控算是严格的，但问题在于其问卷模式和内容设计不符合中国国情，且4S店会影响真实预约客户的回答。因此，J.D.Power的问题在于：最基础的数据真实性堪忧。”
我非常赞同酱油兄的答案，并且当初在采访时J.D.Power方面在解释自己调研策略的时候的确说到了这个答案中采取的一些方式——比如停车场等待车主、比如红绿灯找车主要电话等等，而且也提到了关于调查问卷需要花费的时间等等。实际上，当时我也认为这种调研手法可能有一定的纰漏，不过J.D.Power那边一直在强调自己的回访专业性，以及对纰漏样本的剔除，就没有深究了。此外，对于样本数量的问题，J.D.Power方面说，根据统计学原理，其实他们对样本数量有一个限度，但是不是我们想象的需要那么多，因为考虑到各款车型不同的销售量，有时候很少的样本就可以具有统计学意义了。
说一下我的判断，J.D.Power应该没有被充值，但是这个排名结果的确有待商榷。之所以有待商榷，就是因为J.D.Power的调查方法可能存在比较大的漏洞和误差，并且中国车主对汽车使用的偏向性可能导致调查结果的偏差。
先解释下为什么我认为J.D.Power不会被充值。
在2012年我曾经采访过J.D.Power中国区副总裁兼董事总经理梅松林博士，他当时就提到过在全球范围内J.D.Power的本质是一家咨询公司，他们的服务对象包括汽车、汽车金融公司和银行等，企业的自我定位是“通过先进的研究技术和分析模型为企业提供深刻的专业分析与行业见解”。这就意味着，J.D.Power的盈利模式是卖调研报告给车企，而不是收车企的钱写报告。如果是后者，那么J.D.Power就无法给车企提供真实客观的数据，就无法帮助车企进行改善，那自己的这门生意就做不下去，毕竟读者又不会买J.D.Power的报告。
那么你会问，J.D.Power每年都把数据发布出来了，车企们不都看到了吗，他们卖的是什么报告呢？
实际上，你注意J.D.Power所有公布的数据图表就可以看到，你只能看到平均得分以上的部分，品牌部分排名只会公布平均得分以上的车企，车型部分排名也只会公布平均得分以上车型，而剩下的部分就需要车企自己花钱买。据了解，全本的J.D.Power调研报告将对每一个调查项目进行详细分析，并且提供给车企足够全面的对比数据，帮助车企改进自己的问题，所以车企要想知道详细的内容，尤其是自己和竞品的差距，那就得去买报告，而这份报告的价格不菲，即便是为数不多的车企付费也足以支撑其J.D.Power在中国市场的运作。因此，我们所看到的这些公布出来的排名，只是一个大概内容，只是让车企们花钱买报告的一个“鱼饵”。
当然，虽然J.D.Power不会被充值，但并不妨碍车企对这个调研“作弊”，作弊的动机主要是好的名次可以作为市场亮点来传播，比如我们就可以看到软文广告中说某某品牌获得J.D.Power调研第一名、头三名这样的文字。但是到了近几年，其实车企们已经并不在意在这种调研中作弊了，主要还是投入产出比不合理。一位车企高层说过，可能每家店的DCC为了应付电话采访会做很多准备，又要先打电话给客户，又要自己装客户，又要模拟调查等等，但有这个时间他认为还不如直接把客户邀约做好，不考核调研效果每年还能给经销商节约很大的费用。
假定我们认同了J.D.Power不会被车企充值，那么我们再来分析一下为什么我们看到的排名和我们所认知的排名有这么大差距。我们以2015年和2014年的中国VQS调研结果，以及2015年美国VQS调研结果进行一个对比。
根据J.D.Power自己的介绍，VQS是指车辆可靠性研究，这项研究衡量拥车期在37-48个月内的车主在过去6个月期间遇到的问题，包括8个问题类别（发动机/变速系统、车身外观、驾车经历、配置/操控/仪表板、音响/娱乐设备/导航系统、座椅、空调系统和车身内装）的202个问题症状。其中，总体可靠性由每百辆车出现的问题数（PP100）来衡量，分数越低表明质量越好。
我们可以看到，对比2014年和2015年中国的调研结果，MINI从榜单上一跃而出冲上2015年可靠性的榜首，但是在2014年却都不见踪影。对此，我给一个可能的解释：2015年看到MINI不是说它出来的莫名其妙，而是可能2014年它的得分是位于平均线以下，或者说之前样本数量不足没有计入榜单。
同时，我们再看看这份调查的车主时限，所有接受调查的车主都是在调查期间有车3年以上、4年以下的，也就是大多集中在2011年到2012年之间，这个期间正好是MINI Countryman上市期。显然，MINI Countryman的热销可能造成了MINI的调研样本突然增大，然后车主们对这款的评价很高，使得MINI整体品牌得到了跃升。其实我们抛开MINI这种市场偏差，2014年和2015年大部分车企的排名变化并不大，不少车企的PP100数量都在减少，说明是中国车企的制造进步。
我们在对比2015年中美两地消费者对VQS的不同，首先是美国市场报告公布了所有品牌，并且豪华车和主流车是合并在一起的，而中国则是专门分开了的。我个人猜测是这样J.D.Power在中国把报告拆分可能是为了更好的销售，毕竟宝马奔驰们拿到主流车企的报告也没什么用，这样拆分后还能降低报告的销售单价，有利于J.D.Power中国区的业绩增长。
而具体在排名上，我们可以看到，似乎中国消费者对于车辆的抱怨会多一些，但是差距也不大，平均数是160比147。同时由于中国的调研结果其实和美国差异也并不大，虽然在美国大众品牌在平均线以下，但得分也在165，相比中国两家合资车企一家为140和155，实际上的差距也并不大。而诸如奔驰、保时捷、三菱、马自达、本田这类得分在中美两地也是比较接近，并没有我们想象中天翻地覆的差距。
当然，我们也不得不承认，中美出现的部分差异还是很明显的，除了MINI以外，还有别克、现代这类，至于路虎、克莱斯勒、Jeep这样的我们也看不到排名，更无从考证中美差异。不过我在这里要强调的一点是，还有什么因素会导致调研结论的偏差，会不会是消费者的习惯和心理预期呢？对此，我认为是很有可能的，尤其是J.D.Power的问卷设计中以定性语句来调研时，这种偏差绝对是大概率发生的。比如大众车主可能觉得烧机油不是一个质量缺陷，或者是日系车主认为自己的保险杠不如大众车结实是一个缺陷 ，又比如一个人买了一辆MINI觉得这车什么都好，什么问题都不算缺陷，这都是有可能的。遗憾的是，J.D.Power从来没有在中国公布过调研问卷的任何一个部分，所以我们无法评估这种可能性，但个人认为这种消费习惯偏好很大可能导致了调查结果的偏差。
针对@刘晓 的回答，知乎大神们开始讨论：
@张发财：
题主您好，您说这个公司没用公布过问卷，可是这么长的问卷是需要人写的，怎么可能不透露呢
公司本身是不会公开的。所有的调研公司和访问员也是签署保密协议的。被访者一般也不会去记题目，只要回答12345，由于有逻辑跳转所以也看不到问卷全貌。
当然上面我说的这些都是在不违反诚信原则的基础上。
事实是，我从事车行后看到很多车厂、4S店设计的客户满意度回访问卷就是J.D.P原题节选，我就 呵呵呵 了～
每年会有一些变化，毕竟但毕竟变化不会太大吧，泄漏是一定的，但是他们没有正式公布过
确实，我做过08.09.10三年的调研，问卷总体变化不大，细节上会增加或删除一些问题。
感谢您对我答案的赞同。
作为一个底层执行者，当年我初次拿到问卷的时候第一感觉就是：特么设计这套问卷的人是住在天上啊！
平均一份问卷做下来要一个小时，全程录音（后来可能还要录像），访问员只能阅读不能引导，就是说 万一碰上有些稀奇古怪的问题客户不理解，我们是不可以给客户解释这道题到底问的是什么，只能不断重复读给TA听，录音过程中如果有些纰漏或者不太合适的地 方就需要从头开始重新录音！所以，一般我们都是开始录音前就给客户打招呼：这边那边怎么说。
如果没有足够大的物质诱惑，真的很难保证客户会如此配合！
即便这样，遇到总部回访，真实客户看到陌生电话会拒接，或者电话回访过程中有些纰漏还是会被作为废卷处理，反而是一些比较熟悉流程的“客户”更容易绕过总部的层层障碍，样本最终得以被使用。
我是不是该匿个名。。。
其实，我觉得JDP本来是有高额物质奖励的，但是因为转包的原因，所以就变成了你说的水杯。再加上中国消费者对于汽车使用体验还处于启蒙阶段，所以耗费的时间就很久。我自己参加过新车研发阶段的调研，人家一下午会给几百元吧，而且还有新车看，所以JDP的调研不是汽车爱好者真的不愿意花时间。可能以后会好一些，喜欢汽车的人多了，就愿意参与到这样的反馈中。
还有为什么4S店可以拿到客户满意度回访的问卷，其实就是我说的作弊问题。前几年车企为了做好客户满意度，拼命的作弊，送给客户维修券以及自己安排人调查等等。那他们的答卷是哪里来的呢，其实很简单，他们也会去买一套调研报告，然后进行模拟，有专门的公司负责出题，算是内部培训的一种。
你所说的调查应该是厂家直接参与做的，样本量少，中间环节少，到最终客户手上的钱自然多。比如4S店都知道的神秘顾客、秘采，一单也是有好几百的。
而J.D.P，这种第三方大规模调研是做不到的！
我所在的二线城市那几年的样本量是300~500，刚开始还兼顾了隔壁市，加起来就是近千的样本量，总体完成时间2~3个月，平均每个月要完成200~300份，即一天7~8份，还不算废单！
一家小调研公司全部人手也就十几二十人，负责这个项目的督导至多3-5个。然后需要找学生培训，学生也不是24小时有空的，而且很多学生不能理解整个环节，问卷错误率很高,整个效率真是低下的可以。
其实调研公司接J.D.P的项目利润很薄，主要是可以借着J.D.P的招牌，拿其他的合作项目。年度项目伊始就会有经销商来电话问能不能赞助XX钱，配合提供客户。然而这个时候已经晚了！聪明的经销商会在平常找调研公司做其他类似神秘顾客自检类的项目，说白了就相当于变相送钱！
不过这也是前几年车好卖的时候的景象，这两年车行不好做，确实已经很少在意这个排名了，但是至少会在J.D.P项目开始前给客户发个短信告知配合面访可以凭借记录获得XXX
另外，一道“您或您的家人、亲戚、朋友是否有在汽车相关行业、媒体行业、XXX行业工作”，就足以将很多汽车爱好者挡在门外！
咋不会被充值？ JDP和主机厂各种合作研究， 调研项目不要做得太high
合作研究和充值不一样，合作研究有些时候是特定项目，比如电动车使用这类，不是每个车企都会参与，并且样本数量也有限，只能依靠合作。
别的不好说，我司有合作研究的年份 TOP也拿过， 消减预算没合作的年份，跌倒平均线下也有。 当然是不是直接关联，我不敢断定。 基本上内部对JDP是一笑而过， 好的时候就拿出来做做广告
我说的合作是 还有一方面是 比如详细的数据报告， 定制的IQS研究等等，不少钱的
好吧看来还是内部人士知道多些
如果消费者的习惯和心理预期左右了调研的结果，那么这个机构在其他国家地区做的调研结果同样也是受这些因素影响的。这可能说明两个问题：此调研结果可单靠性不高，主观影响太大；以及国外的调研结果归于国内来说基本没有多大参考价值。
在美国排名特别好的车，到国内排名一般，然而看得分，其实差不多。这还间接得出一个结论，就是这种可靠性的报告参考价值不高，其实各个主流车企的产品可靠性都是相差不太大。
另外很多人质疑，国内的调研方式问题导致结果与国外大相径庭，而不是产品大相径庭。我可不可以这样推论：同一个公司在国内和美国都做了同样的调研，因为国内的环境不同，所导致中国的调研结果不可信。既然同样的公司在国内与美国的产出可以不同，为什么同样公司在美国和国内造的车就不可以不同，而一定认为是报告出了问题？
还有@MatthiasWang 在此贴下回了一张图，说：“不废话了，直接上图，其他的请自行判断。图片来源本人，之前在微博上发过。”图片如下：