本文旨在评估谷歌问答(question-answering,简称QA)的质量。考虑到搜索结果页面中谷歌回答框的多样性和复杂性,现有的搜索引擎和QA系统的评估标准似乎都不合适。本研究通过编码和分析来自代表性问题集的问题搜索结果,开发了谷歌问答质量评价标准体系。然后,该研究使用新开发的标准系统评估了谷歌的整体问答质量以及四个目标类型和六个问题类型的质量。采用方差分析和图基检验来比较不同目标类型和问题类型之间的问答质量。
研究发现,谷歌对个人相关问题的回答质量明显高于对与事物相关、事件相关和组织相关的问答质量。谷歌关于“在哪里”的问答质量比关于“谁”、“什么”以及“怎样”的问题的问答质量更优。问题越具体,问答质量就越高。