谷歌搜索算法2500份内部文件泄露 真实性已确认

今日最火的消息莫过于谷歌的文件泄露事件了，谷歌今天证实，之前被泄露的一系列2500份内部文件是真实的。这些文件详细说明了谷歌正在跟踪的数据，其中一些数据可能被用于其严密保护的搜索排名算法。这些文件提供了一个前所未有的视角，揭示了塑造网络的最重要系统之一，但仍然存在一些不确定性。

谷歌发言人 Davis Thompson 在一封电子邮件中表示:“我们要警告人们不要根据断章取义、过时或不完整的信息对搜索结果进行不准确的假设。我们已经详细介绍了搜索的工作原理以及我们的系统所考虑的因素类型，同时也努力保护搜索结果的完整性，以防止操纵。”

这些泄露的文件的存在最初是由搜索引擎优化（SEO）专家 Rand Fishkin 和 Mike King 提出的，他们本周早些时候分别发布了对文件及其内容的初步分析。谷歌并未回应 The Verge 关于泄露的真实性的多次请求。

泄露的文件显示，谷歌收集并可能使用一些公司代表声称不会影响谷歌搜索中网页排名的数据，例如点击次数、Chrome 用户数据等。这些文件数以千页计，作为谷歌员工的信息库，但目前尚不清楚其中哪些数据被实际用于搜索内容的排名，这些信息可能已过时，仅用于培训目的，或仅仅被收集但没有用于搜索。文件中也没有透露不同元素在搜索中的权重如何。

尽管如此，这些公开的信息可能会在搜索引擎优化（SEO）、市场营销和出版行业引起波澜。谷歌通常对其搜索算法的工作原理保持高度保密，但这些文件以及最近在美国司法部的反垄断案中的证词提供了更多关于谷歌在网站排名时考虑的信号的清晰度。

谷歌在搜索方面的选择对于那些依赖互联网进行业务的人们产生了深远影响，从小型独立出版商到餐馆和在线商店。与此同时，一个希望破解代码或战胜算法的人群产生了，他们提供的答案有时相互矛盾。谷歌的含糊和措辞并没有帮助解决问题，但这些内部文件的涌入至少提供了一个了解这家主导互联网的公司的思考方式的机会。

毕竟一份2500页的内部文档泄露，谷歌搜索算法的内幕，让不少人大跌眼镜。

日前，谷歌2500页的内部文档被泄露，揭示了搜索——「互联网最强大的仲裁者」的运作方式。

爆料人是SparkToro的联合创始人兼CEO，他在自家网站上发表博客文章，宣称「一位匿名人士与我分享了数千页泄露的谷歌搜索API文档，SEO中的每个人都应该看到它们」!

多年来，Rand Fishkin一直是SEO领域（Search Engine Optimization，搜索引擎优化）的顶级代言人，「网站权威性」(Domain Rating)这个概念就是他提出的。

既然在这个领域德高望重，Rand Fishkin爆料之前自然要对这位不明身份的匿名人士小心查验。

该泄漏信息与GitHub公共仓库和谷歌云API文档中的其他信息相吻合，使用了相同的符号风格、格式，甚至流程/模块/功能名称和引用。

「API Content Warehouse」听起来像个技术术语，但我们可以把它看作是给谷歌搜索引擎团队成员的一份指南。

它就像图书馆里的图书目录，谷歌用它来告诉员工有哪些书以及如何获取。

但不同的是，图书馆是公开的，而谷歌搜索却是世界上最神秘、防守森严的黑匣子之一。在过去的二十多年中，谷歌搜索部门从未发生过如此大规模或如此详细的泄密事件。

「泄露」了什么?

1. 对用户点击数据的使用

文档中的一些模块提到了「goodClicks」、「badClicks」、「lastLongestClicks」、印象、压扁、未压扁和独角兽点击等功能。这些都与Navboost和Glue有关，看过谷歌司法部证词的人可能对这两个词并不陌生。

以下是司法部律师Kenneth Dintzer对搜索质量团队搜索副总裁Pandu Nayak的交叉询问的相关摘录:

Q. 那么请提醒我一下，Navboost是否可以追溯到2005年?

A. 在这个范围内，甚至可能更早。

Q. 它已经更新过了，它已经不是当年的那个Navboost了?

A. 不是了

Q. 还有一个是glue，对吗?

A. glue只是Navboost的另一个名称，包括页面上的所有其他功能。

Q. 好的。我本来打算稍后再谈，但我们现在就可以谈。就像我们讨论过的那样，Navboost可以生成网页结果，对吗?

A. 是的。

Q. glue还可以处理页面上所有不是网页结果的内容，对吗?

A. 没错。

Q. 它们共同帮助找到最终显示在我们搜索结果页上的内容并对其进行排名?

A. 没错。它们都是这方面的信号，是的。

这份泄露的API文档支持Nayak先生的证词，并与Google的网站质量专利保持一致。

谷歌似乎有办法过滤掉他们不想计入排名系统的点击量，并将他们希望计入排名系统的点击量纳入其中。

他们似乎还能衡量点击时长（pogo-sticking，指搜索者点击结果后，因对找到的答案不满意而迅速点击返回按钮）和印象。

2. 征用Chrome的点击流

谷歌代表多次表示，它不会使用Chrome数据对页面进行排名，但泄密文档在有关网站如何在搜索中显示的部分中，特别提到了Chrome。

泄露文件的匿名消息源称，早在2005年，谷歌就希望获得数十亿互联网用户的完整点击流，而通过Chrome浏览器，他们已经得偿所愿。

API文档显示，谷歌可以使用Chrome浏览器计算与单个页面和整个域相关的几类指标。

这份文档介绍了谷歌如何创建Sitelinks的相关功能，特别有趣。

它展示了一个名为topUrl的调用，即 「A list of top urls with highest two_level_score， i.e.， chrome_trans_clicks.」

据此可以推测出，谷歌很可能使用了 Chrome 浏览器中网页的点击次数，并以此来确定网站上最受欢迎或是最重要的 URL，进而计算出哪些URL应包含在Sitelinks功能中。

在谷歌搜索结果中，它总能显示用户访问量最大的页面，这是它通过跟踪数十亿Chrome用户的点击流得来的。

对于谷歌的这一行为，网友当然表示不满。

3. 为严肃话题创建白名单

我们不难通过「优质旅游网站」 模块得出这样一个推论——谷歌在旅游领域存在一个白名单，尽管尚不清楚这是否专门用于谷歌的「旅游」搜索选项，还是更广泛的网络搜索。

此外，文档中多处提到的 「isCovidLocalAuthority」（新冠本地权威）和 「isElectionAuthority」(选举权威)进一步表明，谷歌正在对特定域名进行白名单管理，这些域名可能会在用户搜索极具争议的问题时被优先显示。

例如，在2020年美国总统大选之后，某位候选人在没有证据的情况下声称选票被偷，并鼓励其追随者冲击国会山。

谷歌几乎肯定会成为人们最先搜索这一事件相关信息的地方之一，如果他们的搜索引擎返回的是不准确描述选举证据的宣传网站，这可能会直接导致更多的争论、暴力，甚至是美国民主的终结。

从这个角度上来说，白名单有其现实意义。Rand Fishkin表示「我们这些希望自由公正的选举继续下去的人应该非常感谢谷歌的工程师们在这种情况下使用了白名单。」

4. 采用人工评估网站质量

长期以来，谷歌一直有一个名为EWOK的质量评级平台，我们现在有证据表明，搜索系统中使用了质量评估者中的某些元素。

Rand Fishkin觉得有趣的是，EWOK质量评估者生成的分数和数据可能会直接参与谷歌的搜索系统，而不仅仅是实验的训练集。

当然，这些可能「只是用于测试」，但是当浏览泄露的文档时，你就会发现当这是真的，它会在注释和模块详细信息中明确指出。

其中提到的「每份文档相关性评级」即来自 EWOK 的评估，虽然没有详细的说明，但我们不难想象，人类对网站的评估到底有多重要。

文档还提到了「人工评级」（例如来自 EWOK 的评级），并指出它们「通常只填充在评估管道中」，这表明它们可能主要是该模块中的训练数据。

但Rand Fishkin认为这仍然是一个非常重要的角色，营销人员不应忽视质量评级者对其网站的良好感知和评级有多么重要。

5. 利用点击数据确定权重

谷歌将链接索引分为三个等级（低、中、高质量），点击数据用于确定网站属于哪个等级。

– 如果网站没有被点击，就会进入低质量索引，链接也会被忽略

– 如果网站来自可验证设备的点击量很高，它就会进入高质量索引，并且链接会传递排名信号

一旦链接因为属于更高层次的索引而成为 “可信 ”链接，它就可以流动PageRank和锚点，或者被垃圾链接系统过滤/删除。

来自低质量链接索引的链接不会损害网站的排名，它们只会被忽略。

谷歌的搜索算法可能是互联网上最重要的系统，它决定了不同网站的生死存亡以及我们在网上所能看到的内容。

可它到底是如何对网站进行排名的，长期以来一直是个谜，记者、研究人员和从事SEO工作的人们都在不断拼凑这个谜题的答案。

在这次泄漏事件中，谷歌依旧保持沉默，似乎会让这个谜题长久存在下去。

但这次谷歌有史以来最严重的泄密，还是撕开了一个裂缝，让人们对搜索的工作原理有了前所未有的了解。

参考资料:

https://sparktoro.com/blog/an-anonymous-source-shared-thousands-of-leaked-google-search-api-documents-with-me-everyone-in-seo-should-see-them/