对无法抓取的着陆页进行问题排查

Google 要求广告目标页面和广告素材可供 Google AdsBot 网页抓取工具抓取，以便验证用户是否会被引导至与其点击的广告相关的广告目标页面。请使用一个遵循适用于 Google 搜索的网址结构最佳实践的网址结构，确保 Google 可以有效地抓取您的网站。详细了解目标页面要求政策。

请按照本文中的步骤排查这些问题。

本页内容

• 找出无法抓取的网址的来源
• 检查有无 robots.txt 文件
• 测试着陆页，看看它是否可供抓取
• 着陆页无法抓取的其他原因
• 在广告素材代码中查找无法抓取的网址

---

找出无法抓取的网址的来源

1. 打开广告素材。
2. 点击广告素材状态。
3. 点击 Display & Video 360 审核（如未展开的话）。从反馈中复制无法抓取的着陆页网址。
4. 预览广告素材，然后点击它以打开着陆页。待所有重定向完成后，在浏览器中查看最终到达网址。将此网址与您先前复制的无法抓取的网址进行比较。
   • 如果声明的着陆页网址与被标记的网址一致，但与重定向后的最终目标网址不同，请在 Display & Video 360 或 Google Ads 中更新声明的着陆页网址，使其与最终目标页面一致；或者修改所有点击跟踪代码或重定向，确保它们指向声明的网域。对于 Campaign Manager 360，请验证使用静态着陆页网址选项是否适用。
   • 如果被标记的网址与最终目标网址一致，但系统报告该网址无法抓取，请点击广告素材详情，查看相应广告素材的“着陆页网址”。您需要将其更改为可抓取的另一网址，或解决导致当前着陆页无法被抓取的问题。
   • 如果网址在其他方面不一致，或者来源不明确，请继续执行下一步以深入调查。
5. 查找无法抓取的着陆页所在的网址：
   • 打开广告素材的 HTML 和 JavaScript 文件，然后搜索 Display & Video 360 报告为无法抓取的网址或不匹配的网址。
   • 如果广告素材是从 Campaign Manager 360 同步过来的，请联系广告客户的 Campaign Manager 360 广告投放人员，让他们检查并更正相应网址，确保该网址与最终到达网址一致且可供抓取。
   • 如果 Display & Video 360 无法检测到广告素材的着陆页，系统会改用您的 Display & Video 360 广告客户网站。要想找到该网址，请打开您的广告客户，然后依次点击广告客户设置和基本详情。该网址将显示在“网站”字段中。

---

检查有无 robots.txt 文件

如果您是网站管理员，并且有权访问 Google Search Console 以查看广告客户网站的数据，则可以使用 robots.txt 测试工具进行问题排查。如果您没有访问权限，请按以下步骤操作。

1. 复制相应网址并将其粘贴到浏览器的地址栏中。
2. 在域名末尾添加 /robots.txt，然后按 Enter 键。系统会显示主网域的 robots.txt 文件。例如，如果您的网域是 https://www.example.com/robots.txt，则应使用 https://www.example.com/robots.txt。
   • 注意：如果该文件为空或不存在，系统可能会将您重定向到首页，或者向您显示 404 错误。如果您的网站没有 robots.txt 文件，则 Google 抓取工具可以访问该网站。默认情况下，Google 的抓取工具可以访问未被其他规则涵盖的路径。不过，请确保没有更广泛的服务器配置已阻止访问。
3. 如果您的网站有 robots.txt 文件，请确保其中包含以下用户代理并允许抓取您的着陆页：
   • User-agent: AdsBot-Google
   • User-agent: Googlebot
4. 确认这些用户代理行后面没有 Disallow: / 行，因为该行会阻止访问您的着陆页。
5. 如果它们被禁止，请与网站管理员合作移除 / 或将相应行更改为 Allow: /。
6. 如果着陆页是子网域，请检查它是否具有单独的 robots.txt 文件。例如，https://subdomain.example.com/robots.txt。请确保该 robots.txt 还允许 AdsBot-Google 和 Googlebot 用户代理。

---

测试着陆页，看看它是否可供抓取

1. 在 Google Chrome 中前往相应网页。
2. 选择 Chrome 菜单 ，然后依次点击更多工具和开发者工具。
3. 在开发者工具面板中，依次点击“更多选项”图标 、更多工具和网络状况。
4. 在“网络状况”部分，关闭“用户代理”单元格中的“使用浏览器默认设置”。
5. 在用户代理菜单中，选择“Googlebot”。重新加载网页，看看 Googlebot 能否访问该网页。
6. 在“用户代理”菜单中，选择“自定义”。在下方的字段中，将用户代理路径更新为 AdsBot-Google (+http://www.google.com/adsbot.html)。 重新加载网页，看看 AdsBot 能否访问该网页。

---

着陆页无法抓取的其他原因

如果 robots.txt 允许 Google AdsBot 抓取着陆页，并且网址看似无误，则可能是其他问题阻止抓取着陆页或导致广告被拒批：

• 着陆页无法加载或间歇性无法访问：如果您在浏览器中打开相应网页时遇到 HTTP 错误（例如 404 [未找到网页] 或 500 [服务器错误]），或者网页间歇性无法加载，请与网站管理员联系。他们需要确保着陆页在所有位置、环境（移动设备和桌面设备）和浏览器中始终都能正常访问并正确加载。您还应检查是否存在可能会阻止 Google 抓取工具的地理位置限制。如果您的业务需要设有地理位置限制，您应该使用广告系列地理位置定位，而不是屏蔽抓取工具，因为这可能会导致“目标页面无法抓取”错误。间歇可访问性问题也可能会导致这些错误。
• 着陆页要求登录：广告着陆页必须可以公开访问。请使用其他着陆页，或与网站管理员合作，从页面中移除登录要求。
• 着陆页包含太多转址或重定向：着陆页包含的重定向必须少于 10 个。如果最终到达网址不符合预期或重定向链断裂，过多的重定向可能会导致“目标页面无效”或“目标页面不匹配”问题。请与网站管理员合作，减少重定向数量。详细了解重定向。
• 着陆页或广告素材中的重定向网址不符合点击后到达网址准则：如果广告素材处于“待审核”状态超过 12 小时，则可能是因为广告素材着陆页或重定向网址不符合我们的点击后到达网址准则，导致广告素材卡在审批流程中。请确保所声明点击后到达网址和任何重定向网址的长度均多于 12 个字符且小于 2048 个字符。您还可以使用 Chrome 开发者工具查找广告素材中超出 2048 个字符的重定向网址。
• 着陆页包含不会在页面加载时返回结果的搜索引擎：如果着陆页会启动网站搜索，请确保网站搜索引擎会返回结果，否则抓取工具可能会将该网页视为无效网页。请与网站管理员合作，使搜索引擎返回一些默认搜索结果，而不是显示错误页面或消息（例如“无结果”）。
• 着陆页网址包含井号 (#)：Display & Video 360 无法处理包含井号的网址。请从网址中移除井号，或使用其他着陆页。
• 由于超时，着陆页无法抓取：Google 在尝试抓取着陆页，但请求用时过长，难以完成。由于各种原因，超时可能会偶尔发生。如果这种情况经常发生，则可能会导致“目标页面无效”问题。请与网站管理员联系，以调查并解决服务器性能或网页加载时间问题。
• 着陆页会定向到人机识别系统页面：广告着陆页必须可供公开访问，而人机识别系统会导致目标网页无法被抓取。请联系网站管理员，让其移除着陆页中的人机识别系统或允许 Google 的特殊爬虫绕过人机识别系统。详细了解 Google 的特殊爬虫列表。

修正已发现的着陆页问题后，系统会自动重新审核您的广告或广告素材。您应监控广告或广告素材的状态。如果状态未更新，或者您认为自己的网页符合政策但它被误标记为违规，您可以通过 Google Ads 或 Display & Video 360 界面就此决定提出申诉。

---

在广告素材代码中查找无法抓取的网址

Display & Video 360 广告素材的多个位置都可以设置着陆页网址。有时，它们是直接在广告素材代码中设置的，而不是在 Display & Video 360 中设置的。请按照以下步骤操作，查找直接在广告素材代码中设置的无法抓取的网址：