其中有选择检查工具的选项
Posted: Tue Dec 24, 2024 6:52 am
纽约州网站标题的屏幕截图，
这应该显示类似这样的内容：
浏览器检查工具的屏幕截图，突出显示标题导航区域以识别要排除的最顶层类别和 ID。”
例如，如果我发现像“nygov-unav”这样的类别或ID“ny-universal-navigation”，我会将它们从抓取中排除。
对其他导航区域（包括页脚）重 阿根廷电话号码库 复此过程。如果不确定，请从上面的默认列表开始，或咨询团队中的某个人，了解导航 div、类和 ID。
调整 robots.txt 设置
导航到配置 > 机器人。
按照我的屏幕截图中显示的设置。
屏幕截图显示了 Screaming Frog 中的“机器人”配置设置
最终设置检查
此时，您可以单击“确定”并完成操作。我没有为此练习连接到 Google Analytics、Search Console或任何SEO API ，因为启用JavaScript和XML站点地图的 Screaming Frog 应该可以找到所有重要页面。
预备，开始，爬行
单击“开始”并让爬网运行约一分钟。
转到“自定义 JavaScript”选项卡并进行过滤，仅显示“（ChatGPT）从页面内容中提取嵌入”。您应该会看到大多数 URL 旁边出现数字。
Screaming Frog 的“自定义 JavaScript”选项卡的屏幕截图，以数字形式显示提取的嵌入数据
如果一切看起来不错：
单击“暂停”并保存文件。
再次点击“恢复”。（这是一个非常好的习惯。）
步骤 3：导出向量嵌入和所有内链
从 Screaming Frog 导出“所有内部链接”
这应该显示类似这样的内容：
浏览器检查工具的屏幕截图，突出显示标题导航区域以识别要排除的最顶层类别和 ID。”
例如，如果我发现像“nygov-unav”这样的类别或ID“ny-universal-navigation”，我会将它们从抓取中排除。
对其他导航区域（包括页脚）重 阿根廷电话号码库 复此过程。如果不确定，请从上面的默认列表开始，或咨询团队中的某个人，了解导航 div、类和 ID。
调整 robots.txt 设置
导航到配置 > 机器人。
按照我的屏幕截图中显示的设置。
屏幕截图显示了 Screaming Frog 中的“机器人”配置设置
最终设置检查
此时，您可以单击“确定”并完成操作。我没有为此练习连接到 Google Analytics、Search Console或任何SEO API ，因为启用JavaScript和XML站点地图的 Screaming Frog 应该可以找到所有重要页面。
预备，开始，爬行
单击“开始”并让爬网运行约一分钟。
转到“自定义 JavaScript”选项卡并进行过滤，仅显示“（ChatGPT）从页面内容中提取嵌入”。您应该会看到大多数 URL 旁边出现数字。
Screaming Frog 的“自定义 JavaScript”选项卡的屏幕截图，以数字形式显示提取的嵌入数据
如果一切看起来不错：
单击“暂停”并保存文件。
再次点击“恢复”。（这是一个非常好的习惯。）
步骤 3：导出向量嵌入和所有内链
从 Screaming Frog 导出“所有内部链接”