请从上面的默认列表开始

[fomayof928@mowline]

为了简化流程，我调整了几个 Screaming Frog 设置来优化矢量嵌入的导出，以实现内部链接优化。 要打开 JavaScript 渲染： 转到配置 > 爬网配置 > 蜘蛛 > 渲染 > JavaScript。



打开 JavaScript 渲染并保留设置不变。单击“确定”。 优化抓取设置 转到配置 > 爬网配置 > 爬网。 我使用的设置仅专注于抓取文本页面内容和内部链接。根据您的网站结构，您可以选择添加子域ے اختیارات دکھا رہا ہے۔ 设置为提取数据。



转到配置 > 爬网配置 > 蜘蛛 > 提取。 仅提取您需要的数据，以使文件大小易于管理。请参阅我的屏幕截图以的我使用。ایڈوانسڈ' مکڑی کی ترتیبات کو ظاہر کرنے والا اسکرین شاٹ 排除页眉和页脚链接 转到配置 > 内容 >内容区域。



目标是避免在我们发现的机会中包含页眉和页脚导航链接。您可以将此列表复制并粘贴到所有三个框中: 不 导航 头 标头 页脚 菜单 检晑站的页眉和页脚，以确定要排除的标签、类和ID. نیو یارک اسٹیٹ کی ویب سائٹ کے ہیڈر کا اجا سکے۔ 例如，如果我发现像"nygov-unav"这样的类别或ID"ny-universal-navigation"，我会将它们从抓取中排除。



对其他导航区域（包括页脚）重复此过程。如果不确定，，或咨询团队中的某个人，了解导航div، 类和 ID۔ 调整 robots.txt 设置 导航到配置 > 机器人. 按照我的屏幕截图中显示的设置. اسے۔ 最终设置检最 此时，您可以单击“确定”并完成操作。



我没有为此练习连接到 Google Analytics、Search Console 或䕛 法国电话号码表 O画丠击JavaScript اور XML 站点地图的 Screaming Frog 应该可以找到所有重要页面. 预备، 开始،爬行 单击"开始"并让爬网运行约一分钟. 转到“自定义JavaScript”选项卡并进行过滤，仅显示“（ChatGPT）从页面内容中提取嵌入”.旁边出现数字. چیخنے والے مینڈک 'کسٹم جاوا اسکرپٹ 如果一切起来不错: 单击"暂停"并保存文件. 再次点击"恢复".（这是一个非常好的习惯。



步骤 3: 导出向量嵌入和所有内链 从 چیختا ہوا مینڈک 导出"所有内部链接" 我首先从 چیختا ہوا مینڈک导出"所有内部链接"数据。 此文件包含网站的每个内部链接,可能非常大.例例 تمام لنک میں大约有 52 MB، 代表 1,42file.csv 并保存以供日后使用。



此时，我在关闭工具义导出为 file.csv مینڈک 项目.现在,是时候进入下一阶段了. اسکرین شاٹ 'all_inlinks.csv' فائل سے گوگل شیٹس میں درآمد کردہ ڈیٹا دکھا رہا ہے۔ 步骤 4: 创建电子表格 Google调整公式. 导入从 چیختا ہوا مینڈک 导出的两个文件 将 all_inlinks.csv 文件导入到一张工作表中，将 file.csv 导入到另一张工作表中。