站点地图是一个包含有关站点页面、内容和关系的信息的文件。Magento 具有内置的 XML 站点地图功能，可根据预设配置自动生成和上传站点地图。确保站点地图生成频率足够高，以捕获站点上的更改，包括所有可索引页面，并在每次更新后提交给搜索引擎。转到商店 > 设置 > 配置 > 目录 > XML 站点地图 > 类别选项，配置站点地图生成设置。
XML 站点地图到 Magento
设置 robots.txt
robots.txt 文件会告诉搜索引擎爬虫程序要索引的确切 URL，从而 阿曼电报号码 止它们陷入潜在的爬虫陷阱并最大程度地减少爬虫程序请求。即使在 HTTP 标头和元标记中使用“nonindex”指令，使用 robots.txt 引导爬虫程序远离某些 URL 模式（例如登录页面和内部搜索过滤器）仍然很重要。此外，通过在站点地图提交设置中启用该选项，允许 robots.txt 引用站点地图。要编辑 robots.txt 文件，请导航至内容 > 设计 > 配置，选择要编辑其 robots.txt 的商店，然后找到搜索引擎机器人部分。在那里，您可以添加默认机器人或自定义指令行。