seo spider是mac上一款非常强大的网络爬虫软件，可以抓取网站的网址，并且能够实时分析结果。它会收集关键的现场数据以便于SEO做出正确的决策。而且seo spider具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过Screaming Frog SEO Spider分析以后，就可以得到自己需要的数据，同时也可以通过抓取的功能测试网页的***能，分析一切无法响应的网页，分析打开具有病毒提示的网页，无论是检测企业网站还是搜索网络的资源都是非常方便的！
尖叫青蛙网络爬虫软件功能介绍
你可以用SEO蜘蛛工具做什么？
| 1.找到断开的链接 立即抓取网站并找到损坏的链接（404s）和服务器错误。批量导出要修复的错误和源URL，或发送给开发人员。 |
| 2.分析页面标题和元数据 在抓取过程中分析页面标题和元描述，并识别网站中过长，短缺，缺失或重复的内容。 |
| 3.使用XPath提取数据 使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标记，其他标题，价格，SKU或更多！ |
| 4.生成XML站点地图 快速创建XML站点地图和图像XML站点地图，通过URL进行高级配置，包括上次修改，优先级和更改频率。 |
| 5.抓取JavaScript网站 使用集成的Chromium WRS渲染网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue.js. |
| 6.审核重定向 查找临时和永久重定向，识别重定向链和循环，或上传URL列表以在站点迁移中进行审核。 |
| 7.发现重复内容 使用md5算法检查发现完全重复的URL，部分重复的元素（如页面标题，描述或标题）以及查找低内容页面。 |
| 8.审查机器人和指令 查看被robots.txt，元机器人或X-Robots-Tag指令阻止的网址，例如'noindex'或'nofollow'，以及规范和rel =“next”和rel =“prev”。 |
| 9.与Google Analytics集成 连接到Google AnalyticsAPI并针对抓取功能获取用户数据，例如会话或跳出率和转化次数，目标，交易和抓取页面的收入。 |
| 10.可视化站点架构 使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和URL结构。 |
