Screaming Frog SEO Spider

 　　Screaming Frog SEO Spider免费版是一款链接检测工具，特别是为SEO设计，并作为一个有用的工具来分析网站。具有查找破碎的链接、审核重定向、分析页面标题和元数据、发现重复的内容、使用XPath提取数据、审查机器人和指令、生成XML站点地图等功能,软件界面十分简洁明晰，并且软件使用起来方便快捷，是一款非常实用，且又功能性强大的软件，让繁琐复杂的工作变得简单有趣!

Screaming Frog SEO Spider软件特色

　　Spider的抓取方式可以分为Spider与URL，简单点理解就是一个你可以放一个页面或域名开始抓取，另外一个则是放一个url文件进去抓取。

　　你在输入好url或选择好url文件后则会开始抓取内容，Spider可以为我们抓取页面的内容呢有

　　1.页面链接

　　2.文件类型与编码

　　3.HTTP状态码和状态

　　4.Title与长度

　　5.Description与长度

　　6.Keywords与长度

　　7.H1标签文本与长度

　　8.H2标签文本与长度

　　9.Canonical URL

　　10.其他(文件大小，字数，层数，内链数量，站外链接数量等)

小编寄语

　　这里大家可能还是看不太懂，那Adrian为大家简单举例解释一下。

　　案例一：小编想要抓UC所有页面，其中不包括CSS，JS，SWF(因为这些浪费时间和资源)。那么就可以取消勾选四个选项了;

　　案例二：民工想要像蜘蛛一样爬取UC的页面，那么就可以只勾选Ignore robots.txt这一项了;

　　案例三：何元想要只抓dx的首页所有链接，全部勾选上，除了不要勾Ignore与Limit search toal就可以了，当然记得勾上Limit Search Depth 并设置层级为1;