公司网站制作互联网爬虫的分类

互联网爬虫的分类。 互联网爬虫根据达成的技术主要分为通用互联网爬虫(general purpose web crawler)和主题互联网爬虫(TOPical crawler)。 在这两类爬虫基础上进行细化和深入剖析,又可以进一步达成增量式互联网爬虫、深层互联网爬虫等依据具体需要生成的爬虫种类。