在许多Java教程中好像并不会教爬虫，但爬虫似乎又经常出现，所以到底什么是爬虫呢?
爬虫当然不是蠕动或者爬行的昆虫，或者在墙上到处爬的蜘蛛侠。
简单来说，我们日常生活的行为中的每个动作都会留下不同的信息，而这些信息就会在网络上不断的交织成一张巨大的网，而爬虫就是专门抓取我们想要信息的手段。
爬虫虽然是一种获取信息的工具，但它其实是一个程序或者脚本，而它的名字也不仅是爬虫，你还可以叫它蚂蚁、蠕虫、网页蜘蛛等。这就是为什么我们并不能直接像下载软件一样下载爬虫，而是需要根据获取信息的不同去编写新的程序，如果没学过Java教程的朋友是做不到的。
那么爬虫在生活中或者行业中有什么作用呢?举个简单的例子，我们平时写论文，需要大量借鉴不同的文献，参考不同的论点，但我们要如何才能从茫茫资料库中找寻到我们需要的信息呢?这时候就可以通过爬虫去抓取我们指定的信息，不单我们省去了查找的过程，还省下了筛选信息的功夫。
而对于企业来说，现在处于大数据时代，掌握大数据的人就是掌握的用户，而通过爬虫抓取到的用户行为轨迹能帮助企业更有针对性的开发出新产品，和调整商业策略。
爬虫工作基本流程其实也并不是非常难。首先在互联网中选出一部分网页，以这些网页的链接地址作为种子URL;将这些种子URL放入待抓取的URL队列中，爬虫从待抓取的URL队列依次读取。
然后将URL通过DNS解析; 把链接地址转换为网站服务器对应的IP地址;网页下载器通过网站服务器对网页进行下载。
下载完成后的网页为网页文档形式;对网页文档中的URL进行抽取;过滤掉已经抓取的URL;对未进行抓取的URL继续循环抓取，直至待抓取URL队列为空。
Java之所以常青，也是因为其安全性和多样性，而根据市场以及技术的发展，Java教程也会随之变化，未来编程将在世界中占据越来越重要的地位，抓住机遇，学习Java教程也就等于抓住了未来。
本文原创 文章来源：好学谷 转载请标明出处：http://www.haoxuegu.com/
