当前位置 博文首页 > flashflight的专栏：开发一款开源爬虫框架系列（四）：设计fetch
这一期我们来聊聊怎么设计fetcher，既然说到设计，我们首先要明确设计的目的。fetcher的主要功能是根据传入的url获取网页内容，同时我们还面临如下一些问题：
1、使用什么工具发出http请求下载网页？
【答】使用最新的httpclient
2、怎么提高下载的性能？
【答】因为性能消耗主要在网络IO，那么我们要提高下载的性能可以使用线程池多线程并发下载网页，同时为了降低编程难度提高效率，我们模仿tomcat的机制，单线程封装请求，多线程下载网页。下载网页后我们会使用disruptor并发编程框架根据配置的队列数量来生成对应数量的ringbuffer，注意这里fetcher的角色是producer，并将producer平均的注册到ringbuffer上。然后再将parser以消费者的身份注册到ringbuffer上。
3、队列的实现？
?【答】使用disruptor框架，它的队列插入和读取性能比DubleBufferedQueue还高，比BlockingArrayQueue快了一个数量级
Fetcher的流程图是这样的：
Fetcher的测试demo：
@RunWith(BlockJUnit4ClassRunner.class)
public class GenericFetcherTest {
@Test
public void fetchFromRequest() throws MalformedURLException {
CrawlerHttpRequest request = new CrawlerHttpRequest();
request.setUrl(new URL("http://cd.lianjia.com/ershoufang/rs%E5%A4%A9%E5%BA%9C%E8%BD%AF%E4%BB%B6%E5%9B%AD/"));
GenericFetcher fetcher1 = new GenericFetcher();
try {
for(int i=0;i<10;i++) {
fetcher1.fetchFromRequest(request);
}
} catch (IOException e) {
e.printStackTrace();
}
}
}cs
