Apache下载 Apachev2.0.4全能版

Apache Nutch(Java搜索引擎框架)是一个开源的Java搜索引擎框架，它提供了运行自己的搜索引擎所需的所有工具，包括全文搜索和网络爬虫。Nutch不仅能建立自己的内部网搜索引擎，

同时可以建立全网搜索引擎。除了基本功能，Nutch还有很多自己的特色，比如Map-Reduce、Hadoop、Plugin等等。

Nutch目标：

Nutch致力于让每个人都能以低成本轻松配置一个世界级的网络搜索引擎。为了实现这一宏伟目标，Nutch必须能够：

每月获得数十亿个网页

维护这些页面的索引。

每秒钟搜索索引文件数千次。

提供高质量的搜索结果

Nutch的运行流程：

1.将初始URL集注入Nutch系统。

2.生成一个片段文件，其中包含要爬网的URL地址。

3.根据URL地址抓取互联网上相应的内容。

4.解析抓取的网页，分析其中的文本和数据。

5.根据新爬取的网页中的URL集合更新初始URL集合，再次爬取。

6.同时对抓取的网页内容进行索引，生成索引文件并存储在系统中。