Web-Harvest 的主要目的是加强现有数据提取技术的应用。它的目标不是创造一种新方法，而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程，每一个处理器被看作是一个函数，它拥有参数和执行后同样有结果返回。而且处理是被组合成一个管道的形式，这样使得它们可以以链式的形式来执行，此外为了更易于数据操作和重用，Web-Harvest 还提供了变量上下方用于存储已经声明的变量。
web-harvest 启动，可以直接双击jar包运行，不过该方法不能指定web-harvest java虚拟机的大小。第二种方法，在cmd下切到web-harvest的目录下，敲入命令“java -jar -Xms400m webharvest_all_2.jar” 即可启动并设置起java虚拟机大小为400M。
该项目主页 :http://web-harvest.sourceforge.net
十二、ItSucks
ItSucks是一个Java Web爬虫开源项目。可灵活定制，支持通过下载模板和正则表达式来定义下载规则。提供一个控制台和Swing GUI操作界面。
功能特性:
多线程
正则表达式
保存/载入的下载工作
在线帮助
HTTP/HTTPS 支持
HTTP 代理 支持
HTTP身份验证
Cookie 支持
可配置的User Agent
连接限制
配置HTTP响应代码的行为
带宽限制
Gzip压缩
该项目主页 :http://itsucks.sourceforge.net/
十三、Smart and Simple Web Crawler
Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置 过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。
十四、Crawler4j
crawler4j是Java实现的开源网络爬虫。提供了简单易用的接口，可以在几分钟内创建一个多线程网络爬虫。
crawler4j的使用主要分为两个步骤：
实现一个继承自WebCrawler的爬虫类;
通过CrawlController调用实现的爬虫类。
WebCrawler是一个抽象类，继承它必须实现两个方法：shouldVisit和visit。其中：
shouldVisit是判断当前的URL是否已经应该被爬取(访问);
visit则是爬取该URL所指向的页面的数据，其传入的参数即是对该web页面全部数据的封装对象Page。
另外，WebCrawler还有其它一些方法可供覆盖，其方法的命名规则类似于Android的命名规则。如getMyLocalData方法可以返回WebCrawler中的数据;onBeforeExit方法会在该WebCrawler运行结束前被调用，可以执行一些资源释放之类的工作。
许可
Copyright (c) 2010-2015 Yasser Ganjisaffar
根据 Apache License 2.0 发布
开源地址： https://github.com/yasserg/crawler4j
十五、Ex-Crawler
Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。
Ex-Crawler分成三部分(Crawler Daemon，Gui Client和Web搜索引擎)，这三部分组合起来将成为一个灵活和强大的爬虫和搜索引擎。其中Web搜索引擎部分采用PHP开发，并包含一个内容管理系统CMS用于维护搜索引擎。
该项目主页 :http://ex-crawler.sourceforge.net/joomla/
十六、Crawler
Crawler是一个简单的Web爬虫。它让你不用编写枯燥，容易出错的代码，而只专注于所需要抓取网站的结构。此外它还非常易于使用。
该项目主页: http://projetos.vidageek.net/crawler/crawler/
十七、Encog
Encog是一个高级神经网络和机器人/爬虫开发类库。Encog提供的这两种功能可以单独分开使用来创建神经网络或HTTP机器人程序，同时Encog还支持将这两种高级功能联合起来使用。Encog支持创建前馈神经网络、Hopfield神经网络、自组织图。
Encog提供高级HTTP机器人/爬虫编程功能。支持将多线程爬虫产生的内容存在内存或数据库中。支持HTM解析和高级表单与Cookie处理。
Encog是一种先进的机器学习框架，它支持多种先进的算法，以及支持类正常化和处理数据。机器学习算法，如支持向量机，人工神经网络，遗传编程，贝叶斯网络，隐马尔可夫模型，遗传编程和遗传算法的支持。大多数Encog培训algoritms是多线程的，很好地扩展到多核硬件。Encog还可以使用一个GPU，以进一步加快处理时间。一个基于GUI的工作台也提供帮助模型和火车机器学习算法。自2008年以来Encog一直在积极发展.