各位老铁们，大家好，今天由我来为大家分享火车头采集器，以及火车头爬虫的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！
火车头采集器的术语介绍
发布模块又称为发布规则，通常是指数据库发布模块或者WEB发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地（比如：指定数据库，网站中）时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为：.jhc；WEB在线发布模块文件的后缀名为：.cwr。
（采集规则和发布模块都可以从采集器里导出，也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来，发布模块负责将采集的数据发布到网站中。可见，采集规则的编写和修改和被采集的网站有关系，而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块（频道）里发布，需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布，需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。）发布数据就是将采集到的数据发布到指定的目的地，火车采集器支持四种发布方式。
方式一：Web在线发布到网站这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程序，由网站后台程序去处理数据通常后台程序讲数据存入网站数据库中。
方式二：保存为本地文件这种方式可以将采集的数据发布到本地的文件中，采集器支持保存成Txt格式、Csv格式和Html格式。
方式三：导入到自定义数据库这种方式可以通过采集器连接到其他数据库从而将采集的数据从软件内置数据库中导入到其他的数据库中，采集器支持连接Mysql、Access、Oracle、MSsql数据库。
方式四：保存为本地Sql文件（Insert语句）这种方式是将采集的数据导出保存成Insert语句，可以用于在数据库的管理工具中执行插入数据。采集器不仅可以采集发布数据，还可以将采集下来的数据经过编辑以后再发布。支持批量替换，通过SQL语句批量处理以及在文本编辑框里编辑。
火车头如何自动采集
说下我做采集的方式哈，我这边主要有两种方式，第一个，常规站点，内容很全，那就先找一个采集源，然后爬取整站数据，注意，这种方式，如果源站小说比较多的话，会非常耗时，按火车头十个进程来计算的话，一个进程可以开十个线程，也就是一个火车头最多可以跑100个线程，平均采集一章大概时间为1秒（加上列表采集所耗时间进行平均），10万本书的站，大概5000万加的章节，数据采集完毕大概需要一周时间，这是在你服务器配置比较好的情况下。然后就是发布，发布不能多线程，那么时间就得翻倍，也就是差不多两个多月时间吧。这也是为什么有人说火车采集小说比较慢的原因了。原始内容采集完了，然后每天就采集更新了，方式如第二点。
那么第二个，就是直接采集每日更新，以前的旧书就不采集了。这样的话，速度会比较快。当时就能用。火车头设置好定时任务，自动触发。
这是火车头采集小说网站的传统方式。
我研究火车头采集一个月，找到一个比较合适的快速采集方式，经多方位，多客户测试，采集10万本书，发布完毕，大概就是两天的时间。
具体时间跟服务器配置有一定的关系，比如，硬盘读写速度快慢、网络带宽(火车头放在服务器上的可以忽略)等，测试2H4G美国服务器，10万本大概两天加几个小时，采集需要花几个小时，发布大概接近两天时间。然后每日定时更新即可。
可百度搜索“九七阅读”查看站点，有书库频道，时间一看就知道了。
火车采集器如何使用 火车头采集器使用教程
网络数据信息的挖掘少不了一款强大的“挖土机”，火车采集器就是一款专业的采集工具，可以轻松从网页上抓取文字、图片、文件等任何资源。那么火车采集器如何使用?
1、首先在在线下载频道下载该软件
2、安装下载好的安装文件
3、等待安装完毕
4、打开后进入主火车头主页面
5、然后点击任务小三角，新建一个新的任务，新建好任务后，将进入任务主页面，填写好任务名。
6、然后添加网址了，下面我们来看一看，添加网址的规则，(网址不给显示，以防广告)。
7、完成好上面一步后，我们就进行下一步，多级网址获取规则
8、到了这一步网址的选择已经做好了，下面就是内容的标签修改了，意思就是采你想要采集的内容。
9、要采哪些内容就把内容前的字符和内容后的字符，以次放到下面表格中，打开网址，右击页面，就可以查看网页源代码了
火车头采集器的功能
火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车采集器，系统自带的模块文件支持:风讯文章，动易文章，动网论坛，PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,魔力论坛,Dedecms文章,Xydw文章,惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。
LocoySpider采用Visual C#编写，可独立在Windows2008下运行（windows2003自带.net1.1框架。最新版的火车采集器是2008版，需要升级到.net2.0框架才能使用），如您在Windows2000、Xp等环境下使用，请先到微软官方下载一个.net framework2.0或更高环境组件。火车采集器V2009 SP2 04月29日在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。
1、不做任何处理。因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。
2、Web发布到网站。程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。
3、直接入数据库。您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。
4、保存为本地文件。程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。这两个过程是可以分开的。
1、采集数据，这个包括采集网址，采集内容。这个过程是获得数据的过程。我们做规则，在采的过程中也算是对内容做了处理。
2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。可以用WEB在线发布，数据库入库或存为本地文件。
具体的使用其实是很灵活的，可以根据实际来决定。比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。总之，具体过程由您而定，火车采集器的强大功能之一也就是体现在灵活中。