定制抓取程序

项目背景：本项目需要不停抓取不同目标网站不同小说、不同章节，确保平台可以同步不同小说的章节为最新章节。同时需要可以创建多站点，达到站群效果。还需要每个站点自动生成伪静态确保搜索引擎的极速抓取。项目用来抓取想要抓取的小说内容，做一个小说阅读阅读平台。

项目技术：

1、需要定制抓取程序，可对抓取网址、列表区域、最大页数规则、书名规则、书名链接规则、文章入口链接规则【如果没有，系统自动寻找】、作者规则、封面规则、简介规则、章节标题规则、内容规则、内容下一页链接规则、内容页列表链接规则、内容页列表区域、内容页链接正则表达式进行设置。

2、需要提供源码和数据库，实现无限复制站点确保达到站群效果。

3、需要使用多台服务器，让抓取和前端、后台数据库分离，确保后台抓取和前端展示正常运行。

4、需要实时生成伪静态数据，确保搜索引擎可实时抓取最新章节，从而获取自然流量。

定制抓取程序将目标网址的小说抓取到自己的平台，如下图：

定制抓取程序运行中如下图：

定制抓取程序后台设置如下：