当前位置: 首页 > 站长文章 > 织梦cms > 正文页面

Dede采集速度慢的原因分析

DEDE的采集速度不会太快,但正常速度也不算太慢。比如电影页面,代码不太复杂,有一两张图片,过滤代码可能有十多条,采集5000个页面的正常速度大概是2个小时。但有时候会变得非常非常慢,每变化一个页面都要花5-10分钟,有时候连服务器都连不上。经过反复测试,发现导致采集速度慢的原因有以下几个:TwV网站目录_网站网址收录与提交入口

1、data/tplcache/中的数据被塞满了。TwV网站目录_网站网址收录与提交入口

当采集变慢后,我重启服务器、重启数据库、重启web、清空后台的缓存、清空浏览器缓存,几乎都不起作用。最后查看data/tplcache/文件夹下,吓了我一跳,居然有5万多条记录,历次的临时文件、采集记录全都在这里。把这些删除后,再重启所有、清空所有,重来,速度一下子变正常了。TwV网站目录_网站网址收录与提交入口

2、导入的采集规则会出错TwV网站目录_网站网址收录与提交入口

从另一个DEDE程序中导入采集规则,在后台测试时一切正常,但采集时就是不对,要么说采不到链接,要么速度非常非常慢,要么采到的链接根本不是指定的页面。把这个规则稍微修改一下,保存,再重新采集,就正常了。TwV网站目录_网站网址收录与提交入口

  

此文由 网站目录_网站网址收录与提交入口 编辑,未经允许不得转载!:

相关文章