想写个爬虫同步求大佬帮忙想想

想爬新闻信息，

不要爬的太频繁。
也不要漏爬。
应该怎么弄呢。

分析网站。找到更新列表？
分析网站源码，比对，获取不同，然后获取更新内容?
爬到数据库，如果存在就丢弃。

定时任务？
青海网友:我就用的定时任务  
广西网友:就你这个思路的，剩下的就是代码问题

未经允许不得转载：美国VPS_搬瓦工CN2 GIA VPS » 想写个爬虫同步求大佬帮忙想想