想爬新闻信息,
不要爬的太频繁。
也不要漏爬。
应该怎么弄呢。
分析网站。找到更新列表?
分析网站源码,比对,获取不同,然后获取更新内容?
爬到数据库,如果存在就丢弃。
定时任务?
青海网友:我就用的定时任务
广西网友:就你这个思路的,剩下的就是代码问题
未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » 想写个爬虫同步求大佬帮忙想想
想爬新闻信息,
不要爬的太频繁。
也不要漏爬。
应该怎么弄呢。
分析网站。找到更新列表?
分析网站源码,比对,获取不同,然后获取更新内容?
爬到数据库,如果存在就丢弃。
定时任务?
青海网友:我就用的定时任务
广西网友:就你这个思路的,剩下的就是代码问题
未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » 想写个爬虫同步求大佬帮忙想想