Golang版爬虫

自己用Golang写个小爬虫,作为Golang的练手项目。

功能需求

– [x] 页面抓取:内容、状态码
– [x] 页面内容解析:DOM、正则
– [x] 抓取深度控制
– [x] 抓取内容存储:文件、数据库
– [x] 并发处理控制
– [x] User-Agent
– [ ] 代理:设置、频繁更换
– [ ] 表单提交
– [ ] cookie处理:接收、发送

豫ICP备19001387号-1