Golang版爬虫

自己用Golang写个小爬虫,作为Golang的练手项目。

功能需求

– [x] 页面抓取:内容、状态码
– [x] 页面内容解析:DOM、正则
– [x] 抓取深度控制
– [x] 抓取内容存储:文件、数据库
– [x] 并发处理控制
– [x] User-Agent
– [ ] 代理:设置、频繁更换
– [ ] 表单提交
– [ ] cookie处理:接收、发送

PHP7.2编译安装及pthreads多线程配置

PHP7.2编译安装及pthreads多线程配置

编译安装PHP7.2

shell
wget http://cn2.php.net/distributions/php-7.2.1.tar.gz
tar -zxvf php-7.2.1.tar.gz
cd php-7.2.1/

//安装依赖库
yum install gcc libxml2 libxml2-devel libcurl libcurl-devel openssl-devel gdbm-devel
yum install libwebp* libpng* libXpm* libjpeg* freetype*

豫ICP备19001387号-1