# scrapy-ipproxy

**Repository Path**: shaozeming/scrapy-ipproxy

## Basic Information

- **Project Name**: scrapy-ipproxy
- **Description**: 基于python3的爬虫框架scrapy写的一个代理ip池项目
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2019-11-09
- **Last Updated**: 2021-08-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 项目简介
基于python3的scrapy框架开发的一个代理ip池项目，定时爬取免费的代理ip,ip的数量在100到600个之间



# 环境
python的版本是 python3.6, python需要安装的库包括 scrapy pymongo selenium(selenium本人用的是Firefox需要geckodriver) lxml requests threadpool 等
<br/>    
运行项目需要配置 IpProxyCrawler/db/MongoConnect.py 中mongodb的连接配置
<br/>    
                 IpProxyCrawler/utils/EmailUtils.py 中邮箱的配置

<br/>                 
运行 IpProxyCrawler/start.py 文件 启动任务



<hr/>

|author|shaozeming|
|:---|:---|
|qq|1160809039|