# crawler-boss

**Repository Path**: markhoo/crawler-boss

## Basic Information

- **Project Name**: crawler-boss
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-12-07
- **Last Updated**: 2024-11-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# crawler-boss

## 用Go实现抓取Boss直聘职位数据。有几个特点

1.代理防IP被封

2.模拟浏览器,反识别爬虫。

3.控制爬取频率。

4.多协程爬取。

## 不足之处

1.爬取失败,没有进行重试以及更换IP处理。

2.错误处理

3.代码结构方面进行优化。


![image](https://user-images.githubusercontent.com/16487020/126505408-a32aed43-a6a2-4570-ba94-440511d31f13.png)


## 交流 && 疑问
如果有任何错误或不懂的地方欢迎给我提问 https://github.com/githubw2015/crawler-boss

如果对你有所帮助，请给个Star，你的支持，是我最大的动力。