# CrawlerFramework

**Repository Path**: mengtree/CrawlerFramework

## Basic Information

- **Project Name**: CrawlerFramework
- **Description**: .netcore 搭建的爬虫框架，正在开发中。。。拟实现：支持数据库读写分离动态代理独立模块，动态组合web系统管理
- **Primary Language**: C#
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 12
- **Forks**: 3
- **Created**: 2019-01-14
- **Last Updated**: 2024-11-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# CrawlerFramework

#### Description
.netcore 的爬虫框架


#### Software Architecture
程序核心以领域驱动的思想来构建，整个框架核心集中在 core，framework提供 core中抽象/接口 的默认实现。
app为应用层，分为client和manager，client为爬虫的数据抓取核心，直接调用 core提供的功能。manager 提供一个简易的web进行页面配置。
由于使用场景不一致，使用了两个 orm：ef,sqlsuger 

#### Installation

1.  client 直接运行，client必须能访问外网，不然无法采集
2.  manager可托管iis或者直接运行

![采集终端](https://images.gitee.com/uploads/images/2020/0129/182925_9f979435_1547296.png "TIM截图20200129182840.png")
![采集配置](https://images.gitee.com/uploads/images/2020/0130/171912_6c0c473c_1547296.png "TIM截图20200130171413.png")
![采集结果](https://images.gitee.com/uploads/images/2020/0130/171935_710cb3a7_1547296.png "TIM截图20200130171427.png")
![代理设置](https://images.gitee.com/uploads/images/2020/0130/171951_9ae6e21c_1547296.png "TIM截图20200130171436.png")
![终端配置](https://images.gitee.com/uploads/images/2020/0130/172007_78e8b9de_1547296.png "TIM截图20200130171442.png")