允许访问的域名列表，默认允许所有域名，建议限制为需要访问的域名

加速器 Clash 使用方法

Clash 是一款功能强大的网络爬虫框架，支持通过网络协议（如 HTTP、HTTPS、FTP、Socks）抓取网页数据，以下是使用 Clash 的详细方法指南：

安装 Clash

安装 Clash：

pip install clash

配置 Clash

Clash 使用 YAML 格式配置文件（默认名称为 clash.yaml），配置文件结构如下：

version: 3..  # 版本号，保持最新
allowed_domains:
  - example.com
  # 可选项，允许指定域名下的子域名
timeout: 60  # 请求超时时间，默认 60 秒
# 代理设置，可根据需求配置
proxies:
  http: http://127...1:108
  https: https://127...1:108
# 请求头设置，可根据需求定制
requests:
  headers:
    User-Agent: Mozilla/5. (Windows NT 10.; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90... Safari/537.36
# 重试次数，默认为 3 次
retries: 3
# 并发请求数，默认为 10 个
concurrent: 10
# 下载不超过的文件大小，默认为 5 MB
max_file_size: 5MB
# 不要抓取的 URL 路径，使用正则表达式匹配
ignore_urls:
  - '^/ads/.*'
  - '^/track/.*'
# 禁止抓取的文件扩展名，适用于下载任务
ignore_file_extensions:
  - .pdf
  - .exe
  - .zip

使用方法

1 创建一个新的 Clash 实例

from clash import Clash
clash = Clash(
    config_file='clash.yaml')  # 使用现有的配置文件

2 自定义配置

也可以通过参数初始化：

clash = Clash(
    allowed_domains=['example.com'],
    proxies={'http': 'http://127...1:108'},
    requests={'headers': {'User-Agent': 'custom-user-agent"}},
    retries=3,
    concurrent=10,
    max_file_size='5MB',
    ignore_urls=[r'^/ads/.*', r'^/track/.*'],
    ignore_file_extensions=['.pdf', '.exe', '.zip']
)

3 启动抓取任务

clash.start()

4 停止当前任务

clash.stop()

5 获取抓取结果

Clash 提供多种方式获取抓取结果：

• 文件下载：使用 clash.download(url, filename)下载文件，抓取**：使用 clash.scrape(url, wait=1)抓取网页内容。
• JavaScript渲染：使用 clash.render(url, wait=1)渲染动态内容。

6 定制请求规则

Clash 支持自定义请求规则，

clash.create_rule(
    url=r'/category/(?P<category>.+?)/page\?.*',
    method='GET',
    callback=lambda request: request.url.startswith('http://example.com/category/'),
    priority=1
)
clash.create_rule(
    url=r'/search/.*',
    method='POST',
    callback=lambda request: True,
    priority=2
)

常用场景示例

1 数据采集

clash = Clash()
clash.start()
clash.scrape('https://example.com/page', wait=1)
clash.stop()

2 动态内容抓取

clash = Clash()
clash.start()
clash.render('https://example.com', wait=1)
clash.stop()

3 文件下载

clash = Clash()
clash.start()
clash.download('https://example.com/file.zip', 'file.zip')
clash.stop()

4 多页面抓取

clash = Clash()
clash.start()
for page in range(1, 5):
    url = f'https://example.com/page/{page}'
    clash.scrape(url, wait=1)
clash.stop()

注意事项

• 合法性：确保抓取行为符合相关法律法规，避免侵犯网站的使用政策。
• 性能优化：合理设置并发数和延迟，避免对目标服务器造成过载。
• 错误处理：使用 try-except 捕获异常，处理网络问题和重试机制。
• 日志管理：配置日志输出，监控抓取过程和结果。

文档与资源

Clash 提供详细的文档和示例，帮助用户快速上手和优化抓取任务，可以通过其官方文档或社区获取更多资源和支持。

通过合理配置和使用,Clash 能够高效地抓取网页数据，满足多样化的数据采集需求。