一、核心功能特性

1. 网页整站抓取
   支持HTTPS/HTTP协议自动识别，可完整抓取目标站点HTML/CSS/JS文件结构。通过模拟浏览器访问机制，有效绕过基础反爬虫策略，成功率较旧版提升63%。抓取深度支持三级目录配置，满足常规企业站镜像需求。

2. 资源自动规整
   采用智能路径分析算法，自动修正相对路径与绝对路径引用。静态资源（图片/字体/视频）自动归类到assets目录，保持原始站点目录层级结构。支持10+种文件格式识别，包含woff2/webp等新型格式。

二、技术架构解析

1. 多线程处理模块
   采用Python3.8+asyncio异步框架，并发请求数可配置范围为5-50线程。内存占用优化至300MB/线程，较传统方案降低40%资源消耗。任务队列支持断点续传功能。

2. 代理IP集成方案
   内置代理IP池接入接口，预留5个主流代理服务商API接入点。自动切换IP频率可设置为每50次请求或遇到验证码时触发，有效提升持续抓取稳定性。

三、应用场景说明

1. 企业官网备份
   适用于定期存档官网迭代版本，保留历史版本数据。配置定时任务可实现每周自动备份，生成带时间戳的压缩包文件。

2. 竞品分析研究
   通过镜像竞品网站进行样式/功能比对，支持W3C标准验证对比报告生成。可提取关键数据生成可视化图表，包含加载速度、资源类型分布等维度。

四、使用配置指南

1. 环境依赖项
   需预装Python3.8+运行环境，安装requirements.txt列出的12个依赖库。Windows系统建议配置4核CPU+8G内存硬件环境，Linux系统可降低至2核4G配置。

2. 参数配置文件
   修改config.ini中的核心参数：

• [target]节点设置目标域名

• [depth]控制抓取层级

• [thread]调节并发数量

• [proxy]配置代理服务信息