网页正文抓取

网页正文抓取——当用户提到：保存网页文章、提取正文、抓取网页、批量下载图片、网页表格导出、信息收集、存成 Markdown、采集数据等场景时触发。三大能力：text 正文智能定位（article 标签优先、文本密度启发式兜底）转干净 Markdown（自动剔除导航/页头页脚/脚本，表格转规范管道表，懒加载图 data-src 自动回退）；images 批量下载（跳过 data: 占位与小装饰图，content-type 校验，自动补扩展名）；table 表格清单预览后按序号导出 CSV（utf-8-sig，Excel 直开）。GBK/GB2312 老页面自动识别编码。

网页正文抓取（web-article-grabber）

提取网页正文转 Markdown、批量下载页面图片、抓取表格存 CSV。

能做什么

text：正文智能定位（article 标签优先、文本密度启发式兜底）转干净 Markdown，自动剔除导航/页头页脚/脚本，表格转管道表，懒加载图自动回退 data-src
images：批量下载页面图片，跳过占位图与小装饰图（--min-kb 可调），content-type 校验，自动补扩展名
table：先列全部表格清单（行×列+首行预览），按序号导出 utf-8-sig CSV（Excel 直开）
GBK/GB2312 老页面自动识别编码

使用示例

python web_grab.py text "https://example.com/article.html" -o article.md
python web_grab.py images "https://example.com/gallery" -o pics --min-kb 10
python web_grab.py table "https://example.com/data.html" --index 0 -o out.csv

环境要求

requests、beautifulsoup4

诚实边界

仅支持静态 HTML；JS 渲染/需登录/强反爬页面抓不到（正文过短会主动报错提示）。

许可与版权

MIT License