网页正文抓取

提取网页正文转 Markdown、批量下载页面图片、抓取表格存 CSV，保存文章与信息收集利器。

网页正文抓取（web-article-grabber）

提取网页正文转 Markdown、批量下载页面图片、抓取表格存 CSV。

能做什么

text：正文智能定位（article 标签优先、文本密度启发式兜底）转干净 Markdown，自动剔除导航/页头页脚/脚本，表格转管道表，懒加载图自动回退 data-src
images：批量下载页面图片，跳过占位图与小装饰图（--min-kb 可调），content-type 校验，自动补扩展名
table：先列全部表格清单（行×列+首行预览），按序号导出 utf-8-sig CSV（Excel 直开）
GBK/GB2312 老页面自动识别编码

使用示例

python web_grab.py text "https://example.com/article.html" -o article.md
python web_grab.py images "https://example.com/gallery" -o pics --min-kb 10
python web_grab.py table "https://example.com/data.html" --index 0 -o out.csv

环境要求

requests、beautifulsoup4

诚实边界

仅支持静态 HTML；JS 渲染/需登录/强反爬页面抓不到（正文过短会主动报错提示）。

许可与版权

MIT License