Vaex 超大表格数据处理

• 唯一标识：hub-vaex
• 显示名称：Vaex 超大表格数据处理
• 能力摘要：使用 Vaex 的惰性、离线与虚拟列机制处理超出内存的大型表格数据，完成快速聚合、可视化、格式转换和可扩展的机器学习特征处理。

案例素材

1. 对数 TB 的交易明细建立 HDF5 或 Arrow 数据集，按地区、日期和商户分组汇总，无需把全部 CSV 一次性装入内存。
2. 在天文巡天数据上构造颜色指数等虚拟列、筛选异常天体并制作二维密度图，保留原始数据不复制中间列。
3. 为大规模风控数据批量计算均值、方差和分群特征，使用延迟执行合并统计任务，再将结果安全地交给下游模型训练。