data-notebook-refiner
这是一个通过标准化流程来提高Jupyter Notebook代码质量、文档化水平和执行稳定性的workflow。
把 Skill 的源码、资源快照、README、包体和安装信号放进一个可搜索、可筛选的公开目录。
这是一个通过标准化流程来提高Jupyter Notebook代码质量、文档化水平和执行稳定性的workflow。
实现数据持久化系统,包括DataStore模式、会话锁定、数据迁移、错误处理和备份系统。在保存玩家进度、库存、设置或任何持久性数据时使用。
在设计包含多态实体的系统时,应用面向数据的架构模式。当遇到基于实体类型进行分派的switch语句或if/else链、设计新的实体系统或重构以提高可扩展性时,应主动使用此技能。提供基于注册表的分派、能力组合以及基础设施优先的开发模式。通过具体的实现策略补充稳固的架构。
解释Polibase的数据处理工作流程和管道。在理解会议记录处理、网络抓取、政治家数据收集、说话人匹配等处理流程、依赖关系和执行顺序时会被激活。
编写并验证BigQuery的SQL查询。在执行bq命令、编写SQL查询或在文档中包含查询结果时使用。
高效的游戏网络数据序列化,包括Protobuf、FlatBuffers和自定义二进制
创建包含真实测试数据的数据库种子脚本,用于开发和测试。在设置开发环境或创建演示数据时使用。
对于数据
协调数据管道任务(ETL、分析、特征工程)。在实施数据摄入、转换、质量检查或分析时使用。遵循数据质量标准.md(最低95%)。
监控和排查GCP上的双管道数据收集系统的问题。当检查管道健康状况、查看日志、诊断故障或监控数据收集工作流中的长时间运行操作时,应使用此技能。支持Cloud Run Jobs(批处理管道)和VM systemd服务(实时流)。
检测PII,掩码数据,并管理同意和加密。
对试点数据流和存储库实施数据质量规则和验证。在分析和报告之前,用于检查缺失值、模式合规性、一致性问题或异常情况。
根据FF Analytics数据质量标准和dbt 1.10+语法生成全面的dbt测试套件。在为新的dbt模型创建测试、向现有模型添加测试、标准化测试覆盖率或实施数据质量关卡时,应使用此技能。涵盖粒度唯一性、外键关系、枚举验证和新鲜度测试。
系统化的数据验证、错误检测、跨源对账以及分析工作的查询正确性检查。在验证Snowflake查询、捕捉计算错误、跨不同数据源对账指标、检查空值、确保日期范围有效性、检测统计异常、验证度量计算(中位数与平均数,比率标准化)、检查聚合粒度(每条记录对比每个实体)、验证非累加度量的贡献分析或确保分析部分之间的一致性时使用。在发布前审查分析、调试意外结果或确保报告中的数据质量时至关重要。触发条件包括“验证此…
优化150多个丰富来源中的提供商选择、路由和信用使用,以获取公司/联系人情报。
此技能应在读取任何表格数据文件(Excel、CSV、Parquet、ODS)时使用。它能自动检测并修复常见的数据问题,包括多级标题、编码问题、空行/列以及数据类型不匹配等问题。返回一个干净的数据框,无需用户干预即可进行分析。
数据库模式设计和数据建模模式,包括规范化原则(1NF-5NF)、反规范化的权衡、实体关系设计、索引策略、模式演变以及领域驱动设计模式。在设计新的数据库模式、重构数据模型、讨论规范化与反规范化的决策、规划模式迁移或对复杂领域实体建模时激活。当创建新表/集合、重新设计现有模式、评估关系模式或做出数据完整性决策时使用。
在OptAIC中实现数据管道、ETL、数据摄入或数据验证时,请遵循这些模式。用于点对点(PIT)正确性、Arrow架构、质量检查和Prefect编排。
通过包含验证、清洗和导出的转换管道处理数据文件。用于CSV/Excel/JSON数据处理、编码处理、批处理操作以及数据转换工作流。
使用Great Expectations、dbt测试和数据契约实现数据质量验证。适用于构建数据质量管道、实施验证规则或建立数据契约时。
计划并实施数据保留策略,包括归档策略、合规要求、自动化清理作业和冷存储迁移。适用于“数据保留”、“数据归档”、“GDPR合规性”或“存储优化”。
可用数据科学库(scipy、numpy、pandas、sklearn)的文档以及统计分析、回归建模和组织分析脚本的最佳实践。**重要:** 所有分析脚本必须放置在reports/{topic}/scripts/目录下,不得放在根scripts/目录中。
为任务推荐基本数据结构。当初级开发人员在选择列表、映射或集合时需要帮助时使用。
在为数据密集型应用程序设计数据库时使用,包括为性能做出模式决策、在规范化和非规范化之间选择、选择存储/索引策略、规划扩展性,或评估OLTP与OLAP之间的权衡。也适用于遇到N+1查询问题、ORM(对象关系映射)问题或并发问题时。