数据质量检查基础版

概述

本工具是 数据质量 领域的 FREE 版本 AI Skill,专为个人用户与轻量级场景设计。通过自然语言指令驱动 AI Agent 执行任务,提供核心功能与简洁易用的操作体验. FREE 版本与 PRO 版本完全兼容,可在需要时升级至 PRO 版本获取高级功能、批量操作与团队协同能力.

版本定位

维度	FREE 版本	PRO 版本
目标用户	个人用户	企业团队
功能范围	核心功能	全部功能
批量操作	不支持	支持
团队协作	不支持	支持
技术支持	社区支持	优先响应
数据分析	基础统计	高级分析

核心能力

FREE 版本提供以下能力:

检查价格数据完整性与缺失

检查价格数据完整性与缺失

处理: 解析检查价格数据完整性与缺失的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查价格数据完整性与缺失的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查因子数据 nan 值与极端

检查因子数据 nan 值与极端值

处理: 解析检查因子数据 nan 值与极端的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查因子数据 nan 值与极端的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查数据准确性(零价格/负价格

检查数据准确性(零价格/负价格/异常收益)

处理: 解析检查数据准确性(零价格/负价格的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查数据准确性(零价格/负价格的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查价格成交量一致性

检查价格成交量一致性

处理: 解析检查价格成交量一致性的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查价格成交量一致性的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

检查数据时效性与滞后天数

检查数据时效性与滞后天数

处理: 解析检查数据时效性与滞后天数的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回检查数据时效性与滞后天数的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

功能详情

本版本提供 5 项核心能力,覆盖 数据质量 的常见使用场景。如需批量操作、团队协作、数据分析等高级功能,可升级至 PRO 版本. FREE 版本核心功能清单:

• 检查价格数据完整性与缺失
• 检查因子数据 nan 值与极端值
• 检查数据准确性(零价格/负价格/异常收益)
• 检查价格成交量一致性
• 检查数据时效性与滞后天数

PRO 版本扩展功能预览:

• 自动化数据质量检查流水线
• 异常检测与实时告警通知
• 数据血缘追踪与影响分析
• 多数据源交叉验证与一致性检查
• 数据质量评分卡与趋势分析
• 与企业数据治理平台集成

处理: 解析功能详情的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回功能详情的响应数据,包含状态码、结果和日志. 技术参数：使用input_params和output_format参数控制执行行为,支持json/text/csv输出格式. 能力覆盖范围：本skill的核心能力覆盖以下场景关键词：量化策略数据质量、检查工具、检查数据完整性、一致性与时效性、数据质量领域的专、辅助工具、提供核心基础功能等。这些关键词对应description中声明的使用场景,均已在上述能力点中提供对应的操作支持.

使用场景

场景 1: 检查价格数据完整性

验证价格数据的完整性与覆盖范围

用户可通过自然语言指令触发此场景，工具将自动执行相应操作并返回结构化结果.

输入格式

参数名	类型	必填	说明
input	string	是	数据质量检查基础版处理的输入数据或指令
options	object	否	附加配置选项,如模式选择、格式偏好等
callback_url	string	否	异步处理完成后的回调通知URL

import pandas as pd
price = pd.read_parquet("data/price.parquet")
print(f"记录数: {len(price)}")
print(f"股票数: {price['code'].nunique()}")
dates = pd.to_datetime(price['date'].unique())
all_dates = pd.date_range(start=dates.min(), end=dates.max(), freq="B")
missing = set(all_dates) - set(dates)
print(f"缺失日期: {len(missing)}")

场景 2: 检查因子数据质量

检测因子数据中的 nan 值与极端值

import numpy as np
factors = pd.read_parquet("data/factors.parquet")
nan_ratio = factors.isna().sum().sum() / factors.size
print(f"nan比例: {nan_ratio:.2%}")
inf_count = np.isinf(factors.select_dtypes(include=[np.number])).sum().sum()
print(f"inf数量: {inf_count}")

不适用场景

以下场景数据质量检查基础版不适合处理：

• 实时流数据处理
• 小规模数据手动分析
• 非结构化文本情感分析

触发条件

需要数据分析、报表生成、统计洞察、数据可视化时使用。不适用于非本工具能力范围的需求.

快速开始

1. 环境准备

确保已安装并配置好 AI Agent 环境(Claude Code / Cursor / Codex / Gemini CLI 等),本 Skill 通过 SKILL.md 指令驱动 Agent 执行任务. 系统要求:

• 操作系统: Windows / macOS / Linux
• Agent 平台: 支持 SKILL.md 格式的任意 AI Agent
• 运行时: Python 3.8+ 或 Node.js 18+(视具体操作需求)

2. 配置参数

# 数据质量检查配置
{
  "check_completeness": true,
  "check_accuracy": true,
  "check_consistency": true,
  "check_timeliness": true,
  "abnormal_return_threshold": 0.2,
  "extreme_value_threshold": 1e10
}

3. 验证配置

配置完成后,可通过以下方式验证是否正常工作:

# 验证环境变量是否设置
echo "配置检查:"
env | grep -E "API|KEY|TOKEN|SECRET" | sed "s/=.*/=***/"  # Linux/macOS
# 或 PowerShell
# Get-ChildItem Env: | Where-Object {$_.Name -match "API|KEY|TOKEN"} | Format-Table

4. 开始使用

在 AI Agent 对话中描述你的需求,Agent 会根据本 Skill 的指令自动执行对应操作.

请帮我检查价格数据完整性

Agent 将自动:

1. 解析你的自然语言指令
2. 调用相应的工具或 API
3. 执行操作并返回结果
4. 返回执行结果供你确认

示例

基础配置

# 数据质量检查配置
{
  "check_completeness": true,
  "check_accuracy": true,
  "check_consistency": true,
  "check_timeliness": true,
  "extreme_value_threshold": 1e10
}

可选配置

{
  "edition": "free",
  "auto_retry": false,
  "max_concurrent": 1,
  "log_level": "info",
  "cache_enabled": true,
  "timeout": 30
}

FREE 配置项说明:

配置项	类型	默认值	说明
auto_retry	bool	false	失败后自动重试
max_concurrent	int	1	最大并发数(FREE 限制为1)
log_level	string	info	日志级别
cache_enabled	bool	true	启用结果缓存
timeout	int	30	操作超时时间(秒)

最佳实践

1. 使用未经检查的数据前必须完成质量检查
2. 忽略数据质量问题会导致策略失效
3. 生成数据质量报告留档备查
4. 定期检查确保数据持续可靠

个人使用建议

• 从简单任务开始熟悉工具行为,逐步扩展到复杂场景
• 定期备份配置文件与数据,防止意外丢失
• 遇到问题先查阅常见问题章节,再寻求社区帮助
• 保持配置简洁,只启用必要的功能选项
• 定期更新工具版本以获取最新功能与修复
• 记录常用操作命令,提高日常使用效率

常见问题

Q: 价格数据缺失怎么处理?

A: 使用多数据源补充,定期检查完整性,建立数据更新告警.

Q: 因子大量 nan 值怎么解决?

A: 检查计算窗口是否不足,填充缺失值,修复计算逻辑.

Q: 如何升级到 PRO 版本?

A: 升级到 PRO 版本非常简单:

1. 获取 PRO 版本授权
2. 安装 PRO 版本 Skill
3. 原有配置自动迁移,无需额外操作
4. 即可使用批量操作、团队协作等高级功能

已知限制

A: FREE 版本主要限制:

• 不支持批量操作(每次只能处理一个任务)
• 不支持团队协作(仅限个人使用)
• 不支持高级数据分析
• 技术支持依赖社区 如需这些功能,建议升级至 PRO 版本.

Q: FREE 版本的数据安全吗?

A: FREE 版本所有数据本地存储,不上传云端,确保隐私安全。建议定期备份配置文件与数据目录.

依赖说明

运行环境

• Agent 平台: 支持 SKILL.md 的任意 AI Agent(Claude Code / Cursor / Codex / Gemini CLI 等)
• 操作系统: Windows / macOS / Linux
• 运行时: Python 3.8+ 或 Node.js 18+(视具体操作需求)
• 网络: 部分功能需要网络连接访问外部 API

依赖详情

依赖项	类型	是否必需	获取方式
LLM API	API	必需	由 Agent 内置 LLM 提供
curl	CLI 工具	推荐	系统自带或包管理器安装
jq	JSON 处理	推荐	apt install jq / brew install jq
Python 3.8+	运行时	视需求	python.org 下载
Node.js 18+	运行时	视需求	nodejs.org 下载

API Key 配置

FREE 版本支持单一 API Key 配置,满足个人使用需求:

• 环境变量:通过环境变量配置 API Key
• 配置文件:支持配置文件方式存储 API Key
• 安全提醒:切勿将 API Key 硬编码到脚本或提交到版本控制系统

可用性分类

• 分类: MD+EXEC(纯 Markdown 指令,部分功能需要 exec 命令行执行能力)
• 说明: 基于 Markdown 的 AI Skill,通过自然语言指令驱动 Agent 执行任务
• FREE 特性: 支持单次执行、基础配置与社区支持
• 安全等级: 基础,数据本地存储,建议定期备份
• SLA: 社区支持,尽力响应

---

快速开始

1. 确认运行环境满足依赖说明中的要求
2. 在AI Agent对话中调用本技能,提供必要的输入参数
3. 检查输出结果,根据需要进行后续处理

详细的输入输出格式请参考下方章节说明。

版本信息

项目	值
版本号	1.0.0
版本类型	FREE
许可证	MIT
兼容性	可升级至 PRO 版本

错误处理

错误场景	原因	处理方式
配置错误	参数缺失或格式错误	检查依赖说明中的配置要求
运行时错误	运行环境不满足	确认运行环境符合依赖说明
网络错误	连接超时或不可达	执行ping命令测试网络连通性,检查防火墙和代理设置连接后执行ping命令测试网络连通性,检查防火墙和代理设置连接后重新执行命令，参考国内替代方案

输出格式

{
  "success": true,
  "data": {
    "result": "数据质量检查基础版处理结果",
    "execution_time": "0.5s",
    "metadata": {
      "version": "1.0",
      "processor": "quant data quality"
    }
  },
  "execution_log": ["解析输入参数", "执行核心处理", "格式化输出结果"],
  "error": null
}