数据分析理调
提供数据分析方法论框架,确保统计严谨性、识别常见陷阱,指导方法选择及规范化输出,支持中文交互和结构化结果。
天轰穿
@thcjp
Install
$ openclaw skills install @thcjp/data-analysis-litiao功能说明: 本技能涵盖 中文交互 等核心能力。
功能说明: 本技能涵盖 化工作流场景 等核心能力。
数据分析理调
数据分析方法论守护框架,确保分析过程的统计严谨性、陷阱识别和方法论正确性.
请求格式
| 参数名 | 类型 | 必填 | 说明 |
|---|---|---|---|
| input | string | 是 | 数据分析理调处理的输入数据或指令 |
| options | object | 否 | 附加配置选项,如模式选择、格式偏好等 |
| callback_url | string | 否 | 异步处理完成后的回调通知URL |
能力简介
Methodology First(方法论优先框架)
在任何数据分析开始前,先回答四个方法论问题:
- What decision is this analysis supporting? — 这项分析支持什么决策?明确决策目标再选方法.
- What would change your mind? — 什么结果会改变你的判断?预先定义证伪条件和 stop condition.
- What data do you actually have vs what you wish you had? — 实际有什么数据 vs 希望有什么数据?识别数据缺口.
- What timeframe is relevant? — 什么时间范围相关?避免 cherry-picking 有利时段. 核心原则:方法论决定分析路径,数据只是输入。先定 hypothesis 和 testing 框架,再收集数据.
Statistical Rigor Checklist(统计严谨性检查清单)
分析结果输出前必须通过的统计检查:
- Sample size adequacy:样本量是否足够?小样本(n<30)的 inference 不可靠,需标注 effect size 和 confidence interval
- Multiple comparison correction:多次比较是否做了校正?用 Bonferroni correction 或 FDR 控制 false positive
- p-value interpretation:p-value 是否被正确理解?p<0.05 不等于"有效",需报告 effect size 和 practical significance
- Confounding variables:是否有未控制的 confounder?cohort 对比时检查 baseline 差异
- Regression assumptions:回归模型假设是否满足?检查残差独立性、homoscedasticity、multicollinearity
- Confidence interval reporting:是否报告了 confidence interval 而非仅点估计?
Analytical Pitfalls(分析陷阱识别)
7 个常见分析陷阱及其识别方法:
| 陷阱 | 英文 | 识别方法 |
|---|---|---|
| p值操纵 | p-hacking | 检查是否多次跑测试直到 p<0.05,报告所有跑过的测试而非只报告显著的 |
| 时期不可比 | Comparing unequal periods | 对比周期天数是否一致?节假日、季节性是否对齐? |
| 幸存者偏差 | Survivorship bias | 样本是否只包含"存活"对象?退出用户、失败案例是否被排除? |
| 辛普森悖论 | Simpson's Paradox | 分组和整体趋势是否一致?分层分析后再下结论 |
| 时间序列伪相关 | Correlation in time series | 两个时间序列的相关可能是 trend 导致的,需差分或去趋势后再算相关 |
| 百分比聚合错误 | Aggregating percentages | 各组百分比不能直接平均,需用加权平均或回到原始计数 |
| 摘樱桃 | Cherry-picking | 是否只展示有利数据?检查完整时间范围和所有分组 |
Approach Selection(分析方法选择)
根据分析目标选择正确的分析方法:
- 描述性分析(Descriptive):均值、中位数、分布 — 回答"发生了什么"
- 诊断性分析(Diagnostic):cohort analysis、segmentation、funnel analysis — 回答"为什么发生"
- 因果推断(Causal inference):A/B testing、difference-in-differences、propensity score matching — 回答"X 是否导致 Y"
- 预测性分析(Predictive):regression、time series forecasting、anomaly detection — 回答"未来会怎样"
- 规范性分析(Prescriptive):optimization、simulation — 回答"应该怎么做"
选择原则:correlation 不等于 causation。观察数据只能发现关联,因果需实验或准实验方法.
Output Standards(输出规范)
分析输出的标准化要求:
- 结论先行:1-2 句话总结核心发现,附 confidence level(高/中/低)
- 数据来源:标注数据来源、时间范围、样本量、缺失值处理方式
- 可视化规范:图表标题自解释,坐标轴有标签和单位,避免误导性 scale
- 不确定性量化:报告 confidence interval、margin of error,不使用确定性表述
- 方法论说明:使用的统计方法、假设检验类型、校正方法
- 局限性声明:数据局限性、未控制的 confounder、generalizability 限制
Red Flags to Escalate(风险升级机制)
遇到以下情况时必须升级到资深分析师或暂停分析:
- 用户想"证明"预设结论而非探索发现 — 这是 p-hacking 的起点
- 样本量太小无法做可靠 inference(如 n<10 做统计检验)
- 数据质量问题导致分析无效(缺失率 >30%、系统性偏差)
- 存在无法控制的 confounder 且影响方向未知
- Simpson's Paradox 出现(分组和整体结论矛盾)
- 时间序列的 correlation 可能是 spurious(伪相关)
- 结果依赖于特定时间段或特定子集(Cherry-picking 风险)
安装向导
- 确认运行环境满足依赖说明中的要求
- 在AI Agent对话中调用本技能,提供必要的输入参数
- 检查输出结果,根据需要进行后续处理
详细的输入输出格式请参考下方章节说明。
应用示例
基本用法
向Agent发送指令:
使用 数据分析理调 处理以下任务:
[具体任务描述]
输出说明
Agent将根据指令调用对应能力,返回响应数据。响应格式取决于具体能力点的输出定义.
安装与配置
运行环境
- Agent平台: 支持SKILL.md的任意AI Agent(Claude Code / Cursor / Codex / Gemini CLI等)
- 操作系统: Windows / macOS / Linux
依赖项
| 依赖项 | 类型 | 是否必需 | 获取方式 |
|---|---|---|---|
| LLM API | API | 必需 | 由Agent内置LLM提供 |
API Key 配置
需要配置对应API Key,详见上文环境配置章节
可用性分类
- 分类: MD(纯Markdown指令,无需exec命令行能力)
疑问速查汇总
Q1: p-value < 0.05 就意味着结果显著吗?
A: 不完全。p-value 只是在零假设下观察到当前或更极端结果的概率。还需检查 effect size(实际效应量)、confidence interval、样本量和 practical significance。小样本下的 p<0.05 可能是 false positive.
Q2: 如何识别 Simpson's Paradox?
A: 对比分组分析和整体汇总分析的趋势方向。如果分组结论和整体结论相反(如各组都显示 A>B,但整体显示 B>A),就是 Simpson's Paradox。此时应以分层分析为准.
Q3: 观察数据能做因果推断吗?
A: 观察数据只能发现 correlation(关联),不能直接做 causal inference(因果推断)。需要用 difference-in-differences、propensity score matching、instrumental variable 等准实验方法,并明确假设前提.
功能边界
- 不替代专业统计学家做复杂建模决策
- 无法自动检测所有类型的数据质量问题
- 因果推断方法的有效性依赖假设前提是否满足
- 高维数据的 multiple comparison 问题需要领域知识判断
创新特色
===
效率提升量化分析
| 操作步骤 | 手动耗时 | 自动化耗时 | 时间节约 | 准确率提升 |
|---|---|---|---|---|
| 数据清洗 | 2小时 | 30分钟 | 1.5小时 | 5% |
| 数据预处理 | 4小时 | 1小时 | 3小时 | 3% |
| 统计分析 | 8小时 | 2小时 | 6小时 | 4% |
| 报告生成 | 6小时 | 1小时 | 5小时 | 2% |
| 可视化制作 | 4小时 | 30分钟 | 3.5小时 | 2% |
差异化对比
| 对比维度 | 本技能 | 手动操作 | Python脚本 | 专业软件 |
|---|---|---|---|---|
| 处理速度 | 快速 | 较慢 | 中等 | 快速 |
| 易用性 | 中等 | 较高 | 中等 | 高 |
| 功能丰富度 | 高 | 低 | 中等 | 高 |
| 成本 | 低 | 中等 | 中等 | 高 |
| 技术要求 | 低 | 高 | 中等 | 高 |
核心痛点解决
| 痛点 | 描述 | 影响范围 | 解决方案 | 量化效果 |
|---|---|---|---|---|
| 数据清洗困难 | 数据清洗步骤繁琐,耗时较多 | 影响数据分析效率和质量 | 引入自动化清洗工具 | 时间节约 20% |
| 分析结果不可靠 | 分析方法选择不当,导致结果错误 | 影响决策制定 | 建立方法论框架,指导方法选择 | 准确率提升 10% |
| 报告生成效率低 | 报告格式固定,无法根据需求调整 | 影响报告质量和使用效率 | 开发灵活的模板系统 | 效率提升 30% |
===
诊断与修复
| 错误现象 | 可能原因 | 诊断步骤 | 解决方案 |
|---|---|---|---|
| 数据错误 | 数据源错误或格式问题 | 检查数据源和格式,确认数据正确性 | 修正数据源或格式,重新导入数据 |
| 分析结果异常 | 分析方法选择不当或模型错误 | 检查分析方法,验证模型假设 | 调整分析方法或模型,重新进行分析 |
| 系统运行缓慢 | 硬件资源不足或系统配置错误 | 检查硬件资源,调整系统配置 | 增加硬件资源或调整配置,优化系统性能 |
| 通知未收到 | 邮件系统错误或配置问题 | 检查邮件系统,确认配置正确 | 修复邮件系统或重新配置邮件 |
| 脚本执行失败 | 脚本错误或依赖问题 | 检查脚本和依赖,确认脚本正确性 | 修正脚本或添加缺失依赖 |
===
安全申明
- [与「数据分析理调」相关的安全注意事项]
- 确保数据传输加密,防止数据泄露。
- 对敏感数据进行加密存储,确保数据安全。
- 定期更新系统和工具,防范安全漏洞。
- 实施权限管理,确保只有授权用户可以访问数据和分析工具。
- 定期进行合规检查,确保安全措施的有效性。
安全风险防范
| 风险项 | 等级 | 防护措施 | 验证方法 |
|---|---|---|---|
| API密钥泄露 | 高 | 通过环境变量配置,禁止硬编码 | 定期检查代码和配置文件 |
| 命令执行风险 | 高 | 仅执行白名单命令,避免拼接用户输入 | 使用沙箱环境测试 |
| 网络通信安全 | 中 | 使用HTTPS协议,验证SSL证书 | 定期检查证书有效期 |
| 敏感数据暴露 | 高 | 输出结果中不包含密钥、令牌等敏感信息 | 日志脱敏审查 |
| 未授权访问 | 中 | 限制访问权限,实施认证机制 | 定期审计访问日志 |
错误恢复方案
针对数据分析理调使用中可能遇到的常见问题,提供以下排查方案:
| 错误类型 | 原因分析 | 解决方案 |
|---|---|---|
| API认证失败(401) | API密钥错误或过期 | 检查密钥配置,重新生成token |
| 接口限流(429) | 请求频率超出限制 | 降低调用频率,启用重试退避策略 |
| 响应超时(504) | 网络延迟或服务端负载过高 | 增加超时阈值,检查网络连接 |
| 文件不存在 | 路径错误或文件未创建 | 检查路径拼写,确认文件已生成 |
| 文件格式不支持 | 扩展名不在支持列表中 | 转换为支持的格式后重试 |
| 权限不足 | 当前用户无读写权限 | 检查文件权限,以管理员身份运行 |
| 命令执行失败 | 参数错误或环境依赖缺失 | 检查命令语法,确认依赖已安装 |
| 进程超时 | 命令执行时间过长 | 增加超时设置,优化命令参数 |
| 网络连接失败 | DNS解析失败或防火墙拦截 | 检查网络配置,确认代理设置 |
数据分析理调通用排查步骤
- 检查输入参数: 确认所有必填参数已提供且格式正确
- 查看日志输出: 定位具体错误行和异常类型
- 验证环境配置: 确认依赖库版本和运行环境满足要求
- 逐步调试: 缩小问题范围,隔离故障模块
场景介绍
- 团队协作: 统一团队工作方式,减少重复劳动和沟通成本
- 接口集成: 对接第三方API服务,实现数据自动获取和处理
- 内容生成: 自动生成文档、代码或结构化数据
- 文件批处理: 批量处理文件内容,支持多格式转换和解析
- 环境管理: 批量管理开发环境和部署流程
- 信息检索: 快速搜索和过滤目标数据
- 数据管道: 构建ETL流程,实现数据自动化流转
Top skills in this category
API Gateway
@byungkyuCall third-party APIs through the Maton gateway, which injects the credential for an app the user has already connected. Use this skill when the user names a connected app and a concrete action in it - read a mailbox, query a CRM, file an issue, update a spreadsheet, etc.
Marketing Mode
@thesethroseMarketing Mode combines 23 comprehensive marketing skills covering strategy, psychology, content, SEO, conversion optimization, and paid growth. Use when users need marketing strategy, copywriting, SEO help, conversion optimization, paid advertising, or any marketing tactic.
Blogwatcher
@steipeteMonitor blogs and RSS/Atom feeds for updates using the blogwatcher CLI.
Marketing Skills
@jchopard69Access 23 marketing modules offering checklists, frameworks, and ready-to-use deliverables for CRO, SEO, copywriting, analytics, launches, ads, and social me...
diagram-generator
@matthewyinGenerate and edit diagrams with the mcp-diagram-generator MCP server. Use this skill for new diagrams, existing .drawio/.mmd/.excalidraw edits, network topology, architecture, flowchart, swimlane, sequence, class, ER, and Excalidraw whiteboard work. Always use this skill when the user asks to draw,