数据分析理调

提供数据分析方法论框架,确保统计严谨性、识别常见陷阱,指导方法选择及规范化输出,支持中文交互和结构化结果。

天轰穿

@thcjp

Install

$ openclaw skills install @thcjp/data-analysis-litiao

功能说明: 本技能涵盖 中文交互 等核心能力。

功能说明: 本技能涵盖 化工作流场景 等核心能力。

数据分析理调

数据分析方法论守护框架,确保分析过程的统计严谨性、陷阱识别和方法论正确性.

请求格式

参数名类型必填说明
inputstring是数据分析理调处理的输入数据或指令
optionsobject否附加配置选项,如模式选择、格式偏好等
callback_urlstring否异步处理完成后的回调通知URL

能力简介

Methodology First(方法论优先框架)

在任何数据分析开始前,先回答四个方法论问题:

  1. What decision is this analysis supporting? — 这项分析支持什么决策?明确决策目标再选方法.
  2. What would change your mind? — 什么结果会改变你的判断?预先定义证伪条件和 stop condition.
  3. What data do you actually have vs what you wish you had? — 实际有什么数据 vs 希望有什么数据?识别数据缺口.
  4. What timeframe is relevant? — 什么时间范围相关?避免 cherry-picking 有利时段. 核心原则:方法论决定分析路径,数据只是输入。先定 hypothesis 和 testing 框架,再收集数据.

Statistical Rigor Checklist(统计严谨性检查清单)

分析结果输出前必须通过的统计检查:

  • Sample size adequacy:样本量是否足够?小样本(n<30)的 inference 不可靠,需标注 effect size 和 confidence interval
  • Multiple comparison correction:多次比较是否做了校正?用 Bonferroni correction 或 FDR 控制 false positive
  • p-value interpretation:p-value 是否被正确理解?p<0.05 不等于"有效",需报告 effect size 和 practical significance
  • Confounding variables:是否有未控制的 confounder?cohort 对比时检查 baseline 差异
  • Regression assumptions:回归模型假设是否满足?检查残差独立性、homoscedasticity、multicollinearity
  • Confidence interval reporting:是否报告了 confidence interval 而非仅点估计?

Analytical Pitfalls(分析陷阱识别)

7 个常见分析陷阱及其识别方法:

陷阱英文识别方法
p值操纵p-hacking检查是否多次跑测试直到 p<0.05,报告所有跑过的测试而非只报告显著的
时期不可比Comparing unequal periods对比周期天数是否一致?节假日、季节性是否对齐?
幸存者偏差Survivorship bias样本是否只包含"存活"对象?退出用户、失败案例是否被排除?
辛普森悖论Simpson's Paradox分组和整体趋势是否一致?分层分析后再下结论
时间序列伪相关Correlation in time series两个时间序列的相关可能是 trend 导致的,需差分或去趋势后再算相关
百分比聚合错误Aggregating percentages各组百分比不能直接平均,需用加权平均或回到原始计数
摘樱桃Cherry-picking是否只展示有利数据?检查完整时间范围和所有分组

Approach Selection(分析方法选择)

根据分析目标选择正确的分析方法:

  • 描述性分析(Descriptive):均值、中位数、分布 — 回答"发生了什么"
  • 诊断性分析(Diagnostic):cohort analysis、segmentation、funnel analysis — 回答"为什么发生"
  • 因果推断(Causal inference):A/B testing、difference-in-differences、propensity score matching — 回答"X 是否导致 Y"
  • 预测性分析(Predictive):regression、time series forecasting、anomaly detection — 回答"未来会怎样"
  • 规范性分析(Prescriptive):optimization、simulation — 回答"应该怎么做"

选择原则:correlation 不等于 causation。观察数据只能发现关联,因果需实验或准实验方法.

Output Standards(输出规范)

分析输出的标准化要求:

  • 结论先行:1-2 句话总结核心发现,附 confidence level(高/中/低)
  • 数据来源:标注数据来源、时间范围、样本量、缺失值处理方式
  • 可视化规范:图表标题自解释,坐标轴有标签和单位,避免误导性 scale
  • 不确定性量化:报告 confidence interval、margin of error,不使用确定性表述
  • 方法论说明:使用的统计方法、假设检验类型、校正方法
  • 局限性声明:数据局限性、未控制的 confounder、generalizability 限制

Red Flags to Escalate(风险升级机制)

遇到以下情况时必须升级到资深分析师或暂停分析:

  • 用户想"证明"预设结论而非探索发现 — 这是 p-hacking 的起点
  • 样本量太小无法做可靠 inference(如 n<10 做统计检验)
  • 数据质量问题导致分析无效(缺失率 >30%、系统性偏差)
  • 存在无法控制的 confounder 且影响方向未知
  • Simpson's Paradox 出现(分组和整体结论矛盾)
  • 时间序列的 correlation 可能是 spurious(伪相关)
  • 结果依赖于特定时间段或特定子集(Cherry-picking 风险)

安装向导

  1. 确认运行环境满足依赖说明中的要求
  2. 在AI Agent对话中调用本技能,提供必要的输入参数
  3. 检查输出结果,根据需要进行后续处理

详细的输入输出格式请参考下方章节说明。

应用示例

基本用法

向Agent发送指令:

使用 数据分析理调 处理以下任务:
[具体任务描述]

输出说明

Agent将根据指令调用对应能力,返回响应数据。响应格式取决于具体能力点的输出定义.

安装与配置

运行环境

  • Agent平台: 支持SKILL.md的任意AI Agent(Claude Code / Cursor / Codex / Gemini CLI等)
  • 操作系统: Windows / macOS / Linux

依赖项

依赖项类型是否必需获取方式
LLM APIAPI必需由Agent内置LLM提供

API Key 配置

需要配置对应API Key,详见上文环境配置章节

可用性分类

  • 分类: MD(纯Markdown指令,无需exec命令行能力)

疑问速查汇总

Q1: p-value < 0.05 就意味着结果显著吗?

A: 不完全。p-value 只是在零假设下观察到当前或更极端结果的概率。还需检查 effect size(实际效应量)、confidence interval、样本量和 practical significance。小样本下的 p<0.05 可能是 false positive.

Q2: 如何识别 Simpson's Paradox?

A: 对比分组分析和整体汇总分析的趋势方向。如果分组结论和整体结论相反(如各组都显示 A>B,但整体显示 B>A),就是 Simpson's Paradox。此时应以分层分析为准.

Q3: 观察数据能做因果推断吗?

A: 观察数据只能发现 correlation(关联),不能直接做 causal inference(因果推断)。需要用 difference-in-differences、propensity score matching、instrumental variable 等准实验方法,并明确假设前提.

功能边界

  • 不替代专业统计学家做复杂建模决策
  • 无法自动检测所有类型的数据质量问题
  • 因果推断方法的有效性依赖假设前提是否满足
  • 高维数据的 multiple comparison 问题需要领域知识判断

创新特色

===

效率提升量化分析

操作步骤手动耗时自动化耗时时间节约准确率提升
数据清洗2小时30分钟1.5小时5%
数据预处理4小时1小时3小时3%
统计分析8小时2小时6小时4%
报告生成6小时1小时5小时2%
可视化制作4小时30分钟3.5小时2%

差异化对比

对比维度本技能手动操作Python脚本专业软件
处理速度快速较慢中等快速
易用性中等较高中等高
功能丰富度高低中等高
成本低中等中等高
技术要求低高中等高

核心痛点解决

痛点描述影响范围解决方案量化效果
数据清洗困难数据清洗步骤繁琐,耗时较多影响数据分析效率和质量引入自动化清洗工具时间节约 20%
分析结果不可靠分析方法选择不当,导致结果错误影响决策制定建立方法论框架,指导方法选择准确率提升 10%
报告生成效率低报告格式固定,无法根据需求调整影响报告质量和使用效率开发灵活的模板系统效率提升 30%

===

诊断与修复

错误现象可能原因诊断步骤解决方案
数据错误数据源错误或格式问题检查数据源和格式,确认数据正确性修正数据源或格式,重新导入数据
分析结果异常分析方法选择不当或模型错误检查分析方法,验证模型假设调整分析方法或模型,重新进行分析
系统运行缓慢硬件资源不足或系统配置错误检查硬件资源,调整系统配置增加硬件资源或调整配置,优化系统性能
通知未收到邮件系统错误或配置问题检查邮件系统,确认配置正确修复邮件系统或重新配置邮件
脚本执行失败脚本错误或依赖问题检查脚本和依赖,确认脚本正确性修正脚本或添加缺失依赖

===

安全申明

  1. [与「数据分析理调」相关的安全注意事项]
  • 确保数据传输加密,防止数据泄露。
  • 对敏感数据进行加密存储,确保数据安全。
  • 定期更新系统和工具,防范安全漏洞。
  • 实施权限管理,确保只有授权用户可以访问数据和分析工具。
  • 定期进行合规检查,确保安全措施的有效性。

安全风险防范

风险项等级防护措施验证方法
API密钥泄露高通过环境变量配置,禁止硬编码定期检查代码和配置文件
命令执行风险高仅执行白名单命令,避免拼接用户输入使用沙箱环境测试
网络通信安全中使用HTTPS协议,验证SSL证书定期检查证书有效期
敏感数据暴露高输出结果中不包含密钥、令牌等敏感信息日志脱敏审查
未授权访问中限制访问权限,实施认证机制定期审计访问日志

错误恢复方案

针对数据分析理调使用中可能遇到的常见问题,提供以下排查方案:

错误类型原因分析解决方案
API认证失败(401)API密钥错误或过期检查密钥配置,重新生成token
接口限流(429)请求频率超出限制降低调用频率,启用重试退避策略
响应超时(504)网络延迟或服务端负载过高增加超时阈值,检查网络连接
文件不存在路径错误或文件未创建检查路径拼写,确认文件已生成
文件格式不支持扩展名不在支持列表中转换为支持的格式后重试
权限不足当前用户无读写权限检查文件权限,以管理员身份运行
命令执行失败参数错误或环境依赖缺失检查命令语法,确认依赖已安装
进程超时命令执行时间过长增加超时设置,优化命令参数
网络连接失败DNS解析失败或防火墙拦截检查网络配置,确认代理设置

数据分析理调通用排查步骤

  1. 检查输入参数: 确认所有必填参数已提供且格式正确
  2. 查看日志输出: 定位具体错误行和异常类型
  3. 验证环境配置: 确认依赖库版本和运行环境满足要求
  4. 逐步调试: 缩小问题范围,隔离故障模块

场景介绍

  • 团队协作: 统一团队工作方式,减少重复劳动和沟通成本
  • 接口集成: 对接第三方API服务,实现数据自动获取和处理
  • 内容生成: 自动生成文档、代码或结构化数据
  • 文件批处理: 批量处理文件内容,支持多格式转换和解析
  • 环境管理: 批量管理开发环境和部署流程
  • 信息检索: 快速搜索和过滤目标数据
  • 数据管道: 构建ETL流程,实现数据自动化流转

Top skills in this category