📦 Data Toolkit — Data 工具kit

Data 工具kit

Complete data processing utilities for OpenClaw 代理s.

Features 转换器s JSON ↔ CSV - Bidirectional conversion with 模式 inference JSON ↔ YAML - 清理 格式化ting, comment preservation JSON ↔ XML - Configurable root elements and attributes CSV ↔ YAML - Direct conversion without intermediate steps Multi-格式化 batch conversion - Process entire directories 验证器s JSON 模式 验证 - 验证 agAInst JSON 模式 specs CSV structure 验证 - 检查 headers, columns, data types Data type inference - Automatic type 检测ion and 验证 Custom rules - Define business 记录ic 验证s 清理ers Duplicate removal - Smart deduplication with configurable keys Null/empty handling - 移除 or replace null values Data normalization - Standardize 格式化s (dates, numbers, strings) Whitespace 清理up - Trim, collapse multiple spaces Column operations - 移除, rename, reorder columns Usage Convert Data # JSON to CSV ./src/convert.py --输入 data.json --输出 data.csv --格式化 csv

# CSV to JSON ./src/convert.py --输入 data.csv --输出 data.json --格式化 json

# JSON to YAML ./src/convert.py --输入 data.json --输出 data.yaml --格式化 yaml

# XML to JSON ./src/convert.py --输入 data.xml --输出 data.json --格式化 json

# Batch conversion ./src/convert.py --输入-dir ./raw --输出-dir ./processed --格式化 json

验证 Data # 验证 agAInst JSON 模式 ./src/验证.py --输入 data.json --模式 模式.json

# 验证 CSV structure ./src/验证.py --输入 data.csv --检查-headers --检查-types

# Custom 验证 rules ./src/验证.py --输入 data.json --rules 验证-rules.yaml

清理 Data # 移除 duplicates ./src/清理.py --输入 data.json --dedupe --key id

# Handle nulls ./src/清理.py --输入 data.csv --移除-nulls ./src/清理.py --输入 data.csv --replace-nulls "N/A"

# Normalize data ./src/清理.py --输入 data.json --normalize dates,numbers,strings

# Full 清理up 流水线 ./src/清理.py --输入 messy.csv --dedupe --移除-nulls --normalize all --输出 清理.csv

API Usage (Python) from data_工具kit 导入 convert, 验证, 清理

# Convert convert.json_to_csv('输入.json', '输出.csv') convert.csv_to_yaml('输入.csv', '输出.yaml')

# 验证 is_valid = 验证.json_模式('data.json', '模式.json') errors = 验证.csv_structure('data.csv')

# 清理 清理.移除_duplicates('data.json', key='id') 清理.normalize_dates('data.csv', 格式化='ISO8601')

Examples

See examples/ directory for complete 工作流s:

examples/etl-流水线.sh - Full ETL 工作流 examples/API-data-processing.py - API 响应 processing examples/batch-conversion.sh - Bulk file conversion 安装ation

Dependencies are minimal and common:

Python 3.8+ PyYAML pandas (optional, for advanced CSV operations) pip 安装 pyyaml pandas

Requirements Node.js (for JSON/YAML parsing) Python 3.8+ 10MB disk space License

MIT

Support

Issues: https://github.com/forge-代理/data-工具kit Docs: See docs/ directory