评测基准构建器（Eval Bench Builder）

技能文档

---
name: eval-bench-builder
display_name: 评测基准构建器（Eval Bench Builder）
display_name_en: "Eval Benchmark Builder"
description: "当用户说『怎么评测这个AI/技能好不好』『给我造个测试集』『评测用例怎么设计』『要可复现的评测』，或要给一个 agent/模型/技能建可复现评测基准时使用。从能力说明+边界用例生成结构化 eval 样本（输入/期望/判定标准），保证可复现、可回归。可运行脚本（bench_build 生成器）。理论根基：LGD 三律之有证（评测可复现、可核验）。触发词：评测基准、eval、测试集、benchmark、可复现评测、评测用例、怎么测AI。"
version: 1.1.1
agent_created: true
author: 诺声(Logos)@SynomosAI
license: MIT
license_scope: 代码（.py 文件）MIT；本 SKILL.md 与其中理论文本不在 MIT 覆盖范围内（见文末「License & attribution」）
allowed-tools: Read, Glob, Grep, Write
category: AI工程方法
platforms: [windows, macos, linux]
read_when:
  - 要评测一个 agent/模型/技能的效果
  - 需要可复现、可回归的测试集
  - 不知道评测用例怎么设计
  - 收到「造个评测」类指令
tags: [评测基准, eval, benchmark, 测试集, 可复现, 有证]
slug: eval-bench-builder
title: 评测基准构建器（Eval Bench Builder）
copyright: SynomosAI
description_zh: "当用户说『怎么评测这个AI/技能好不好』『给我造个测试集』『评测用例怎么设计』『要可复现的评测』，或要给一个 agent/模型/技能建可复现评测基准时使用。从能力说明+边界用例生成结构化 eval 样本（输入/期望/判定标准），保证可复现、可回归。可运行脚本（bench_build 生成器）。理论根基：LGD 三律之有证（评测可复现、可核验）。触发词：评测基准、eval、测试集、benchmark、可复现评测、评测用例、怎么测AI。"
description_en: "Build reproducible evaluation benchmarks for agents, models and skills: structured samples (input, expected, judge) generated from capability statements plus boundary cases."
classification:
  skillhub: ["security-compliance"]
  iso_25010: ["Security"]
risk_tier: medium
risk_rationale: "门禁批量补丁默认 medium（按默认策略设计为中等风险）：调用 API/读写文件/本地执行，最小权限，密钥走 Secret；若实际涉对外代执行(push/发布/发送/上架)须人工复评，改 high 并走人工批准。"
ai_protocol: true
spec: usk/1.0
interface:
  type: cli
  entry_point: scripts/bench_build.py
  runtime: python3
  call_pattern: args
input_schema:
  args:
    type: string
    description: "命令行参数透传给主脚本，具体取值见各包 --help"
    required: false
output_schema:
  stdout:
    type: string
    description: "标准输出为 JSON 结果，含逐项检查与总体结论"
  exit_code:
    type: integer
    description: "0=PASS/完成；1=FAIL/有警告或待补强；2=用法或参数错误"
capabilities:
  - cli_tool
permissions:
  network: false
  filesystem: false
  subprocess: false
requirements:
  python_packages: []
  min_python: "3.8"
changelog: "1.1.1: Bilingual rewrite (full EN+ZH, English first); 1.0.0: initial upload (USK v3)"

---

> 凡自治之物 · LGD 治理学 · 创造术家族 ｜ 评测协议：见平台质量门禁规范

## English

### When to use
Use it when the user's intent includes keywords like "evaluate how good this AI / model / skill is", "build me a test set" or "design reproducible evaluation cases". It fits any moment where structured input / expected-output / judge-criteria must be generated so that results are reproducible and theoretically grounded. It also fits when the user's current capability statement is vague and a benchmark dataset with clear boundaries must be built on the LGD Three Laws — verifiable by construction.

### Usage
Natural-language instructions are supported; the parameters must name the target object (e.g. the model name), the evaluation dimensions and the verifiable criteria. The script `bench_build.py` runs the core construction logic; the input is auto-parsed and injected into the Python runtime. To reproduce the run locally, follow the generated script path and execute it on the terminal.

### Workflow
1. Recognize the trigger words and extract the evaluation target and boundary conditions. 2. On the LGD Three Laws, assemble the input / expected / judge templates in memory. 3. Call `bench_build.py` to perform the automated benchmark generation. 4. Validate that the generated data structure meets reproducibility and file-format requirements. 5. Emit the benchmark file or code snippet containing the complete test cases. 6. Return an executable command so the user can run the script in a terminal for regression checks.

### Evidence & safety statement
- Evidence: TBD (no evaluation / badge link yet; update here once it is produced)
- Version: 1.1.1
- Security: no independent security scan has been performed (TBD); the conclusion is pending and no endorsement is given until it is completed.

## 中文

### 何时用
当用户意图包含“评测 AI/模型/技能好坏”、“造测试集”或“设计可复现评测用例”等关键词时。在需要生成结构化输入/期望/判定标准，以确保评估结果具备可复现性和理论依据的场景下。当用户对现有能力说明感到模糊，需基于 LGD 三律构建边界明确且可核验的基准数据集时。

### 用法
调用方式支持自然语言指令，参数需明确指定目标对象（如模型名称）、评测维度及可验证标准。脚本 `bench_build.py` 将负责执行核心构建逻辑，系统会自动解析输入并注入 Python 运行时环境。若需直接复现，用户应参考生成的脚本文件路径进行本地执行。

### 流程
1. 技能识别触发词并提取评测目标与边界条件信息。2. 依据 LGD 三律理论，在内存中组装输入/期望/判定标准模板。3. 调用 `bench_build.py` 脚本完成自动化基准生成任务。4. 校验生成的数据结构是否符合可复现性要求及文件格式规范。5. 输出包含完整测试用例的基准文件或代码片段。6. 返回可执行指令，允许用户通过终端运行脚本进行回归验证。

### 证据与安全声明
- 证据：TBD（暂无评测/徽章链接；产生后在此更新实际链接）
- 版本：1.1.1
- 安全：未做独立安全扫描（TBD），结论待补；补全前不作推荐背书。

使用说明

# eval-bench-builder · 评测基准构建器 / Eval Bench Builder

[![LGD Powered](lgd-powered.png)](https://github.com/zhaoxinghua09-cell/lgd-theory)

## English

"Is the AI good?" can't be a feeling. Turn a capability spec + edge cases into structured, reproducible eval samples (input / expect / judge). Runnable `bench_build.py` emits a JSONL bench. Theoretical root: LGD — evidenced (eval is reproducible, verifiable). Pairs with `skill-quality-gate`.

### Why it beats "feels about right"

| Pain | This skill |
|---|---|
| Subjective scoring | Machine-readable judge per case |
| Only happy-path tested | Edge + adversarial cases required |
| Can't compare runs | Fixed, locked benchmark |

### What's inside

- `SKILL.md` — 3 elements + 3-step flow + iron rule
- `scripts/bench_build.py` — zero-dependency CLI: spec → JSONL eval set

```bash
python scripts/bench_build.py --spec spec.md --out bench.jsonl
```

### Benchmark vs alternatives

| Tool | It does | Gap this fills |
|---|---|---|
| Leaderboard scores | One number | No per-case judge, not yours |
| Ad-hoc prompts | Unrepeatable | Not locked, not regressible |
| "Looks good" | — | No evidence |

Theoretical root: **LGD Three Laws** — evidenced. Pairs with `skill-quality-gate`.

## 中文

"这个 AI 好不好"不能凭感觉。把能力说明 + 边界用例变成结构化、可复现评测样本（输入/期望/判定），改一次比一次。附可运行脚本，输出 JSONL 基准集。理论根基：LGD 有证。与 `skill-quality-gate` 配对。

### 为什么比"感觉还行"强

| 痛点 | 本技能 |
|---|---|
| 主观打分 | 每条用例机器可读判定 |
| 只测了顺利路径 | 边界 + 对抗用例必备 |
| 两次跑没法比 | 固定、锁定的基准 |

### 包内有什么

- `SKILL.md` — 三要素 + 三步流程 + 铁律
- `scripts/bench_build.py` — 零依赖 CLI：说明 → JSONL 评测集

```bash
python scripts/bench_build.py --spec spec.md --out bench.jsonl
```

### 同类对比

| 工具 | 它做什么 | 本技能填补的空白 |
|---|---|---|
| 榜单分数 | 一个数字 | 无逐条判定、不是你自己的 |
| 临时 prompt | 不可复现 | 不锁定、不可回归 |
| "看着不错" | — | 无证据 |

理论根基：**LGD 三律**——有证。与 `skill-quality-gate` 配对。

---

© 2026 SynomosAI · China · 代码 MIT · 理论文本保留所有权利

---

## License & attribution
**分层许可（务必并读；代码许可不覆盖文档与理论文本）**

- **代码**（本包 `.py` 文件）：**MIT**
- **本 `README.md` / `SKILL.md` 及其中的理论文本、方法论与一切理论表述**：**不在 MIT 覆盖范围内**，保留所有权利（All rights reserved）

```
© 2026 SynomosAI · China. All rights reserved.
理论署名 (attribution) : LGD（Lifecycle Governance Doctrine / 全程治理论）— SynomosAI initiative
名称状态 (name status)  : "SynomosAI" — 未申请实体注册、未申请商标注册
                        (not a registered legal entity; no trademark registered)
生产参考部署 (production reference, self-reported) : 无（未声明外部生产参考部署）
                    ← 非认证、非背书、非监管认可（not a certification or endorsement）
代码许可 (code license) : 本包未附 LICENSE 文件（许可待定）
                    本文本与理论表述不在任何代码许可覆盖范围内
引用格式 (cite as)      : 本资产无 DOI
```
（上列为《LGD 对外表述规范》§3.2 统一块，**整体复制、未删改**；发布/重提前须照最新版本复核。）

如何安装此技能？

访问技能市场，点击「安装」按钮，按提示将技能包放入 AI 编程助手的 skills 目录即可。