# cmdc_eval v0.1.0 - Table of Contents

> CMDC Agent benchmark harness — 接 BFCL v3 / tau2-bench / 公开评测集 + 自定义 suite

## Pages

- [cmdc_eval](readme.md)
- [Changelog](changelog.md)
- [License](license.md)

## Modules

- [CMDCEval](CMDCEval.md): CMDC Agent 评测框架（benchmark harness）—— 接公开基准 + 自定义 suite。
- [CMDCEval.Case](CMDCEval.Case.md): 单个评测用例 struct。
- [CMDCEval.Report](CMDCEval.Report.md): Eval Run 聚合报告 + JSONL 输出。
- [CMDCEval.Run](CMDCEval.Run.md): 单个 case 的运行结果。
- [CMDCEval.Runner](CMDCEval.Runner.md): Eval Runner —— 并发跑 case + 调 CMDC Agent + 收集 Run + 输出 Report。
- [CMDCEval.Suite](CMDCEval.Suite.md): Eval Suite behaviour —— 每个 Suite（如 BFCL / tau2-bench / internal）实现 3 callback。
- [CMDCEval.Suites.BFCL](CMDCEval.Suites.BFCL.md): Berkeley Function Calling Leaderboard v3 (BFCL) Suite —— 占位实现 + fixtures 接入路径。
- [CMDCEval.Suites.Internal](CMDCEval.Suites.Internal.md): Internal Suite —— 验证 cmdc 内部特性。

## Mix Tasks

- [mix cmdc.eval](Mix.Tasks.Cmdc.Eval.md): 跑 cmdc_eval Suite + 输出 JSONL 报告。
- [mix cmdc.eval.fetch_bfcl](Mix.Tasks.Cmdc.Eval.FetchBfcl.md): 从 Berkeley Function Calling Leaderboard v3 上游公开仓库拉取 fixtures
并转换为 cmdc_eval 内部 JSONL 格式。