# `mix cmdc.eval`
[🔗](https://github.com/tupleyun/cmdc_eval/blob/v0.1.0/lib/mix/tasks/cmdc.eval.ex#L1)

跑 cmdc_eval Suite + 输出 JSONL 报告。

## 用法

    $ mix cmdc.eval --suite=internal --model="anthropic:claude-sonnet-4-5"
    $ mix cmdc.eval --suite=bfcl --model="openai:gpt-4o" --report=bfcl.jsonl
    $ mix cmdc.eval --suite=internal --concurrency=8 --timeout=120000

## 选项

- `--suite=<name>` 必填。可选值：`internal` / `bfcl` / 任意完整模块名
  （如 `Elixir.CMDCEval.Suites.Internal`）
- `--model=<id>` 必填。如 `anthropic:claude-sonnet-4-5`
- `--report=<path>` 可选。JSONL 报告输出路径（默认不写文件）
- `--concurrency=<n>` 可选。并发跑 case 数（默认 4）
- `--timeout=<ms>` 可选。单 case 超时毫秒数（默认 60000）

## 退出码

- `0` —— 所有 case pass
- `1` —— 有 case 失败
- `2` —— Suite 无 case（如 BFCL fixtures 未 fetch）
- `3` —— Suite 模块不存在或非法

---

*Consult [api-reference.md](api-reference.md) for complete listing*