配置
这些配置项都可以不填。
| 类别 | 属性 | 类型 | 读写 | 说明 |
|---|---|---|---|---|
| 路由 | provider | Option<String> | 读写 | 指定 Provider 的 id。默认 None，表示按载荷、硬件、已装包自动推荐 |
| 路由 | gpu_id | i32 | 读写 | 指定用哪块 GPU。默认 -1 表示不指定，由 Provider 选卡 |
| 性能 | threads | i32 | 读写 | 设置 intra_op / inter_op 线程数。默认 0 表示自动，上限 min(逻辑核,4) |
| 推理 | timeout_ms | i32 | 读写 | 推理超时时间。默认 0 表示不限，超时会报 Timeout |
| 推理 | default_thresholds | LabelThresholds | 读写 | 按标签名设置阈值。默认空表表示不覆盖全局阈值 |
| 推理 | precision | Precision | 读写 | 精度档位。默认 Unspecified，可选 Fp32 / Fp16 / Int8 |
| 并发 | workers | i32 | 读写 | Model 内部参数，要改请用 InferPoolOptions::max_workers。默认 1 表示单会话，合法范围 1..32 |
| 并发 | queue | i32 | 读写 | Model 内部参数，要改请用 InferPoolOptions::queue_capacity。默认 0 表示队列 64，合法范围 1..4096 |
| 并发 | weight | i32 | 读写 | 要改请用 InferPoolOptions / SessionOptions::weight。默认 0 表示 100，合法范围 1..10000 |
| 并发 | overflow | InferOverflow | 读写 | 队列满时的策略。默认 Fail，可选 Block / DropOldest |
| 并发 | parallel | i32 | 读写 | 会话内可以同时跑几路。默认 0/1 表示单路互斥，2..32 表示并发，>32 截到 32 |