配置
全部配置挂在 Model.Config 上。默认即最优解,要强制再改。
属性
| 类别 | 属性 | 类型 | 读写 | 说明 |
|---|---|---|---|---|
| 设备与后端 | Provider | string | 读写 | 推理后端 id。点名后不降级,不可用直接报错。空串 = 自动推荐 |
GpuId | int | 读写 | GPU 卡号,多卡机填 0..3。仅 Open 前生效。CPU / NPU 后端忽略卡号 | |
| 线程 | Threads | int | 读写 | 算子内线程数(intra-op)。仅 Open 前生效,0 = 自动 |
| 并发 | Workers | int | 读写 | 并发会话数。1 = 单会话,2..32 = 开池并发,超过 32 拒开。仅 Open 前生效 |
Queue | int | 读写 | 排队深度 = 还没开跑任务上限。合法 1..4096,0 = 64。仅 Open 前生效 | |
Weight | int | 读写 | 槽份额相对数,同卡并发槽按 slots * weight / wsum 分。0 视同 100。仅 Open 前生效 | |
| 超时 | Timeout | int | 读写 | 单次推理等待预算(毫秒)。运行期随时改,0 = 不限时 |
| 推理过滤 | DefaultThresholds | double[]? | 读写 | 按类别阈值表,下标 = 类别 id,值 = 分数下限。null = 不过滤。运行期可改 |
取值(ProviderIds):
OnnxCpu/OnnxCuda/OnnxOpenVino/OnnxTrtEp/OnnxDirectMLTrtNative/PaddleCpu/PaddleGpu/EdgeRknnTflite/OnnxTflite/TorchScriptCpu
示例:
m.Config.Provider = ProviderIds.OnnxCuda;
m.Open();