跳到主要内容

配置

全部配置挂在 Model.Config 上。默认即最优解,要强制再改。

属性​

类别属性类型读写说明
设备与后端Providerstring读写推理后端 id。点名后不降级,不可用直接报错。空串 = 自动推荐
GpuIdint读写GPU 卡号,多卡机填 0..3。仅 Open 前生效。CPU / NPU 后端忽略卡号
线程Threadsint读写算子内线程数(intra-op)。仅 Open 前生效,0 = 自动
并发Workersint读写并发会话数。1 = 单会话,2..32 = 开池并发,超过 32 拒开。仅 Open 前生效
Queueint读写排队深度 = 还没开跑任务上限。合法 1..4096,0 = 64。仅 Open 前生效
Weightint读写槽份额相对数,同卡并发槽按 slots * weight / wsum 分。0 视同 100。仅 Open 前生效
超时Timeoutint读写单次推理等待预算(毫秒)。运行期随时改,0 = 不限时
推理过滤DefaultThresholdsdouble[]?读写按类别阈值表,下标 = 类别 id,值 = 分数下限。null = 不过滤。运行期可改

取值(ProviderIds):

  • OnnxCpu / OnnxCuda / OnnxOpenVino / OnnxTrtEp / OnnxDirectML
  • TrtNative / PaddleCpu / PaddleGpu / EdgeRknn
  • Tflite / OnnxTflite / TorchScriptCpu

示例:

m.Config.Provider = ProviderIds.OnnxCuda;
m.Open();