Huggingface.js documentation
接口：MlxQuantizationConfig
接口：MlxQuantizationConfig
层级
-
↳
MlxQuantizationConfig
可索引
▪ [key: string]: unknown
属性
位
• Optional bits：number
继承自
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ 组
• Optional config_groups：Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
继承自
QuantizationConfig 的 config_groups
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype：string
当路由专家精度与主量化器不同时（例如，FP4 专家搭配 FP8 注意力）。
继承自
QuantizationConfig 的 expert_dtype
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:920
格式
• Optional 格式：string
继承自
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group _ size
• Optional group_size：number
继承自
QuantizationConfig 的 group_size
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore：string[]
compressed-tensors 将其排除列表命名为 ignore，而非 modules_to_not_convert，
并使用与 config_groups[].targets 相同的 re: 前缀目标语法。
继承自
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit：boolean
继承自
QuantizationConfig.load_in_4bit
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit：boolean
继承自
QuantizationConfig。load_in_8bit
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode：string
MLX 量化模式（例如 affine）；MLX 配置不声明 quant_method。
继承自
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules_to_not_convert
• Optional modules_to_not_convert: string[]
继承自
QuantizationConfig 的 modules_to_not_convert
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant_algo
• Optional quant_algo：string
NVIDIA ModelOpt（quant_method: "modelopt"）算法，例如 "NVFP4"、"W4A16_NVFP4"、"FP8" 或 "MIXED_PRECISION"——此时每个模块的算法位于 quantized_layers 中。
继承自
QuantizationConfig 的 quant_algo
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method：string
继承自
QuantizationConfig 的 quant_method
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:918
量化层
• Optional quantized_layers： Record<string, { quant_algo?: string }>
ModelOpt 混合精度：模块名称（或父模块，例如 …mlp.experts）-> 其算法。
继承自
QuantizationConfig 的 quantized_layers
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:947
存储 _ dtype
• Optional store_dtype：string
与expert_dtype的作用相同，只是名称不同：MiMo-V2.6 的稠密层使用quant_method: "fp8"，但路由专家以store_dtype: "mxfp4"存储，每个U8打包两个。
继承自
QuantizationConfig 的 store_dtype
定义于
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub