fp4量化

FP4量化是一種利用4位浮點數來表示模型參數和激活值的技術。與INT8量化相比，FP4量化能夠提供更高的精度和更寬的動態範圍。這種技術在減少模型的存儲和計算需求的同時，還能保持較高的性能。