@theluyuan 在 ktransformers无法生成回答中发帖启动命令 python ktransformers/server/main.py --model_path /root/DeepSeek-R1-0528-Q4_K_M --gguf_path /root/DeepSeek-R1-0528-Q4_K_M/Q4_K_M/ --cpu_infer 62 --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml --port 10002 --chunk_size 256 --max_new_tokens 4096 --max_batch_size 4 --port 10002 --cache_lens 13000 --backend_type balance_serve --architectures DeepseekV3For...

@theluyuan 在 ktransformers无法生成回答中发帖

启动命令 
python ktransformers/server/main.py --model_path /root/DeepSeek-R1-0528-Q4_K_M --gguf_path /root/DeepSeek-R1-0528-Q4_K_M/Q4_K_M/ --cpu_infer 62 --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml --port 10002 --chunk_size 256 --max_new_tokens 4096 --max_batch_size 4 --port 10002 --cache_lens 13000 --backend_type balance_serve --architectures DeepseekV3For...