年度花式撸管冠军 (@Macarinal) 在 大佬们求助,使用ms-swift调用大模型的代码问题 中发帖
我想使用ms-swift框架测试一下qwen模型的分词、模板、推理过程,下面这个代码是Deepseek给我的,但是会报错:
RuntimeError: The size of tensor a (16) must match the size of tensor b (128) at non-singleton dimension 3
我想知道是这个代码逻辑就是错的,还是说逻辑没问题,模型出了问题
# 测试基础模型推理
if __name__ == "__main__":
# 模型路径
model_path = "../models/Qwen/Qwen2___5-3B-Instruct"
# 加载模型和分词器
model, tokenizer = get_model_tokenizer(model_path)
# 测试分词结果
prin...