孤独豹猫 (@Guducat)Deepseek新活Janus-Pro发布了,ds的多模态要来了吧 中发帖

deepseek-ai/Janus-Pro-7B · Hugging Face 
Janus-Pro 是一种新颖的自回归框架,能够统一多模态理解与生成。它通过将视觉编码解耦为独立的路径,解决了以往方法的局限性,同时仍采用单一的、统一的Transformer架构进行处理。这种解耦不仅缓解了视觉编码器在理解与生成任务中的角色冲突,还增强了框架的灵活性。Janus-Pro 超越了以往的统一模型,并在性能上匹配甚至超越了特定任务模型。Janus-Pro 的简洁性、高度灵活性和高效性使其成为下一代统一多模态模型的强有力候选者。