在近期几个月的深入探索之后,通义千问团队终于迎来了其开源系列Qwen的下一个重要版本——Qwen1.5。
Qwen1.5的亮点之一是其丰富的模型系列,涵盖了从0.5B到72B的六种不同大小的基础和聊天模型。此外,团队还开源了包括Int4和Int8的GPTQ模型、AWQ模型以及GGUF量化模型在内的多种量化版本,以满足不同开发者的需求。
为了提高开发者的使用体验,Qwen1.5的代码已经与Hugging Face Transformers进行了合并。这意味着开发者可以直接使用transformers>=4.37.0版本,而无需信任远程代码。此外,Qwen1.5还得到了如vLLM、SGLang、AutoGPTQ等主流框架的支持,进一步丰富了其生态系统。
相较于之前的版本,Qwen1.5在聊天模型与人类偏好一致性方面取得了显著进步。同时,其多语言能力也得到了全面改善。更令人振奋的是,所有模型现在都支持统一的上下文长度,高达32K。这些改进不仅增强了模型的基础语言质量,还为其在多语言评测中的表现奠定了坚实基础。
总结亮点
-
模型多样性:提供6个不同规模的模型以及多种量化版本,满足各种需求。
-
生态系统融入:与Hugging Face Transformers等主流框架的紧密结合,简化了开发过程。
-
卓越性能:聊天模型性能的大幅提升,以及在MT-Bench等基准测试中的优秀表现。
-
统一功能:全系列模型支持32K上下文长度、增强的多语言能力和统一的system prompt等特性。
体验地址:
https://modelscope.cn/studios/qwen/Qwen1.5-72B-Chat-Demo/summary