英特尔开发套件专区

最新的量化框架很多，ipex-llm的性能相对于其他的量化框架对比怎么样？IPEX-LLM 是一个用于在英特尔 CPU 和 GPU 上运行大型语言模型（LLM）的 PyTorch 库。它是基于 Intel Extension for PyTorch（IPEX）以及 llama.cpp、bitsandbytes、vLLM、qlora、AutoGPTQ、AutoAWQ 等优秀工作的构建。它提供了与 llama.cpp、ollama、Text-Generation-WebUI、HuggingFace transformers、HuggingFace PEFT、LangChain、LlamaIndex、DeepSpeed-AutoTP、vLLM、FastChat、HuggingFace TRL、AutoGen、ModelScope 等的无缝集成。IPEX-LLM 优化并验证了 50 多个模型，包括 LLaMA2、Mistral、Mixtral、Gemma、LLaVA、Whisper、ChatGLM、Baichuan、Qwen、RWKV 等  。ipex-llm地址：https://github.com/intel-analytics/ipex-llm/