FLUX.1 Kontext 是Black Forest Labs 发布的，可用于生成和编辑图像的全新模型系列，该系列模型能够同时使用文本和图像进行提示，并无缝地提取和修改视觉概念，从而生成全新、连贯的渲染效果。

英特尔锐炫专业版 B60 GPU提供高达 197 TOPS 性能，配备 24 GB 内存, 专为现代专业项目（如 AI、生成式设计、3D 模拟、光线追踪及编辑任务）的高内存使用和处理需求量身定制。它们经济实惠、功能强大，专为质量和速度打造。这篇文章将分享如何利用OpenVINO™工具套件在在英特尔锐炫专业版 B60 GPU部署Flux.1 Kontext dev模型。

内容列表

1. 环境准备

2. 模型下载和转换

3. 模型部署

第一步，环境准备

通过以下命令可以搭建基于Python的模型部署环境。

· python -m venv py_venv · ./py_venv/Scripts/activate.bat · pip install --pre -U openvino-genai --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly · pip install nncf· pip install git+https://github.com/openvino-dev-samples/diffusers.git· pip install git+https://github.com/openvino-dev-samples/optimum-intel.git@kontext

第二步，模型下载和转换

在部署模型之前，我们首先需要将原始的PyTorch模型转换为OpenVINO™的IR静态图格式，并对其进行压缩，以实现更轻量化的部署和最佳的性能表现。通过Optimum提供的命令行工具optimum-cli，我们可以一键完成模型的格式转换和量化任务，这里以FLUX.1-Kontext-dev模型为例：

optimum-cli export openvino --model black-forest-labs/FLUX.1-Kontext-dev --weight-format int4 --group-size 64 --ratio 1.0  <model_dir>

开发者可以根据模型的输出结果，调整其中的量化参数，包括：

• --model： 为模型在HuggingFace上的model id，这里我们也提前下载原始模型，并将model id替换为原始模型的本地路径，针对国内开发者，推荐使用ModelScope魔搭社区作为原始模型的下载渠道，具体加载方式可以参考ModelScope官方指南：https://www.modelscope.cn/docs/models/download

• --weight-format：量化精度，可以选择fp32,fp16,int8,int4,int4_sym_g128,int4_asym_g128,int4_sym_g64,int4_asym_g64

• --group-size：权重里共享量化参数的通道数量

• --ratio：int4/int8权重比例，默认为1.0，0.6表示60%的权重以int4表，40%以int8表示

第三步，模型部署

利用optimum-intel已经搭建好的<OVFluxKontextPipeline>，我们可以参考原始模型在Diffusers库中的调用方法，快速搭建一个部署Flux.1 Kontext模型的推理任务。

from optimum.intel import OVFluxKontextPipeline
ov_pipe = OVFluxKontextPipeline.from_pretrained(model_dir, device=”cpu”)image = ov_pipe(image=input_image, prompt="Add a hat to the cat", guidance_scale=2.5).images[0]

以下为输出结果参考：

此外我们还可以通过修改<device=”gpu”>，将模型部署在Intel GPU上。以下是视频为该模型在英特尔锐炫专业版 B60 GPU的运行效果。

总结

通过Optimum-intel和OpenVINO™，我们可以高效地英特尔锐炫专业版 B60 GPU上运行Flux.1 Kontext系列图像编辑模型，充分利用其高性能及大显存的特点，打造面向生成式设计的超级工作站。

参考资料

• OpenVINO notebooks：https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/flux.1-kontext/flux.1-kontext.ipynb

• 英特尔锐炫专业版 B60 GPU：https://www.intel.cn/content/www/cn/zh/products/docs/discrete-gpus/arc/workstations/b-series/overview.html?wapkw=B60