Intel AI PC端侧大模型实战:基于Skill的Qwen-Image-Edit QLoRA微调指南
作者:英特尔胡誉文、任艳璋、李子成
0. 引言
场景动机
个性化图像编辑一直是AI图像领域的热门需求。如今,在搭载Intel Core Ultra系列的AI PC上,直接在本地设备运行此类模型的推理已成为现实。然而,若想在本地更进一步、通过模型微调来定制专属风格,往往仍需面对繁琐的环境配置、代码适配与复杂的参数调优等工程门槛,让许多爱好者和初级开发者望而步;为了打破这一门槛,本文将演示:如何运用专属Skill套件在一台搭载Intel Arc 140V集显、32 GB系统内存(默认18 GB可用共享显存)的Intel AI PC(Intel Core Ultra 7 258V)上,通过QLoRA微调Qwen-Image-Edit模型,实现“将任意输入图像转换为梵高风格的个性化图像”的图像编辑能力。训练和推理均在本地完成,不需要使用云端算力。
Skill简介
这一流程由我们精心设计的面向Intel AI PC的Qwen-Image-Edit微调Skill套件(qwen-image-finetune/skills at main · tsiendragon/qwen-image-finetune · GitHub)提供支持。如果将AI Agent视作具体的执行者,那么Skill就是指导其运行的操作步骤与检查标准。这套Skill用于指导AI Agent完成Qwen-Image-Edit的微调任务,覆盖环境检查、数据准备、代码适配、显存优化、模型训练和结果验证等环节,每个环节都设置了对应的通过条件。Agent读取Skill后,会按照既定顺序执行任务,并在推进下一阶段前检查当前结果是否满足要求。用户只需要描述微调目标,Agent就可以自动加载Skill来完成后续操作。整个过程不需要手动编写训练代码,也不需要逐项查找配置文档,从而降低在本地设备上进行模型微调的操作成本。
下面进入实际操作。我们先准备微调所需的代码仓库和Skill,再让Agent按照Skill完成环境配置和后续训练等任务。
1. 获取代码仓库
第一步,将Qwen-Image-Edit的基础微调框架(基于CUDA)克隆到AI PC本地。
在工作目录中打开CMD(命令提示符),然后依次运行以下三条命令:
git clone --no-checkout https://github.com/tsiendragon/qwen-image-finetune
cd qwen-image-finetune
git checkout main -- . ":(exclude)docs/plan/v1.6.0:sampling_during_train.md" ":(exclude)tests/src/trainer/ /"
完成上述操作后,基础微调框架的代码仓库就准备好了。接下来可以配置并加载Skill进行进一步的Intel XPU适配、优化和执行。
2. 安装并加载Skill
Skill(通常由SKILL.md及配套文件组成)是一套规范了任务执行步骤、工具调用时机以及流程控制逻辑的操作指南。我们本次使用的这套Skill,已将环境准备、QLoRA微调及本地推理验证等繁琐流程全部梳理并转化为标准化的执行流程。这套Skill本身不限定具体的Agent,本文将以Claude Code为例,演示如何加载它并由其主导后续的微调流程(请注意,不同的Agent可能会有不同的Skill加载方式,详情请参考对应Agent文档)。
配置Skill目录
在此前克隆的qwen-image-finetune代码仓库的根目录下,.claude文件夹中已经附上了面向Intel AI PC的Qwen-Image-Edit微调Skill套件。请注意,如果使用不同的Agent,需要下载本文提供的Skill包,并按照Agent要求的方式进行加载。
针对Claude Code,加载Skill套件的目录结构如下所示:
qwen-image-finetune/
└──.claude/
└──skills/
├── qwen-image-edit-aipc-finetune-01-preflight/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-02-dataset/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-03-env-setup/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-04-config/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-05-adaptation/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-06-quantize/
│ └── SKILL.md
├── qwen-image-edit-aipc-finetune-07-training/
│ └── SKILL.md
└── qwen-image-edit-aipc-finetune-08-validation/
└── SKILL.md
启动Cladue Code
在qwen-image-finetune项目根目录中打开终端,运行以下命令:
D:\your\path\to\qwen-image-finetune> claude
启动后,Claude Code会以当前项目目录作为工作上下文,并自动识别.claude/skills/目录中的Skill。
检查加载结果
进入交互界面后,输入正斜杠/查看当前可用的命令和Skill。

图1.输入斜杠/快速预览支持的命令和已有的skills
也可以通过输入/skills命令(不同Agent平台,命令可能略有差异),检查对应Skill能否正常调用。
确认8个Skill均可用后,就可以向Agent提交微调任务了。

图2.输入/skills命令查看现有所有skills
3. 实践流程
运行环境
| 硬件平台 | 处理器:Intel Core Ultra 7 258V 显卡:Intel Arc 140V集成显卡 内存:32GB统一内存(XPU默认分配约18G共享显存,可通过注册表自由调整显存大小) 操作系统:Windows 11 |
| AI Agent | Claude Sonnet5( Claude Code CLI工具 ) |
提交微调任务
Claude Code支持自动调用和手动调用Skill。任务可以通过自然语言直接描述,由Claude Code根据任务内容选择对应的Skill;也可以通过斜杠命令明确指定调用入口。
方式一:手动指定Skill
如果希望从环境检查阶段开始执行,可以输入:
/qwen-image-edit-aipc-finetune-01-preflight
我想在Intel AI PC上微调Qwen-Image-Edit。请从环境检查开始,按照Skill定义的顺序执行后续步骤。
提交指令后,Claude Code将调用预检Skill,从环境检查阶段开始执行。
方式二:直接描述任务
或者,直接通过自然语言下达任务指令:
我想在Intel AI PC上微调Qwen-Image-Edit。请从第一步开始,依次完成环境检查、数据准备、配置、训练和结果验证。
Claude Code会根据任务描述匹配相关Skill。Skill能否自动触发,取决于任务描述与SKILL.md头部功能描述的匹配程度。
本文采用第一种方式,从01-preflight Skill开始执行整个流程。

图3.输入提交微调任务提示词
01-Preflight(环境预检)
微调开始前,Agent会调用qwen-image-edit-aipc-finetune-01-preflight Skill,对当前设备和软件环境进行检查,主要包括:
- Intel GPU驱动是否满足要求
- Python及相关依赖是否已经安装
- Qwen-Image-Edit模型文件是否准备完成
- 当前可用内存/显存是否满足训练要求
- 系统配置是否符合后续步骤的运行条件
Agent会根据Skill定义的检查标准逐项验证,并记录每项检查的结果。只有当前阶段通过检查后,流程才会进入下一步。如果某项检查未通过,Agent会暂停当前流程,说明检测到的问题,并给出相应的处理建议。例如,缺少必要的软件依赖时,Agent会提示需要安装的组件;可用显存不足时,Agent会提示用户检查注册表配置等。部分系统操作需要由用户手动完成。处理完成后,用户可以通知Agent重新检查。对应项目通过验证后,Agent会继续执行后续步骤,无需重新开始整个流程。

图4. Agent Preflight的各项前置准备以及需要用户自行确认的事项
02-dataset(数据准备)
环境预检通过后,Agent会进入数据准备阶段。训练数据支持以下两种提供方式:
- 使用本地数据集:将准备好的图像及编辑指令整理到指定目录,并将数据集路径提供给Agent。
- 使用指定数据集:提供公开数据集的名称或链接,由Agent完成下载和格式整理。
本次实践使用的数据集是showlab/OmniConsistency数据集中的Van_Gogh子集。OmniConsistency数据集覆盖22种艺术风格,每种风格分别组成一个子集。Van_Gogh子集收录了113组梵高风格的图像样本。每组样本均包含原始图像、梵高风格图像和对应的编辑指令,整理为训练所需的格式后,即可用于Qwen-Image-Edit微调。
将数据集路径提交给Agent后,它会检查文件结构、命名和样本对应关系,并划分训练集与验证集。整理后的每组样本包含原始图像、目标风格图像和对应的编辑提示词。Agent确认数据结构和划分结果符合要求后,流程进入下一阶段。
以下是本次实践中数据下载并调整完成后的目录结构:
D:\repo\Data
├── test_dataset
│ ├── control_images
│ │ └── sample01.jpg ... sample05.jpg (5张)
│ └── training_images
│ └── sample01.jpg/.txt ... sample05.jpg/.txt (5对)
└── train_dataset
├── control_images
│ └── sample_000.png ... sample_034.png (35张)
└── training_images
└── sample_000.png/.txt ... sample_034.png/.txt (35对)
本次实践从Van_Gogh子集中选取35对样本用于训练,另选5对样本用于验证。这里的样本数量是为了控制本地实验耗时而采用的测试配置,并不代表推荐值。实际使用时,需要根据训练结果调整数据量、训练步数和其他参数。
03-env-setup(训练环境配置)
数据集检查通过后,Agent会根据环境预检阶段获取的信息,为当前设备配置Python训练环境。这套环境只需在同一台设备上配置一次,后续训练可以直接复用。
Agent将依次完成以下操作:
- 创建Conda环境。
- 根据训练设备的oneAPI版本安装对应的torch和torchvision依赖。
- 安装其他项目依赖。
- 初始化当前终端中的oneAPI环境。
- 检查XPU及关键软件组件是否可以正常使用。
环境配置完成后,Agent会检查:torch.xpu能否识别当前GPU、PyTorch版本是否支持XPU、bitsandbytes版本是否正确等;只有检查全部通过,Agent才会进入下一阶段。如果检查出现问题,Agent会自动定位原因并处理。例如,PyTorch安装成CPU版本时,它会重新安装XPU版本;bitsandbytes无法加载XPU后端时,它会检查并修正依赖版本。
04-config(生成训练配置)
环境配置完成后,Agent会结合模型类型、硬件信息和数据集特征等生成训练配置。
首先,Agent读取模型目录中的model_index.json,确定应使用QwenImageEdit还是QwenImageEditPlus Trainer。随后,它会获取当前设备的XPU和内存/显存信息,并分析数据集的图像尺寸与宽高比。完成这些检查后,Agent会根据当前情况生成对应的训练配置文件。配置采用NF4 QLoRA方案,并根据数据集的实际尺寸设置训练中图片的尺寸信息。模型路径、数据集路径、输出目录和缓存目录等本机相关信息也会写入配置。最后,Agent会检查Trainer、缓存设置和训练参数等是否符合要求。检查结果均无误后,流程才会进入下一阶段。
05-adaptation(框架适配)
原始训练框架主要是面向CUDA实现的,无法直接在Intel XPU环境中运行。进入这一阶段后,Agent会根据Skill中的适配规则修改框架源码,补齐XPU和NF4 QLoRA所需的支持以及进行一系列优化。
Agent完成修改后,会先执行模块导入测试,检查是否存在语法错误或无效引用,再根据Skill的要求检查必要的适配项。检查结果显示PASS且相关警告项处理完成后,流程会进入下一阶段。(如果代码仓库此前已经完成过适配,Agent也会先运行检查脚本,避免重复修改。)
06-quantize(NF4预量化)
预量化并非必需,其适用性取决于设备内存和计划执行的训练次数。本文使用32GB AI PC,Agent会倾向于预先将DiT(transformer)和Text Encoder量化为NF4格式并保存到本地,供后续训练直接加载。

图5.Agent会根据AI PC实际配置选择执行预量化
量化完成后,Agent会检查输出目录中的模型文件和量化配置,并将对应路径写入训练配置文件:

图6.第六步执行后,预量化模型持久化保存至磁盘
07-training(缓存与训练)
完成环境配置、框架适配和模型量化后,Agent会开始执行微调流程。整个流程分为缓存构建和模型训练两部分,从而对显存占用进行优化。
缓存构建
Agent首先调用Text Encoder和VAE处理所有训练样本,生成各训练样本的中间特征,并将这些中间特征保存到磁盘。

图7.预处理阶段的数据缓存构建
缓存构建完成后,流程进入模型训练部分。
模型训练
QLoRA微调正式启动。此时,系统将直接从磁盘读取预存的中间特征至XPU参与后续计算。由于无需重复加载Text Encoder,从而能够腾出显存资源,为DiT、LoRA适配器及优化器等核心模块留出更充裕的显存空间。
正式训练前,Agent会先运行一个短流程测试,将训练步数和检查点保存间隔设置为较小的数值。这个测试用于确认训练能够在XPU上正常运行,可以按设定步数停止,并且能够正确保存LoRA检查点。提前完成这些检查,可以避免长时间训练后才发现配置或框架适配问题。短流程测试通过后,Agent将恢复正式参数,启动完整训练流程。
训练过程中,可以通过Agent查看损失曲线,判断模型的学习情况,并监控XPU内存是否保持稳定。框架会按照设定间隔保存LoRA检查点。如果训练意外中断,可以从包含完整训练状态的检查点恢复并继续执行。

图8.训练过程中,可查看任务管理器中的GPU和显存占用情况,确认训练是否正常进行
训练完成后,可前往项目目录查看训练产物和训练缓存。
08-validation(效果验证)
训练完成后,Agent会进入效果验证阶段。验证的重点不仅要确认推理程序能否正常运行,还要判断模型是否学到了预期的图像编辑能力。
Agent使用预留的测试集分别执行两次推理:
- 使用基础模型推理,生成结果。
- 加载训练后的LoRA权重的模型,推理再次生成结果。
两次推理使用相同的输入图像、编辑指令、推理参数等,结果分别保存到base和lora目录中,便于逐组比较。
实测结果对比
本次推理采用20步生成配置:DiT以NF4量化形式运行在XPU上,Text Encoder使用 BF16精度运行在CPU上,VAE则以BF16精度运行在XPU。Agent会根据用户需求以及设备情况动态选择推理配置。
在这一次实践尝试中,我们在微调完成后,加载了第1600步的LoRA适配器权重,并在20步推理配置下做了图像编辑测试。在大约35对训练样本、1600步训练的条件下,模型已经开始表现出比较明显的风格迁移效果:

附:相同训练配置下与相同主数据集showlab/OmniConsistency,另一风格子集ghibli_style的实测结果如下:

从本次本地微调的结果来看,模型已经表现出一定的目标风格迁移能力。若要进一步提升生成质量,可以从训练和推理两个方面继续调整。训练阶段可增加高质量样本,并优化QLoRA训练配置,以提高风格表现的一致性;推理阶段可适当调整采样步数和运行精度,改善画面细节。在AI PC上进行此类优化时,需要综合考虑生成速度、内存占用和画面质量,并结合实际应用需求,在Agent和Skill的辅助下调整相关参数。
实践中使用的工具与数据
Skill套件:qwen-image-finetune/skills at main · tsiendragon/qwen-image-finetune · GitHub基础微调框架:
GitHub - tsiendragon/qwen-image-finetune: Repo for Qwen Image Finetune · GitHub
基础模型:
https://huggingface.co/Qwen/Qwen-Image-Edit-2511
微调数据:
https://huggingface.co/datasets/showlab/OmniConsistency(Van_Gogh子集)
4. 总结
本文展示了如何通过Agent Skill,在Intel AI PC上完成Qwen-Image-Edit的QLoRA微调全流程。整个流程覆盖环境检查、数据准备、代码适配、内存优化、模型训练和结果验证。同时,该套Skill内置了故障排查能力,能够对常见报错和配置问题进行自动识别与处理,让整个过程更加顺畅。
更多推荐



所有评论(0)