魅力太大，没有英灵的我只能亲自下场
在Stable Diffusion模式受欢迎之初，有人想将其移植到苹果M1 Mac、iPhone 14 Pro等设备上运行，传授教育。
然而，令人意外的是，前几天，苹果实际上结束了。 Step by step教我如何将Stable Diffusion模型直接转换为自己的iPhone、iPad和Mac可以运行的版本。
结果的例子如下所示。
在苹果设备上运行Stable Diffusion和Core ML diffusers生成的图像。 苹果在macOS 13.1和iOS 16.2上发布了针对Stable Diffusion的酷睿ml优化，并通过一个库详细说明了部署流程。
在3个苹果设备( M1 iPad Pro 8GB、M1 MacBook Pro 16GB、M2 MacBook Air 8GB )上的测试结果显示，苹果发布的相关优化基本上是最新版的stable diffusion ( SD 2.0 )
对于苹果的这一举动，很多人感叹，开源社区构建的模式好到大公司可以积极采用。 确实很棒。
此外，人们也开始猜测，未来苹果会不会直接将Stable Diffusion放入自己的设备中。
为什么要让 Stable Diffusion 可以在苹果设备上运行？
目录
为什么要让Stable Diffusion能够在苹果设备上运行？ 将项目介绍模型转换为酷睿ML版本用Python生成图像，用Swift生成图像性能基准测试。 自2022年8月首次上映以来，Stable Diffusion被艺术家、开发者、爱好者等充满活力的社区广泛采用，能够以最小的文本用prompt制作前所未有的视觉内容。 因此，社区在几周内围绕这一核心技术建立了包括扩展和工具在内的巨大生态系统。 Stable Diffusion现在已经个性化，可以扩展到英语以外的语言。 这多亏了像Hugging Face diffusers这样的开源项目。
除了使用文本prompt生成图像外，开发人员还发现了Stable Diffusion的其他创造性用途，包括图像编辑、修复、补充、分辨率提高和样式迁移。 随着stable diffusion APP应用的增加，要创建任何创造性的人都能使用的APP应用，开发人员有效利用该技术是非常重要的。
在所有APP应用中，模型在何处运行是Stable Diffusion的一个大问题。 在设备上部署Stable Diffusion比基于服务器的方法更可取，这有很多原因。 首先，用户作为模型输入的数据保留在用户自己的设备上，从而保护最终用户的隐私。
然后，在首次下载后，用户无需连接网络即可使用此模型。 最后，通过在本地部署该模型，开发人员可以减少或消除服务器的成本。
在设备上部署模型的一个核心挑战是生成结果的速度，因为在Stable Diffusion中生成大的结果需要长时间的迭代。 这需要执行一个复杂的过程，包括四个不同的神经网络，总共约12.75亿个参数。 有关如何优化此大小和复杂性模型以在Apple Neural Engine上运行的信息，请参见以前的文章“deployingtransformersontheappleneuralengine”。
文章deployingtransformersontheappleneuralengine的链接
上述概述的优化原则尽管比本文讨论的模型大18倍，但仍可以推广到Stable Diffusion。 通过为Stable Diffusion优化Core ML并简化模型转换，开发人员可以更轻松地以保护APP中隐私和经济性的方式利用该技术，从而优化Apple Silicon上的性能
此版本包括用于使用diffusers和Core MLtools将Stable Diffusion模型从PyTorch转换为coreml的Python软件包，以及用于部署模型的Swift软件包。 访问并启动Core ML Stable Diffusion代码存储库，以获取有关基准和部署的详细说明。
项目地址： https://github.com/apple/ml-stable-diffusion
项目介绍
整个代码库如下所示。
Python_Core ML_stable_diffusion，Python软件包。 将PyTorch模型转换为coreml格式，并使用python版本的Hugging Face diffusers执行图像生成。 Swift包StableDiffusion可以作为依赖包添加到Xcode项目中，并在APP应用程序中引入图像生成功能。 Swift软件包依赖于由python_Core ML_stable_diffusion生成的coreml模型文件。
将模型转换为Core ML版本
创建步骤 1：python环境并安装从属软件包：
步骤 2：通过登录或注册Hugging Face账户，生成用户访问权限，使用权杖在终端窗口运行huggingface-cli login，进行Hugging Face API访问
找到要在步骤 3：huggingfacehub上使用的Stable Diffusion版本，并同意使用条件。 默认模型版本为“CompVis/stable-diffusion-v1-4”。
步骤 4:从终端运行以下命令，生成Core ML模型文件. mlpackage
M1 MacBook Pro通常需要15-20分钟。 成功执行后，构成Stable Diffusion的四个神经网络模型从PyTorch转换为Core ML版. mlpackage，并保存在指定的output-mlpackages-directory中。
用 Python 产生图像
使用基于diffusers的示例Python管道执行文本到图像的生成。
使用 Swift 产生图像
要生成Swift项目，请执行以下操作：
macOS 13及更高版本安装了命令行工具Xcode 14.1及更高版本。 酷睿ml模型和令牌资源。 如果要将此模型部署到：
iPhone: iOS 16.2或更高版本和iPhone 12或更高版本iPad: iPadOS 16.2或更高版本和M1或更高版本Mac: macOS 13.1或更高版本以及M1或更高版本的Swift软件包包括StableDiffusion库和stablediffusioniong pating
性能基准测试
标准CompVis/stable-diffusion-v1-4基准测试。 这个基准测试是苹果公司于2022年11月使用iOS 16.2、iPadOS 16.2、macOS 13.1的公开测试版进行的。
对于Macintosh设备，所运行的程序是python_coreml_stable_diffusion。 对于iOS和ipad设备，有构建在可移植定义交换包中的最小的交换测试APP应用程序。
映像生成过程遵循标准配置。
50个推理步骤，512512的输出图像分辨率，77个文本token序列长度，无识别器引导( unet批量大小为2 )。
