iOS 利用 Metal 实现滤镜与动效滤镜
Harbeth 是 Apple 的 Metal 框架上的一小部分实用程序和扩展,致力于使您的 Swift GPU 代码更加简洁,让您更快地构建管道原型。本文就来介绍与设计基于GPU的滤镜,图形处理和滤镜制作…👒👒👒
功能清单
🟣 目前,Metal Moudle 最重要的特点可以总结如下:
-
支持运算符函数式操作
-
支持快速设计滤镜
-
支持输出源的快速扩展
-
支持相机采集特效
-
支持矩阵卷积
-
滤镜部分大致分为以下几个模块:
- Blend:图像融合技术
- Blur:模糊效果
- ColorProcess:图像的基本像素颜色处理
- Effect:效果处理
- Lookup:查找表过滤器
- Matrix: 矩阵卷积滤波器
- Shape:图像形状大小相关
- VisualEffect: 视觉动态特效
-
总结下来目前共有
100+
种滤镜供您使用。
- 代码零侵入注入滤镜功能,
原始代码:
ImageView.image = originImage注入滤镜代码:
let filter = C7ColorMatrix4x4(matrix: Matrix4x4.sepia)
ImageView.image = try? originImage.make(filter: filter)
- 相机采集生成图片
注入边缘检测滤镜
var filter = C7EdgeGlow()
filter.lineColor = UIColor.blue生成相机采集器
let collector = C7FilterCollector(callback: {self.ImageView.image = $0
})
collector.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720
collector.filter = filter
ImageView.layer.addSublayer(collector)
主要部分
-
核心,基础核心板块
- C7FilterProtocol:滤镜设计必须遵循此协议。
- modifier:编码器类型和对应的函数名称。
- factors:设置修改参数因子,需要转换为
Float
。 - otherInputTextures:多个输入源,包含
MTLTexture
的数组 - outputSize:更改输出图像的大小。
- C7FilterProtocol:滤镜设计必须遵循此协议。
-
输出,输出板块
- C7FilterOutput:输出内容协议,所有输出都必须实现该协议。
- make:根据滤镜处理生成数据。
- makeGroup:多个滤镜组合,请注意滤镜添加的顺序可能会影响图像生成的结果。
- C7FilterImage:基于C7FilterOutput的图像输入源,以下模式仅支持基于并行计算的编码器。
- C7FilterTexture: 基于C7FilterOutput的纹理输入源,输入纹理转换成滤镜处理纹理。
- C7FilterOutput:输出内容协议,所有输出都必须实现该协议。
设计滤镜
- 下面我们就第一款滤镜来分享一下如何设计处理
- 实现协议
C7FilterProtocal
public protocol C7FilterProtocol {/// 编码器类型和对应的函数名////// 计算需要对应的`kernel`函数名/// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名var modifier: Modifier { get }/// 制作缓冲区/// 设置修改参数因子,需要转换为`Float`。var factors: [Float] { get }/// 多输入源扩展/// 包含 `MTLTexture` 的数组var otherInputTextures: C7InputTextures { get }/// 改变输出图像的大小func outputSize(input size:C7Size)-> C7Size
}
- 编写基于并行计算的核函数着色器。
- 配置传递参数因子,仅支持
Float
类型。 - 配置额外的所需纹理。
举个例子
设计一款灵魂出窍滤镜,
public struct C7SoulOut: C7FilterProtocol {/// The adjusted soul, from 0.0 to 1.0, with a default of 0.5public var soul: Float = 0.5public var maxScale: Float = 1.5public var maxAlpha: Float = 0.5public var modifier: Modifier {return .compute(kernel: "C7SoulOut")}public var factors: [Float] {return [soul, maxScale, maxAlpha]}public init() { }
}
-
此过滤器需要三个参数:
soul
:调整后的灵魂,从 0.0 到 1.0,默认为 0.5maxScale
:最大灵魂比例maxAlpha
:最大灵魂的透明度
-
编写基于并行计算内核函数
kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],texture2d<half, access::sample> inputTexture [[texture(1)]],constant float *soulPointer [[buffer(0)]],constant float *maxScalePointer [[buffer(1)]],constant float *maxAlphaPointer [[buffer(2)]],uint2 grid [[thread_position_in_grid]]) {constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);const half4 inColor = inputTexture.read(grid);const float x = float(grid.x) / outputTexture.get_width();const float y = float(grid.y) / outputTexture.get_height();const half soul = half(*soulPointer);const half maxScale = half(*maxScalePointer);const half maxAlpha = half(*maxAlphaPointer);const half alpha = maxAlpha * (1.0h - soul);const half scale = 1.0h + (maxScale - 1.0h) * soul;const half soulX = 0.5h + (x - 0.5h) / scale;const half soulY = 0.5h + (y - 0.5h) / scale;const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;outputTexture.write(outColor, grid);
}
- 简单使用,由于我这边设计的是基于并行计算管道,所以可以直接生成图片
var filter = C7SoulOut()
filter.soul = 0.5
filter.maxScale = 2.0/// 直接显示在ImageView
ImageView.image = try? originImage.makeImage(filter: filter)
- 至于上面的动效也很简单,添加一个计时器,然后改变
soul
值就完事,简单嘛。
高级用法
- 运算符链式处理
/// 1.转换成BGRA
let filter1 = C7Color2(with: .color2BGRA)/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8/// 3.调整白平衡
var filter3 = C7WhiteBalance()
filter3.temperature = 5555/// 4.调整高光阴影
var filter4 = C7HighlightShadow()
filter4.shadows = 0.4
filter4.highlights = 0.5/// 5.组合操作
let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)
let result = AT ->> filter1 ->> filter2 ->> filter3 ->> filter4/// 6.获取结果
filterImageView.image = result.outputImage()
- 批量操作处理
/// 1.转换成RBGA
let filter1 = C7Color2(with: .color2RBGA)/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8/// 3.配置灵魂效果
var filter3 = C7SoulOut()
filter3.soul = 0.7/// 4.组合操作
let group: [C7FilterProtocol] = [filter1, filter2, filter3]/// 5.获取结果
filterImageView.image = try? originImage.makeGroup(filters: group)
两种方式都可以处理多滤镜方案,怎么选择就看你心情。✌️
CocoaPods
- 如果要导入 Metal 模块,则需要在 Podfile 中:
pod 'Harbeth'
- 如果要导入 OpenCV 图像模块,则需要在 Podfile 中:
pod 'OpencvQueen'
效果图
- 来一波部分展示效果图:
最后
- 关于滤镜框架介绍与设计到此为止吧。
- 慢慢再补充其他相关滤镜,喜欢就给我点个星🌟吧。
- 滤镜Demo地址,目前包含
100+
种滤镜,同时也支持CoreImage混合使用。 - 再附上一个开发加速库KJCategoriesDemo地址
- 再附上一个网络基础库RxNetworksDemo地址
- 喜欢的老板们可以点个星🌟,谢谢各位老板!!!
✌️.
iOS 利用 Metal 实现滤镜与动效滤镜
Harbeth 是 Apple 的 Metal 框架上的一小部分实用程序和扩展,致力于使您的 Swift GPU 代码更加简洁,让您更快地构建管道原型。本文就来介绍与设计基于GPU的滤镜,图形处理和滤镜制作…👒👒👒
功能清单
🟣 目前,Metal Moudle 最重要的特点可以总结如下:
-
支持运算符函数式操作
-
支持快速设计滤镜
-
支持输出源的快速扩展
-
支持相机采集特效
-
支持矩阵卷积
-
滤镜部分大致分为以下几个模块:
- Blend:图像融合技术
- Blur:模糊效果
- ColorProcess:图像的基本像素颜色处理
- Effect:效果处理
- Lookup:查找表过滤器
- Matrix: 矩阵卷积滤波器
- Shape:图像形状大小相关
- VisualEffect: 视觉动态特效
-
总结下来目前共有
100+
种滤镜供您使用。
- 代码零侵入注入滤镜功能,
原始代码:
ImageView.image = originImage注入滤镜代码:
let filter = C7ColorMatrix4x4(matrix: Matrix4x4.sepia)
ImageView.image = try? originImage.make(filter: filter)
- 相机采集生成图片
注入边缘检测滤镜
var filter = C7EdgeGlow()
filter.lineColor = UIColor.blue生成相机采集器
let collector = C7FilterCollector(callback: {self.ImageView.image = $0
})
collector.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720
collector.filter = filter
ImageView.layer.addSublayer(collector)
主要部分
-
核心,基础核心板块
- C7FilterProtocol:滤镜设计必须遵循此协议。
- modifier:编码器类型和对应的函数名称。
- factors:设置修改参数因子,需要转换为
Float
。 - otherInputTextures:多个输入源,包含
MTLTexture
的数组 - outputSize:更改输出图像的大小。
- C7FilterProtocol:滤镜设计必须遵循此协议。
-
输出,输出板块
- C7FilterOutput:输出内容协议,所有输出都必须实现该协议。
- make:根据滤镜处理生成数据。
- makeGroup:多个滤镜组合,请注意滤镜添加的顺序可能会影响图像生成的结果。
- C7FilterImage:基于C7FilterOutput的图像输入源,以下模式仅支持基于并行计算的编码器。
- C7FilterTexture: 基于C7FilterOutput的纹理输入源,输入纹理转换成滤镜处理纹理。
- C7FilterOutput:输出内容协议,所有输出都必须实现该协议。
设计滤镜
- 下面我们就第一款滤镜来分享一下如何设计处理
- 实现协议
C7FilterProtocal
public protocol C7FilterProtocol {/// 编码器类型和对应的函数名////// 计算需要对应的`kernel`函数名/// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名var modifier: Modifier { get }/// 制作缓冲区/// 设置修改参数因子,需要转换为`Float`。var factors: [Float] { get }/// 多输入源扩展/// 包含 `MTLTexture` 的数组var otherInputTextures: C7InputTextures { get }/// 改变输出图像的大小func outputSize(input size:C7Size)-> C7Size
}
- 编写基于并行计算的核函数着色器。
- 配置传递参数因子,仅支持
Float
类型。 - 配置额外的所需纹理。
举个例子
设计一款灵魂出窍滤镜,
public struct C7SoulOut: C7FilterProtocol {/// The adjusted soul, from 0.0 to 1.0, with a default of 0.5public var soul: Float = 0.5public var maxScale: Float = 1.5public var maxAlpha: Float = 0.5public var modifier: Modifier {return .compute(kernel: "C7SoulOut")}public var factors: [Float] {return [soul, maxScale, maxAlpha]}public init() { }
}
-
此过滤器需要三个参数:
soul
:调整后的灵魂,从 0.0 到 1.0,默认为 0.5maxScale
:最大灵魂比例maxAlpha
:最大灵魂的透明度
-
编写基于并行计算内核函数
kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],texture2d<half, access::sample> inputTexture [[texture(1)]],constant float *soulPointer [[buffer(0)]],constant float *maxScalePointer [[buffer(1)]],constant float *maxAlphaPointer [[buffer(2)]],uint2 grid [[thread_position_in_grid]]) {constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);const half4 inColor = inputTexture.read(grid);const float x = float(grid.x) / outputTexture.get_width();const float y = float(grid.y) / outputTexture.get_height();const half soul = half(*soulPointer);const half maxScale = half(*maxScalePointer);const half maxAlpha = half(*maxAlphaPointer);const half alpha = maxAlpha * (1.0h - soul);const half scale = 1.0h + (maxScale - 1.0h) * soul;const half soulX = 0.5h + (x - 0.5h) / scale;const half soulY = 0.5h + (y - 0.5h) / scale;const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;outputTexture.write(outColor, grid);
}
- 简单使用,由于我这边设计的是基于并行计算管道,所以可以直接生成图片
var filter = C7SoulOut()
filter.soul = 0.5
filter.maxScale = 2.0/// 直接显示在ImageView
ImageView.image = try? originImage.makeImage(filter: filter)
- 至于上面的动效也很简单,添加一个计时器,然后改变
soul
值就完事,简单嘛。
高级用法
- 运算符链式处理
/// 1.转换成BGRA
let filter1 = C7Color2(with: .color2BGRA)/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8/// 3.调整白平衡
var filter3 = C7WhiteBalance()
filter3.temperature = 5555/// 4.调整高光阴影
var filter4 = C7HighlightShadow()
filter4.shadows = 0.4
filter4.highlights = 0.5/// 5.组合操作
let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)
let result = AT ->> filter1 ->> filter2 ->> filter3 ->> filter4/// 6.获取结果
filterImageView.image = result.outputImage()
- 批量操作处理
/// 1.转换成RBGA
let filter1 = C7Color2(with: .color2RBGA)/// 2.调整颗粒度
var filter2 = C7Granularity()
filter2.grain = 0.8/// 3.配置灵魂效果
var filter3 = C7SoulOut()
filter3.soul = 0.7/// 4.组合操作
let group: [C7FilterProtocol] = [filter1, filter2, filter3]/// 5.获取结果
filterImageView.image = try? originImage.makeGroup(filters: group)
两种方式都可以处理多滤镜方案,怎么选择就看你心情。✌️
CocoaPods
- 如果要导入 Metal 模块,则需要在 Podfile 中:
pod 'Harbeth'
- 如果要导入 OpenCV 图像模块,则需要在 Podfile 中:
pod 'OpencvQueen'
效果图
- 来一波部分展示效果图:
最后
- 关于滤镜框架介绍与设计到此为止吧。
- 慢慢再补充其他相关滤镜,喜欢就给我点个星🌟吧。
- 滤镜Demo地址,目前包含
100+
种滤镜,同时也支持CoreImage混合使用。 - 再附上一个开发加速库KJCategoriesDemo地址
- 再附上一个网络基础库RxNetworksDemo地址
- 喜欢的老板们可以点个星🌟,谢谢各位老板!!!
✌️.