我正在嘗試創建一個實時視頻處理應用程式，其中我需要獲取每一幀的所有像素的 RGBA 值，并使用外部庫處理它們，并顯示它們。我正在嘗試獲取每個像素的 RGBA 值，但是我這樣做的方式太慢了，我想知道是否有辦法使用VImage更快地完成它。這是我當前的代碼，以及在獲取當前幀時獲取所有像素的方式：
guard let cgImage = context.makeImage() else {
return nil
}
guard let data = cgImage.dataProvider?.data,
let bytes = CFDataGetBytePtr(data) else {
fatalError("Couldn't access image data")
}
assert(cgImage.colorSpace?.model == .rgb)
let bytesPerPixel = cgImage.bitsPerPixel / cgImage.bitsPerComponent
gp.async {
for y in 0 ..< cgImage.height {
for x in 0 ..< cgImage.width {
let offset = (y * cgImage.bytesPerRow) (x * bytesPerPixel)
let components = (r: bytes[offset], g: bytes[offset 1], b: bytes[offset 2])
print("[x:\(x), y:\(y)] \(components)")
}
print("---")
}
}
這是使用VImage的版本，但我有一些記憶體泄漏，我無法訪問像素
guard
let format = vImage_CGImageFormat(cgImage: cgImage),
var buffer = try? vImage_Buffer(cgImage: cgImage,
format: format) else {
exit(-1)
}
let rowStride = buffer.rowBytes / MemoryLayout<Pixel_8>.stride / format.componentCount
do {
let componentCount = format.componentCount
var argbSourcePlanarBuffers: [vImage_Buffer] = (0 ..< componentCount).map { _ in
guard let buffer1 = try? vImage_Buffer(width: Int(buffer.width),
height: Int(buffer.height),
bitsPerPixel: format.bitsPerComponent) else {
fatalError("Error creating source buffers.")
}
return buffer1
}
vImageConvert_ARGB8888toPlanar8(&buffer,
&argbSourcePlanarBuffers[0],
&argbSourcePlanarBuffers[1],
&argbSourcePlanarBuffers[2],
&argbSourcePlanarBuffers[3],
vImage_Flags(kvImageNoFlags))
let n = rowStride * Int(argbSourcePlanarBuffers[1].height) * format.componentCount
let start = buffer.data.assumingMemoryBound(to: Pixel_8.self)
var ptr = UnsafeBufferPointer(start: start, count: n)
print(Array(argbSourcePlanarBuffers)[1]) // prints the first 15 interleaved values
buffer.free()
}
uj5u.com熱心網友回復：
您可以訪問 vImage 緩沖區中的底層像素來執行此操作。
例如，給定一個名為 的影像cgImage，使用以下代碼填充 vImage 緩沖區：
guard
let format = vImage_CGImageFormat(cgImage: cgImage),
let buffer = try? vImage_Buffer(cgImage: cgImage,
format: format) else {
exit(-1)
}
let rowStride = buffer.rowBytes / MemoryLayout<Pixel_8>.stride / format.componentCount
請注意，vImage 緩沖區data可能比影像更寬（請參閱：https : //developer.apple.com/documentation/accelerate/finding_the_sharpest_image_in_a_sequence_of_captured_images），這就是我添加rowStride.
要將像素作為交錯值的單個緩沖區訪問，請使用：
do {
let n = rowStride * Int(buffer.height) * format.componentCount
let start = buffer.data.assumingMemoryBound(to: Pixel_8.self)
let ptr = UnsafeBufferPointer(start: start, count: n)
print(Array(ptr)[ 0 ... 15]) // prints the first 15 interleaved values
}
要將像素作為Pixel_8888值緩沖區訪問，請使用（確保format.componentCount是4：
do {
let n = rowStride * Int(buffer.height)
let start = buffer.data.assumingMemoryBound(to: Pixel_8888.self)
let ptr = UnsafeBufferPointer(start: start, count: n)
print(Array(ptr)[ 0 ... 3]) // prints the first 4 pixels
}
uj5u.com熱心網友回復：
這是最慢的方法。更快的方法是使用自定義 CoreImage 過濾器。
比撰寫自己的 OpenGL 著色器更快（或者更確切地說，它與當前設備的 Metal 等效）
我已經撰寫了 OpenGL 著色器，但還沒有使用過 Metal。
兩者都允許您撰寫直接在 GPU 上運行的圖形代碼。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/360522.html