草庐IT

ios - Objective-C中基于触摸的图像处理

coder 2024-01-12 原文

好的，我正在构建这个应用程序，它可以在iPhone / iPad中进行一些用户交互式图像操作。
这基本上是一种与触摸有关的功能，可以根据触摸对任何图像进行重塑。在应用程序Facetune中可以找到非常相似的内容。

我的算法需要根据触摸运动来计算控制点。然后基于这些控制点，我将生成一个用于对图像进行插值的结果网格。我的整个方法工作正常。唯一的问题是实时性很慢。我在用

dispatch_async(dispatch_get_main_queue(), ^{

在触摸移动功能，但仍然很慢。将图像重新缩放至约360 *可以加快处理速度，但会降低图像质量。

我的触摸移动代码是:
- (void)updateImage
{
    int bytesPerRow = CGImageGetBytesPerRow([staticBG.image CGImage]);
    int height = CGImageGetHeight([staticBG.image CGImage]);
    int width = CGImageGetWidth([staticBG.image CGImage]);
    CFDataRef pixelData = CGDataProviderCopyData(CGImageGetDataProvider([staticBG.image CGImage]));
    unsigned char *baseImage = (unsigned char *)CFDataGetBytePtr(pixelData);

    unsigned char *output_image;
    output_image = [self wrappingInterpolation :baseImage :orig :changed :width :height :bytesPerRow];

    CGColorSpaceRef colorSpaceRef = CGColorSpaceCreateDeviceRGB();
    CGBitmapInfo bitmapInfo = kCGBitmapByteOrderDefault | kCGImageAlphaPremultipliedLast;
    CGContextRef context = CGBitmapContextCreate(output_image, width, height, 8, bytesPerRow, colorSpaceRef, bitmapInfo);
    CGImageRef imageRef = CGBitmapContextCreateImage (context);
    UIImage *newimage = [UIImage imageWithCGImage:imageRef];
    CGColorSpaceRelease(colorSpaceRef);
    CGContextRelease(context);
    CFRelease(imageRef);

    free(output_image);
    resultView.image = newimage;
    //staticBG.hidden = YES;
}

wrapInterpolation方法对图像像素进行实际的图像处理，该方法经过高度优化，可以实时运行。 orig和更改的参数只是两个float * float matix，它具有我需要的控制点。我在这里看到固定的开销，它每次都从UIImage获取像素数据，然后创建CGImageRef，CGCOntextRef，ColorSpaceRef等。然后再次释放它。
无论如何，我可以优化这些？
如果可能，建议任何其他可能的提速方法。但是我真的对OpenGL或着色器一无所知，因此我可能无法通过着色器来完成这些工作。

最佳答案

没错，瓶颈在于内存管理。

当您将原始位图数据提取到CFDataRef pixelData上时，您将解压缩完整图像并将其完全复制。然后，插值例程再次创建详细的数据副本并将其存储到output_image中。
然后释放两次内存，一次释放通过属性分配释放的旧映像，一次释放free(...)命令。

就数字而言:iPhone 5可以3264x2448的分辨率拍摄照片，这意味着22MB的RGB格式(每通道8b)，是包装程序的两倍。并且这种双重分配和双重复制(以及双重释放)以触发事件的速率发生。您还必须添加例程用于处理输入数据的时间:在每个像素上循环意味着在8MP图像中进行800万次迭代。这无疑需要大量的计算能力。

请注意，您要实现的目标在某种程度上类似于实时视频/图像处理。至于视频处理，则应采用特定的技术。 OpenGL确实是您最好的选择，但是需要更多的努力。一些基本的建议可能是

  • 避免分配两次:因为您已经在复制数据，所以如果您的算法允许就地转换，则直接在baseImage上工作。
  • 缓存图像数据:并非每次都提取位图数据。如果您的算法“可加”地工作，请保留相同的CFDataRef并每次对其进行处理。

    在您的例程中，始终将staticBG用作输入数据:这表明算法始终会更改基本图像。您可以一次全部缓存原始图像数据。
  • 避免包装在UIImage中:CALayer具有有用的属性contents，可以将其设置为CGImageRef来显示内容。另外，您正在做的事情与动画有关，因此您确实可以删除UI内容并在CA级别上工作，这更加灵活(而且速度更快)。参见Apple's documentation。
  • 如果确实必须使用中间存储器，则重用相同的存储器并复制到其上:图像的大小可能不会改变，并且至少可以节省分配时间。
  • 预渲染最终结果:实际上，您可以按照屏幕的大小工作，并存储制作完整尺寸图像所需的信息。然后，在后续阶段中进行操作。

    • 这些建议可以避免所有不必要的分配，如果您的算法不具有累加性或无法就地运行，那么剩下的只是复制操作。有关算法的一些建议(您可能已经实现):
  • 尽可能处理数据。
  • 仅在实际上将要修改的像素上循环。
  • 仅复制您需要处理的数据。
  • 如果可以，将像素视为向量并使用优化的函数。看看Accelerate framework。有许多例程可以直接在图像上工作。
  • 尽可能使用Quartz 2D。


    • 不过，最好的建议是:切换到OpenGL 。即使在最佳情况下，您仍然有一个问题:无法避免的对CGBitmapContextCreateImage的调用。 Documentation说您的数据是由CoreGraphics复制的:这意味着每一帧至少需要一个完整的数据副本。据我所知，您不能实时修改正在显示的缓冲区。最好的近似值是由OpenGL提供的，它几乎在硬件级别运行，并写入缓冲区，该缓冲区直接冲入由CoreAnimation显示的EAGLContext中。

    这是一种非常不同的方法，但是非常快。某些视觉效果(如高斯模糊)需要大量功能，但需要在OpenGL下实时运行。您可以开始看这个GLImageProcessing，这是一个非常有趣的光栅图像处理示例。此外，OpenGL也非常适合图像变形:您可以在平面网格上将图像显示为纹理，然后使其变形。

    关于ios - Objective-C中基于触摸的图像处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19972026/

    中基Objective-Ccodestrong的iosiphoneimage-processingtouch

    有关ios - Objective-C中基于触摸的图像处理的更多相关文章

    1. ruby - 如何指定 Rack 处理程序 - 2

      Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

    2. ruby - 如何验证 IO.copy_stream 是否成功 - 2

      这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下

    3. Ruby 文件 IO 定界符？ - 2

      我正在尝试解析一个文本文件，该文件每行包含可变数量的单词和数字，如下所示:foo4.500bar3.001.33foobar如何读取由空格而不是换行符分隔的文件？有什么方法可以设置File("file.txt").foreach方法以使用空格而不是换行符作为分隔符？ 最佳答案 接受的答案将slurp文件，这可能是大文本文件的问题。更好的解决方案是IO.foreach.它是惯用的，将按字符流式传输文件:File.foreach(filename,""){|string|putsstring}包含“thisisanexample”结果的

    4. ruby-on-rails - 添加回形针新样式不影响旧上传的图像 - 2

      我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在，我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式？我不这么认为……或者有什么rake任务可以重新生成样式吗？ 最佳答案 参见Thumbnail-Generation.如果rake任务不适合你，你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司

    5. Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting - 2

      1.错误信息：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因：docker使用的镜像网址默认为国外，下载容易超时，需要修改成国内镜像地址（首先阿里

    6. ruby-on-rails - 在 Ruby (on Rails) 中使用 imgur API 获取图像 - 2

      我正在尝试使用Ruby2.0.0和Rails4.0.0提供的API从imgur中提取图像。我已尝试按照Ruby2.0.0文档中列出的各种方式构建http请求，但均无济于事。代码如下:require'net/http'require'net/https'defimgurheaders={"Authorization"=>"Client-ID"+my_client_id}path="/3/gallery/image/#{img_id}.json"uri=URI("https://api.imgur.com"+path)request,data=Net::HTTP::Get.new(path

    7. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

      2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

    8. objective-c - 在设置 Cocoa Pods 和安装 Ruby 更新时出错 - 2

      我正在尝试为我的iOS应用程序设置cocoapods但是当我执行命令时:sudogemupdate--system我收到错误消息:当前已安装最新版本。中止。当我进入cocoapods的下一步时:sudogeminstallcocoapods我在MacOS10.8.5上遇到错误:ERROR:Errorinstallingcocoapods:cocoapods-trunkrequiresRubyversion>=2.0.0.我在MacOS10.9.4上尝试了同样的操作，但出现错误:ERROR:Couldnotfindavalidgem'cocoapods'(>=0),hereiswhy:U

    9. ruby - 是否有将图像文件转换为 ASCII 艺术的命令行程序或库？ - 2

      有这样的事吗？我想在Ruby程序中使用它。 最佳答案 试试这个http://csl.sublevel3.org/jp2a/此外，Imagemagick可能还有一些东西 关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/6510445/

    10. ruby-on-rails - 使用 Dragonfly 从 URL 分配图像 - 2

      我正在使用Dragonfly在Rails3.1应用程序上处理图像。我正在努力通过url将图像分配给模型。我有一个很好的表格:{:multipart=>true}do|f|%>RemovePicture?Dragonfly的文档指出:Dragonfly提供了一个直接从url分配的访问器:@album.cover_image_url='http://some.url/file.jpg'但是当我在控制台中尝试时:=>#ruby-1.9.2-p290>picture.image_url="http://i.imgur.com/QQiMz.jpg"=>"http://i.imgur.com/QQ

    随机推荐