草庐IT

iOS启动优化 —— LLVM编译流程 & Clang插件开发

Julday 2023-03-28 原文

1. LLVM

1.1 LLVM概述

LLVM是架构编译器的框架系统,以C++编写而成,用于优化任意程序语言编写的程序的编译时间(compile-time)链接时间(link-time)运行时间(run-time)以及空闲时间(idle-time)。对开发者保持开放,并兼容已有脚本。目前LLVM已经被苹果IOS开发工具,Xilinx Vivado, Facebook,Google等各大公司采用。

1.2 传统编译器设计

源码 Source Code + 前端 Frontend + 优化器 Optimizer + 后端 Backend(代码生成器 CodeGenerator)+ 机器码 Machine Code,如下图所示

  • 前端Frontend:负责解析源代码,它会进行:词法分析语法分析语义分析,检查源代码是否存在错误。然后构建针对语言的抽象语法树AST:Abstract Syntax Tree。LLVM 的前端还会生成中间代码(intermediate representation,简称IR)

  • 优化器 Optimizer:优化器负责进行各种优化,改善代码的运行时间,例如消除冗余计算等;

  • 后端 Backend(代码生成器 Code Generator):将代码映射到目标指令集,生成机器代码,并且进行机器代码相关的代码优化;

1.3 ios的编译器架构

OC、C、C++使用的编译器前端是ClangSwift是swift,后端都是LLVM,如下图所示

1.4 LLVM的设计

LLVM设计的最重要方面是,使用通用的代码表示形式(IR),它是用来在编译器中表示代码的形式,所有LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端,做到了前后端分离如下所示

传统的编译器,前端,优化器和后端是连在一起的,是一个项目。但是在llvm中,前端和后端分开了,两者中间有一个通用的中间层,也就是IR。前端解析源代码,然后词法分析语法分析语义分析AST等工作完成之后,生成IR输出给优化器,优化器负责优化IR代码,然后后端接受IR代码后根据需要适配的设备生成X86、ARM64等。所以,当出现一个新设备,只需要研发一个新设备的后端。出现一个高级语言,就研发高级语言的前端。这样就能支持所有的语言和设备。

1.5 Clang

clangLLVM项目中的一个子项目,它是基于LLVM架构图的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度,它是负责C、C++、OC语言的编译器,属于整个LLVM架构中的 编译器前端,对于开发者来说,研究Clang可以给我们带来很多好处

2. 编译流程

可以通过以下命令打印源码的编译阶段:

clang -ccc-print-phases main.m

这里新建一个后通过命令打印源码的编译阶段:

  • 0 - 输入文件:找到源文件
  • 1 - 预处理阶段:这个过程处理包括宏的替换,头文件的导入
  • 2 - 编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR
  • 3 - 后端:这里LLVM会通过一个一个的pass去优化,每个pass做一些事情,最终生成汇编代码
  • 4 - 汇编代码生成目标文件
  • 5 - 链接:链接需要的动态库和静态库,生成可执行文件
  • 6 - 绑定:通过不同的架构,生成对应架构的可执行文件

在main.m中输入一些代码。

然后通过 指令clang -E main.m >> main1.m生成预处理之后的文件。

开头是一些宏展开和.h文件的展开。

然后最后看到main函数,这里成C没有了,变成了30.

所以我们得出:

  • typedef不是预处理指令,也就是说:typedef可以给数据类型取别名,但是在预处理阶段不会被替换掉
  • define则在预处理阶段会被替换,所以经常被是用来进行代码混淆,目的是为了app安全

3. 编译阶段

编译阶段会进行词法分析语法分析检测语法是否正确,最终生成IR。

3.1 词法分析

预处理完成后就会进行词法分析,这里会把代码切成一个个Token,比如大小括号等于号还有字符串等。 通过下列指令来查看词法分析

  clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m

词法分析结果:

3.2 语法分析

词法分析完成后就是语法分析,它的任务是验证语法是否正确,在词法分析的基础上将单词序列组合成各类词法短语,如程序语句表达式 等等,然后将所有节点组成抽象语法树(Abstract Syntax Tree,AST),语法分析程序判断程序在结构上是否正确。

通过下列指令来查看语法分析

  clang -fmodules -fsyntax-only -Xclang -ast-dump main.m

得到下面的结果(这里面的地址是虚拟地址,还没开辟内存,可以看作是文件的偏移地址):

  • FunctionDecl :函数方法声明。
  • ParmVarDecl: 参数声明。
  • CompoundStmt:复合语句。
  • CallExpr:函数调用。
  • BinaryOperator: 运算符。
  • ImplicitCastExpr:函数指针。
  • DeclRefExpr:函数类型。

3.3 生成中间代码IR

完成以上步骤后,就开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步翻译成LLVM IR。

简化一下代码:

然后通过下列指令来生成 .ll 的文本文件,查看IR代码。

  clang -S -fobjc-arc -emit-llvm main.m

生成IR代码如下(这一步会进行语法检查):

  • @:全局标识
  • %:局部标识
  • alloca: 开辟空间
  • align: 内存对齐
  • i32: 32bit,4个字节
  • store: 写入内存
  • load: 读取数据
  • call: 调用函数
  • ret: 返回

上面的IR代码是没有经过优化的,所以会比较长。 LLVM的优化级别分别是: -O0 , -O1 , -O2 , -O3 , -Os 。 可以在xcode里面 target -> Build Settings -> optimization Level 设置优化等级。

输入下列指令来生成优化后的IR代码

clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll

下面是优化后的IR代码,可以明显看出来代码少了很多。优化等级并不是越高越好的,一般情况下,debug模式下是不进行优化的,而在release模式下是-Os 优化等级

3.4 bitCode

xcode7以后开启bitcode,苹果会做进一步优化,生成.bc的中间代码,我们通过优化后的IR代码生成.bc代码。Bitcode的目的是根据不同的CPU架构,苹果能够在APPStore直接下载不同的架构的包

输入下列指令来生成bc代码。

clang -emit-llvm -c main.ll -o main.bc

4. 生成汇编代码

到了这一步,这里就到了backend。这里LLVM会通过一个一个的pass去优化,每个pass做一些事情,最终生成汇编代码。

我们通过生成的.bc或者.ll代码生成汇编代码。

 clang -S -fobjc-arc main.bc -o main.s
 clang -S -fobjc-arc main.ll -o main.s

这里分别通过main.llmain.bcmain.m来生成汇编之后进行对比。

main.bc生成的汇编代码:

main.ll生成的汇编代码:

main.m生成的汇编代码:

这里发现通过main.bc 和 main.ll 生成的汇编代码都是54行,说明并没有额外进行代码优化。main.m是没有经过优化的源码,转化为汇编后则多了几行代码。那么这里的代码是否还能进行优化呢?试一下。 输入以下代码

clang -Os -S -fobjc-arc main.bc -o main3.s

这是指令运行后得到的代码,发现比之前的又少了几行,这就说明:当选定了优化等级了之后,在不同的节点上,还能进行优化。

5. 生成目标文件(汇编器)

目标文件的生成,是汇编器以汇编代码作为插入,将汇编代码转换为机器代码,最后输出目标文件(object file)。

通过以下指令来生产.o文件

clang -fmodules -c main.s -o main.o

可以通过nm命令,查看下main.o中的符号

$xcrun nm -nm main.o

指令执行后发现输出下面的结果:

  • _printf函数是一个是undefinedexternal
  • undefined表示在当前文件暂时找不到符号_printf
  • external表示这个符号是外部可以访问

这里为什么undefined了呢?因为这里调用了外部的方法,这个时候就需要链接了。

6. 生成可执行文件(链接)

链接主要是链接需要的动态库和静态库,生成可执行文件。

连接器把编译生成的.o文件和 .dyld .a文件链接,生成一个mach-o文件

clang main.o -o main

查看链接之后的符号

$xcrun nm -nm main

指令执行后得到下面的结果:

这里看到有两个undefined,一个是_printf,一个是dyld_stub_binder,但是后面都有(from libSystem)。这里的dyld_stub_binder也是一个外部函数,在dyld里面,当mach-o 进入到内存之后,外部符号就会和binder进行绑定。这个过程是dyld强制绑定的,这里就是去绑定_printf。 链接就是要知道内部的符号是在外面的哪个库里面。绑定就是将外面的函数的地址和内部的符号进行绑定。链接编译期绑定执行期。所以只要链接就一定有一个外部函数也就是dyld_stub_binder。

7. clang 插件

7.1 LLVM下载

	由于国内网络限制,需要借助镜像下载llvm的源码链接: [link](https://mirror.tuna.tsinghua.edu.cn/help/llvm/).
复制代码

下载LLVM项目

git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git

在LLVM的tool目录下下载Clang

cd llvm/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang.git

在LLVM的projects目录下下载compiler-rt、libcxx、libcxxabi

cd ../projects
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.g it
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git git clone 
https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git

在Clang的tools下安装extra工具

cd ../tools/clang/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git

7.2 LLVM 编译

由于最新的LLVM只支持cmake来编译,所以需要安装cmake

查看brew是否安装cmake,如果已经安装,则跳过下面步骤

brew list

通过brew安装cmake

brew install cmake

7.3 编译LLVM

通过xcode编译LLVM

  • cmake编译成Xcode项目
mkdir build_xcode
cd build_xcode
cmake -G Xcode ../llvm
  • 使用xcode编译Clang

选择手动创建schemes

编译(CMD + B),选择ALL_BUILD Secheme进行编译,预计1+小时。

通过ninja编译LLVM

使用ninja进行编译则还需要安装ninja,使用以下命令安装ninja

brew install ninja

在LLVM源码根目录下新建一个build_ninja目录,最终会在build_ninja目录下生成``build.ninja`

在LLVM源码根目录下新建llvm_release目录,最终编译文件会在llvm_release文件夹路径下

cd llvm_build
//注意DCMAKE_INSTALL_PREFIX后面不能有空格
cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX= 安装路径(本机为/ Users/xxx/xxx/LLVM/llvm_release)

依次执行编译,安装指令

ninja
ninja install

7.4 创建插件

在/llvm/tools/clang/tools下新建插件LSPlugin

在/llvm/tools/clang/tools目录下的CMakeLists.txt文件,新增add_clang_subdirectory(LSPlugin)。

在LSPlugin目录下新建 LSPlugin.cpp 和CMakeLists.txt,并在CMakeLists.txt中加上以下代码

add_llvm_library( HKPlugin MODULE BUILDTREE_ONLY
  LSPlugin.cpp
)

接下来利用cmake重新生成Xcode项目,在build_xcode目录下执行以下命令

cmake -G Xcode ../llvm

最后可以在LLVM的xcode项目中可以看到Loadable modules目录下由自定义的LSPlugin目录了,然后可以在里面编写插件代码了。

面试基础

iOS面试基础知识 (一)

iOS面试基础知识 (二)

iOS面试基础知识 (三)

iOS面试基础知识 (四)

iOS面试基础知识 (五)

知识详解

iOS面试要点之GCD面试要点

iOS面试要点之多线程面试要点

iOS面试要点之block面试要点

iOS面试要点之Runtime面试要点

iOS面试要点之RunLoop面试要点

iOS面试要点之内存管理面试要点

iOS面试要点之MVC、MVVM面试要点

iOS面试要点之网络性能优化要点

iOS面试要点之网络编程面试要点

iOS面试要点之KVC&KVO面试要点

iOS面试要点之数据存储面试要点

iOS面试要点之混编技术面试要点

iOS面试要点之设计模式面试要点

iOS面试要点之UI面试要点

有关iOS启动优化 —— LLVM编译流程 & Clang插件开发的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  4. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件? - 2

    在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/

  5. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为

  6. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  7. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  8. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  9. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  10. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

随机推荐