草庐IT

Android APP稳定性测试工具Fastbot

测试开发小记 2023-04-20 原文

我在 自动遍历测试之Monkey工具AppCrawler自动遍历测试 分别介绍了APP稳定性测试工具monkey和AppCrawler,它们各有优缺点,本文介绍另一款也比较好用的稳定性测试工具Fastbot。

目录

简介

Fastbot是由字节跳动 Quality Lab开源的一款基于model-based testing 结合机器学习、强化学习的APP 稳定性测试工具,提供了Android和iOS版本。具体原理介绍可参考这篇文章:https://mp.weixin.qq.com/s/QhzqBFZygkIS6C69__smyQ

本文记录一下Fastbot的使用方法。

前期准备

环境

本文使用环境:

  • Windows10
  • Android 10真机
  • adb 1.0.40

adb安装可参考Android ADB原理及常用命令

使用数据线将手机连接到电脑,到手机设置中的开发人员选择中开启USB调试,电脑命令行输入adb devices 查看手机是否连接成功:

$ adb devices
List of devices attached
CUYDU19626004019        device

克隆Fastbot_Android项目到本地:

git clone https://github.com/bytedance/Fastbot_Android.git

然后进入项目目录,将 framework.jar fastbot-thirdpart.jar monkeyq.jar push 到手机/sdcard目录,push libs/* /data/local/tmp/目录:

$ adb push fastbot-thirdpart.jar /sdcard
fastbot-thirdpart.jar: 1 file pushed. 4.1 MB/s (85664 bytes in 0.020s)

$ adb push framework.jar /sdcard
framework.jar: 1 file pushed. 32.3 MB/s (1149240 bytes in 0.034s)

$ adb push monkeyq.jar /sdcard
monkeyq.jar: 1 file pushed. 12.3 MB/s (77375 bytes in 0.006s)

$ adb push libs/. /data/local/tmp/
libs/.\: 4 files pushed. 24.9 MB/s (7740944 bytes in 0.296s)

Fastbot遍历测试示例

下面介绍如何使用Fastbot进行简单的遍历测试。

添加限定词

添加限定词,可提升模型, 使用AAPT2(Android 资源打包工具)解析apk中的索引字符串资源,aapt2是Google Android开发工具包Android SDK中提供的工具,所以要先安装一下Android SDK,下载地址为:http://tools.android-studio.org/index.php/sdk

安装完成后将aapt2添加到 PATH 环境变量中,我的电脑路径为 D:\android-sdk-windows\build-tools\29.0.3\

下面提取要测试APP的apk文件中字符串,以东方财富APP为例,字符提取命令如下:

aapt2 dump strings dfcf_0005564.apk > max.valid.strings

max.valid.stringspush到手机sdcard目录下:

adb push max.valid.strings /sdcard 

获取包名

接下来读取要测试的APP包名,可以使用aapt2工具:

$ aapt2 dump badging dfcf_0005564.apk
package: name='com.eastmoney.android.berlin' versionCode='10003000' versionName='10.3' platformBuildVersionName='' platformBuildVersionCode='' compileSdkVersion='29' compileSdkVersionCodename='10'
sdkVersion:'16'
targetSdkVersion:'28'
.................

或者手机打开东方财富,然后执行如下命令:

$ adb shell dumpsys activity activities | findstr mResumedActivity
mResumedActivity: ActivityRecord{a9dd009 u0 com.eastmoney.android.berlin/com.eastmoney.android.module.launcher.internal.search.NewSearchActivity t64017}

可获取到包名为com.eastmoney.android.berlin

开启遍历测试

Fastbot遍历测试命令如下:

adb -s 设备号 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p 包名 --agent reuseq --running-minutes 遍历时长 --throttle 事件频率 -v -v
  1. -s 设备号 :多个设备需要指定设备号,单独设备无需此-s参数
  2. -p 包名 :遍历app的包名,-p+包名
  3. --agent reuseq :遍历模式,无需更改
  4. --running-minutes 遍历时长(分钟) :# 遍历时间:–running-minutes 时间
  5. --throttle 事件频率 :遍历事件频率,建议为500-800
  6. 可选参数
    • --bugreport :崩溃时保存bug report log
    • --output-directory /sdcard/xxx :log/crash 另存目录

示例:

$ adb -s CUYDU19626004019 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p com.eastmoney.android.berlin --agent reuseq --running-minutes 1 --throttle 500 -v -v --output-directory /sdcard/fastbot_results&adb pull /sdcard/fastbot_results D:\ProgramWorkspace\DevTest-Notes\APP\Android\Fastbot_Android\results

................
[Fastbot][2022-09-01 22:18:48.386] :Sending Touch (ACTION_DOWN): 0:(592.0,412.0)
[Fastbot][2022-09-01 22:18:48.391] Wait Event for 633 milliseconds
[Fastbot][2022-09-01 22:18:49.025] Events injected: 815
[Fastbot][2022-09-01 22:18:49.027] // Monkey is over!
[Fastbot][2022-09-01 22:18:49.028] :Sending rotation degree=0, persist=false
[Fastbot][2022-09-01 22:18:49.128] Total app activities:
[Fastbot][2022-09-01 22:18:49.129]    1 com.eastmoney.android.ad.fund.test.FundAdTestMainActivity
[Fastbot][2022-09-01 22:18:49.130]    2 com.eastmoney.android.cfh.activity.ColumnActivity
[Fastbot][2022-09-01 22:18:49.130]    3 com.tencent.connect.common.AssistActivity
................
[Fastbot][2022-09-01 22:18:49.248] Explored app activities:
[Fastbot][2022-09-01 22:18:49.248]    1 com.eastmoney.android.account.activity.CMAssistanceActivity
[Fastbot][2022-09-01 22:18:49.249]    2 com.eastmoney.android.account.activity.PassportLoginActivity
.................
[Fastbot][2022-09-01 22:18:49.253] Activity of Coverage: 3.3240995%
:Dropped: keys=0 pointers=11 trackballs=0 flips=0 rotations=0

打印日志会记录每次操作细节,totalActivity(APP所有activity),ExploredActivity(遍历到的activity列表)以及本次遍历的总覆盖率。

其中Java Crash、ANR、Nativie Crash会以追加方式写入到/sdcard/crash-dump.log文件中,捕获的Anr 同时也会写入 /sdcard/oom-traces.log 文件。

专家系统

不同业务线支持不同的个性化需求,业务深度定制化

自定义输入法

ADBKeyBoard在输入栏自动输入内容,屏蔽UI输入法

适用需求: 遇到搜索栏乱输入,想要输入指定字符

1. 下载安装ADBKeyBoard

下载ADBKeyBoard.apk,adb安装:

$ adb install ADBKeyBoard.apk
Success

安装完成后设置ADBKeyBoard为默认输入法,设置生效后,点击输入栏时ADBKeyBoard不会弹起ui输入栏。

2. 配置随机输入字符串

配置输入框可输入的字符串,遍历测试时会随机选择字符输入。

设置配置文件max.config:

max.randomPickFromStringList = false # 关闭随机输入字符串
max.randomPickFromStringList = true # 从文件中随机读取字符串

如果设置 max.randomPickFromStringList = true ,需要编辑 max.strings 文件,输入想要输入的字符串:

1   搜索
2   打开
3   检查

将文件max.config push到手机:

adb push max.strings /sdcard

3. 配置fuzzing输入

编辑项目中 test 目录下的 max.fuzzing.strings文件,输入想要输入的字符串

将文件push到手机:

adb push test/max.fuzzing.strings /sdcard

fuzz概率如下:

1. 50% 概率输入fuzzing.strings中某个string
2. 35% 概率输入被测试 App 历史页面中text/desc文本内容(不存在max.fuzzing.strings文件时概率提高到85%)
3. 15% 概率不输入

自定义事件序列

可以人工配置操作路径,用来覆盖 Fastbot 自动遍历不到的场景。也可以自定义操作序列,设置操作的先后顺序。

1、新建 max.xpath.actions 文件(文件名称不可更改)

2、编写事件序列配置(case):

  • prob:发生概率,“prob”:1,代表发生概率为100%
  • activity:所属场景,详见:三.获取当前页面所属的Activity
  • times:重复次数,默认为1即可
  • actions:具体步骤的执行类型
  • throttle:action间隔事件(ms)

action 支持以下类型:必须大写

  • CLICK:点击,想要输入内容在action下补充text,如果有text 则执行文本输入
  • LONG_CLICK:长按
  • BACK:返回
  • SCROLL_TOP_DOWN:从上向下滚动
  • SCROLL_BOTTOM_UP:从下向上滑动
  • SCROLL_LEFT_RIGHT:从左向右滑动
  • SCROLL_RIGHT_LEFT:从右向左滑动

下面以东方财富为例:

[
{
    "prob": 1,
    "activity":"com.eastmoney.android.module.launcher.internal.home.HomeActivity",
    "times": 1,
    "actions": [
        {
            "xpath":"//*[@resource-id="com.eastmoney.android.berlin:id/et_search"]",
            "action": "CLICK",
            "text": "600519",
            "throttle": 2000
        }
    ]
},
{
    "prob": 1,
    "activity":"com.eastmoney.android.module.launcher.internal.search.NewSearchActivity",
    "times": 1,
    "actions": [
        {
            "xpath":"//*[@resource-id="com.eastmoney.android.berlin:id/rv_search_stock_list"]//*[@text="600519"]",
            "action": "CLICK",
            "throttle": 2000
        }
    ]
}
]

编写好文件后,push到手机:

$ adb push max.xpath.actions /sdcard   

Activity屏蔽

手动配置黑、白名单配置,可用来单独覆盖几个场景或屏蔽一些不必要场景。

1、Activity白名单配置

只覆盖白名单内的activity

1、在PC端新建 awl.strings文件,写入Activity的名称,例如

com.eastmoney.android.module.launcher.internal.home.HomeActivity

2、将 awl.strings 文件push到手机端的sdcard目录下, 目录必须为sdcard

adb push awl.strings  /sdcard 

3、运行命令时添加以下参数:--act-whitelist-file /sdcard/awl.strings

adb -s CUYDU19626004019 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p com.eastmoney.android.berlin --agent reuseq --act-whitelist-file /sdcard/awl.strings --running-minutes 1 --throttle 500 -v -v

只会遍历白名单内的设置的activity。

2、Activity黑名单配置

黑名单内的activity不覆盖

1、新建 abl.strings 文件,在文件中输入Activity的名称,同白名单方法一致

com.eastmoney.android.module.launcher.internal.home.HomeActivity
com.eastmoney.android.msg.center.MsgCenterActivity
com.eastmoney.android.module.launcher.internal.search.NewSearchActivity
com.eastmoney.android.activity.StockActivity

由于白名单和黑名单不能同时设置,设置了白名单则白名单外的都为黑名单。先把白名单awl.strings文件删掉。

2、然后将abl.strings文件push到手机端的sdcard目录下:

adb push abl.strings  /sdcard 

3、运行命令时添加以下参数:

--act-blacklist-file /sdcard/abl.strings
adb -s CUYDU19626004019 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p com.eastmoney.android.berlin --agent reuseq --act-blacklist-file /sdcard/abl.strings --running-minutes 1 --throttle 500 -v -v

屏蔽控件或区域

配置需要屏蔽的控件或区域,比如屏蔽退出登录按钮。

1、新建 max.widget.black 文件,可配置activity、xpath和bounds,比如:

[
	{
		"activity":"com.eastmoney.android.module.launcher.internal.home.HomeActivity",
		"xpath": "//*[@resource-id='com.eastmoney.android.berlin:id/et_search']"
	},
	{
		"activity":"com.eastmoney.android.module.launcher.internal.home.HomeActivity",
		"bounds":"0,0.87,1,0.95"
	}
]

屏蔽控件或区域共有三种方式:

  • bounds:屏蔽某个区域,在该区域内的控件或坐标不会被点击,bounds 为 0.0~1.0 之间的一个百分比值。
  • xpath:查找匹配的控件,屏蔽点击该控件。
  • xpath+bounds:查找匹配的控件,当控件存在时屏蔽指定的区域。

2、将max.widget.black文件push到手机sdcard目录下

adb push max.widget.black /sdcard 

执行:

adb -s CUYDU19626004019 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p com.eastmoney.android.berlin --agent reuseq --running-minutes 1 --throttle 500 -v -v

高速截图

保存测试过程中的截图。

1、新建 max.config文件,增加以下属性

  • max.takeScreenshot = true

  • max.takeScreenshotForEveryStep = true

  • max.saveGUITreeToXmlEveryStep =true

2、将max.config 文件push到手机sdcard目录中:

adb push max.config /sdcard 

添加--output-directory参数指定输出路径, --throttle 参数要 >200 才会截图:

adb -s 设备号 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p 包名 --agent reuseq --running-minutes 遍历时长 --throttle 事件频率 -v -v --output-directory 指定路径

示例代码:

adb -s CUYDU19626004019 shell CLASSPATH=/sdcard/monkeyq.jar:/sdcard/framework.jar:/sdcard/fastbot-thirdpart.jar exec app_process /system/bin com.android.commands.monkey.Monkey -p com.eastmoney.android.berlin --agent reuseq --running-minutes 1 --throttle 500 -v -v --output-directory /sdcard/fastbot_results&adb pull /sdcard/fastbot_results D:\ProgramWorkspace\DevTest-Notes\APP\Android\Fastbot_Android\results

权限自动授予

app 的权限弹窗处理, 默认启动app前会自动授予app所需的所有权限,但如果想测试app运行过程中的动态权限弹窗 在 max.config 配置

  • max.grantAllPermission = true Fastbot启动后会自动授予各种权限;

  • shell中增加

     -p com.android.packageinstaller 
     -p com.android.permissioncontroller
     -p com.lbe.security.miui  # for (miui android 10)
     -p com.samsung.android.permissioncontroller #  for (samsung android 10)
    

增加弹窗相关package,可在权限弹窗时关闭弹窗。

Fastbot android APP自动遍历测试就介绍到这里,更多功能可参考官方文档:https://github.com/bytedance/Fastbot_Android/blob/main/handbook-cn.md

--THE END--

我的回答之所以发挥作用,原因不是别的,是因为他们自己很努力,如自己不想积极认真的生活,不管得到什么样的回答都没用。——东野圭吾《解忧杂货店》

有关Android APP稳定性测试工具Fastbot的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  4. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby - 无法在 60 秒内获得稳定的 Firefox 连接 (127.0.0.1 :7055) - 2

    我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类

  8. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  9. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用? - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel

  10. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能? - 2

    只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您

随机推荐