Gamma阶段测试报告

测试计划及结果

我们针对测试做了比较多的改进。

测试代码分为针对纯java部分的单元测试和需要android运行环境的自动化仪器化测试

单元测试

这一部分基本继承Beta阶段的框架，使用junit框架，达到了80%以上的覆盖率。

自动化测试

除了beta阶段的单元测试以外，我们新增了自动化测试。

使用google官方提供的espresso框架进行模拟点击，输入，监听等事件。

另外兼容性测试中也有一部分的自动化测试，是利用monkey脚本测试应用在随机场景下的反应。

场景测试

为了保证我们应用的实用性，我们模拟了室外的场景测试。具体手段是在寝室里利用电脑产生的噪声伪装干扰，模拟室外的噪声，然后测试常用命令的输入准确性。

不同类别的背景噪声下识别率差别较大，没有形成有效数据。但是可以基本得出结论50分贝的背景噪声基本没有影响，60分贝会对识别率造成巨大波动，70分贝以上几乎无法有效识别。所以建议使用时背景噪声控制在50分贝一下。

兼容性测试

我们使用了腾讯的wetest平台进行了多种机型的兼容性测试。

测试结果如下:

我们在所有的50种机型的随机测试中一共出现了两个问题

安装失败

可以发现出现问题的机型全部是低于安卓5的古老版本，这一点在我们的预料之中，我们的发布说明中有指明应用主要适配安卓7.0以上的机型。在实际试用中我们发现安卓5，6也能成功安装，但是只能使用前端的编辑器功能，无法使用后端shell（因为后端使用的包编译指定最低运行API版本是24）。可以把我们的应用当作一个语音记事本使用。

UI异常（黑屏）

出现黑屏的机型分布在各个版本和机型。经过我们的排查，测试平台将我们的shell界面识别成了黑屏，造成了这次乌龙。

应用在其他手机上运行良好，所以我们可以初步判定我们通过了兼容性测试。

压力测试

nginx 压力测试

工具 ab：

  This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
  Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
  Licensed to The Apache Software Foundation, http://www.apache.org/

测试对象:

http://butubs.cn: 腾讯云，1 核 2 GB Intel(R) Xeon(R) CPU E5-26xx v4 网络带宽 : 1 Mbps

ab -c 500 -n 2000 http://butubs.cn/

  Server Software:        nginx/1.14.0 # 代理软件
  Server Hostname:        butubs.cn # 服务器主机名
  Server Port:            80 # 默认端口 html 80端口
  
  Document Path:          /  # url 请求路径
  Document Length:        388 bytes
  
  Concurrency Level:      500  # 一次请求的并发量，由-c指定
  Time taken for tests:   19.253 seconds # 测试总共耗时
  Complete requests:      2000 # 总共请求的数量，由-n指定
  Failed requests:        0  # 是被的请求的数量
  Total transferred:      1050000 bytes # 传输字节数
  HTML transferred:       776000 bytes # HTML字节数
  Requests per second:    103.88 [#/sec] (mean) # 平均每秒完成103.88个请求
  Time per request:       4813.203 [ms] (mean) # 平均每个请求完成时间为4813.203毫秒
  Time per request:       9.626 [ms] (mean, across all concurrent requests)# 如果按照并发数来算的话，平均每个请求的完成时间就只有9.626毫秒
  Transfer rate:          53.26 [Kbytes/sec] received # 数据率,达到了1Mbps一般的带宽
  
  Connection Times (ms)
                min  mean[+/-sd] median   max
  Connect:       45  203 832.8     47    7268
  Processing:    46 2805 4899.4    112   19099
  Waiting:       46 2789 4907.9    105   19099
  Total:         91 3007 4979.3    276   19148
  
  Percentage of the requests served within a certain time (ms) # 请求处理时间的分布
    50%    276 #  50% 的请求在 276 ms内处理完毕
    66%    895 #  60% 的请求在 895 ms内处理完毕
    75%   2554
    80%   7846
    90%  12285 #  90% 的请求在 12285 ms内处理完毕
    95%  14020
    98%  14821
    99%  15818
   100%  19148 (longest request)

云端的监控:

可以看出每秒处理一百多个请求还是很轻松的

ab -g result.txt -t 50000 -c 1000 -n 5000 http://butubs.cn/

  Concurrency Level:      1000
  Time taken for tests:   54.514 seconds
  Complete requests:      4973 # 存在丢包情况,测试使用的北航校园网有点堵，但是不影响压力测试
  Failed requests:        0
  Total transferred:      2610825 bytes
  HTML transferred:       1929524 bytes
  Requests per second:    91.22 [#/sec] (mean)
  Time per request:       10962.023 [ms] (mean)
  Time per request:       10.962 [ms] (mean, across all concurrent requests)
  Transfer rate:          46.77 [Kbytes/sec] received
  
  Connection Times (ms)
                min  mean[+/-sd] median   max
  Connect:       45  149 931.9     47   15407
  Processing:    46 7201 14740.4    106   53519
  Waiting:       45 7183 14748.6    105   53519
  Total:         91 7350 14773.2    158   53573
  
  Percentage of the requests served within a certain time (ms)
    50%    158
    66%    891
    75%   1990
    80%   7850
    90%  31691
    95%  46402
    98%  50941
    99%  52577
   100%  53573 (longest request)
  

画一个简图：x为请求数，y为时延

服务器端的监控:

圆圈所在处，带宽占用达到0.692Mbps, CPU占用8.5%

  Concurrency Level:      1000
  Time taken for tests:   94.015 seconds
  Complete requests:      9337
  Failed requests:        0
  Total transferred:      4901925 bytes
  HTML transferred:       3622756 bytes
  Requests per second:    99.31 [#/sec] (mean)
  Time per request:       10069.075 [ms] (mean)
  Time per request:       10.069 [ms] (mean, across all concurrent requests)
  Transfer rate:          50.92 [Kbytes/sec] received

  Connection Times (ms)
                min  mean[+/-sd] median   max
  Connect:       45  103 595.4     47   15533
  Processing:    46 2430 9815.4    104   89275
  Waiting:       45 2407 9820.5    102   89275
  Total:         91 2532 9840.1    151   89325

  Percentage of the requests served within a certain time (ms)
    50%    151
    66%    387
    75%    400
    80%    892
    90%   3872
    95%  13729
    98%  31785
    99%  61269
   100%  89325 (longest request)