# XTS子系统 - [简介](#section465982318513) - [系统类型](#section125090457443) - [目录](#section161941989596) - [约束](#section119744591305) - [使用说明](#section137768191623) - [用例开发指导](#section3695134065513) - [C语言用例开发编译指导（适用于轻量系统产品用例开发）](#section198193336544) - [C语言用例执行指导（适用于轻量系统产品用例开发）](#section13820233175418) - [C++语言用例开发编译指导（适用于小型系统、标准系统用例开发）](#section3822123311540) - [C++语言用例执行指导（适用于小型系统、标准系统用例开发）](#section128222336544) - [JS语言用例开发指导（适用于标准系统）](#section159801435165220) - [JS语言用例编译打包指导（适用于标准系统）](#section445519106559) - [相关仓](#section1371113476307) ## 简介 XTS子系统是OpenHarmony兼容性测试套件的集合，当前包括acts（application compatibility test suite）应用兼容性测试套件，后续会拓展dcts（device compatibility test suite）设备兼容性测试套件等。 XTS子系统当前包括acts与tools软件包： - acts，存放acts相关测试用例源码与配置文件，其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性，确保软件在整个开发过程中满足OpenHarmony的兼容性要求。 - tools，存放acts相关测试用例开发框架。 ## 系统类型 OpenHarmony支持如下几种系统类型： - 轻量系统（mini system） 面向MCU类处理器例如Arm Cortex-M、RISC-V 32位的设备，硬件资源极其有限，支持的设备最小内存为128KiB，可以提供多种轻量级网络协议，轻量级的图形框架，以及丰富的IOT总线读写部件等。可支撑的产品如智能家居领域的连接类模组、传感器设备、穿戴类设备等。典型的开发板型号是Multi-modalV200Z-R。 - 小型系统（small system） 面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为1MiB，可以提供更高的安全能力、标准的图形框架、视频编解码的多媒体能力。可支撑的产品如智能家居领域的IP Camera、电子猫眼、路由器以及智慧出行域的行车记录仪等。典型的开发板型号是Hispark_Taurus。 - 标准系统（standard system） 面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为128MiB，可以提供增强的交互能力、3D GPU以及硬件合成能力、更多控件以及动效更丰富的图形能力、完整的应用框架。可支撑的产品如高端的冰箱显示屏。典型的开发板型号是润和DAYU200。 ## 目录 ``` /test/xts ├── acts # 测试代码存放目录 │ └── subsystem # 标准系统子系统测试用例源码存放目录 │ └── subsystem_lite # 轻量系统、小型系统子系统测试用例源码存放目录 │ └── BUILD.gn # 标准系统测试用例编译配置 │ └── build_lite # 轻量系统、小型系统测试用例编译配置存放目录 │ └── BUILD.gn # 轻量系统、小型系统测试用例编译配置 └── tools # 测试工具代码存放目录 ``` ## 约束 轻量系统用例开发语言是C，小型系统用例开发语言是C++。 ## 使用说明 **表 1** 用例级别说明

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现，通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现，通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现，通过表示功能基本正常可用，可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下，或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。
**表 2** 用例粒度说明

用例规模

被测试对象

测试环境

LargeTest

业务功能/全场景特性/整机及场景级DFX

尽量使用贴近真实的环境设备

MediumTest

模块/子系统集成至设备后的功能/DFX

使用真实的单设备进行验证，可进行消息模拟，尽量不对函数进行MOCK

SmallTest

模块/类/函数

在开发者个人环境进行测试，尽量不依赖其他模块，存在大量的MOCK
**表 3** 测试类型说明

测试类型名称

测试类型定义

Function

验证被测对象提供给用户的业务功能实现正确性的测试项，这里的“用户”可以是终端用户或开发者，功能包括业务功能及平台功能

Performance

验证被测对象在特定预置条件/负载模型下的处理能力的测试项，“处理能力”一般以单位时间内可处理的业务量来衡量，如呼叫/秒，帧率/秒，事件处理量/秒等

Power

验证被测对象在特定预置条件/负载模型下在一定时间内能源消耗量的测试项

Reliability

验证被测对象在正常/异常输入情况下，或业务量压力和长时间连续运行压力情况下业务表现的测试项，含稳定性、压力、故障注入、Monkey测试项

Security

验证系统对恶意威胁的防护能力，威胁包括但不限于未授权访问、使用、泄露、破坏、修改、毁灭，以保障信息的机密性、完整性和可用性; 验证系统对用户隐私的保护能力，保障用户的隐私数据被收集、使用、保有、披露和处置符合法律规范，保障用户的隐私权; 验证对各类安全规范的遵从情况，如安全设计规范、安全红线、工信部安全认证规范等，保障安全相关法律法规的合规。

Global

验证被测对象在是否具有国际化数据支持和本地化能力的测试项，包括语言显示、输入/输出习惯、时间显示、区域特性如货币时间禁忌等等

Compatibility

当被测对象为应用时，包括被测对象对于自身数据的后向兼容性、对于系统的前后向兼容性、对于不同用户数据(如播放器之音频文件格式/智能短信之用户短信内容)的兼容性测试项； 当被测对象为系统时，包括被测系统对于系统自身数据的后向兼容性、以及对于生态中常用应用的兼容性测试项；当被测对象为软件时，包括被测系统对于相关的硬件的兼容性；

User

验证被测对象在真实用户场景下的用户体验感受的测试项，注意此种情况下没有客观的“正确”与“失败”，所有的结论及评价都应该来自于用户

Standard

验证被测对象对于行业及公司内标准/协议/规范的遵从情况的测试项，注意此处的“标准”不包含任何安全标准，针对安全标准的测试项划归为“安全测试”类型

Safety

验证被测对象的Safety属性，避免产品可能对人身安全、健康以及产品本身带来的危害。

Resilience

验证被测对象的韧性属性，确保系统受攻击时承受并保持在有定义的运行状态（包括降级）、恢复并适应攻击以保障Mission达成。
## 用例开发指导 根据测试系统选择测试框架和对应测试用例语言。 **表 4** 系统和测试框架、开发语言对应关系

系统

测试框架

语言

轻量系统

hctest

c

小型系统

hcpptest

c++

标准系统

HJSUnit、hcpptest

js、c++
### C语言用例开发编译指导（适用于轻量系统产品用例开发） **示例：轻量系统测试用例开发** 当前使用的测试框架是hctest，hctest测试框架支持使用C语言编写测试用例，是在开源测试框架unity的基础上进行增强和适配。 1. 用例目录规范：测试用例存储到test/xts/acts仓中 ``` ├── acts │ └──subsystem_lite │ │ └── module_hal │ │ │ └── BUILD.gn │ │ │ └── src │ └──build_lite │ │ └── BUILD.gn ``` 2. src目录下用例编写样例。 1. 引用测试框架 ``` #include "hctest.h" ``` 2. 使用宏定义LITE\_TEST\_SUIT定义子系统、模块、测试套件名称 ``` /** * @brief register a test suit named "IntTestSuite" * @param test subsystem name * @param example module name * @param IntTestSuite test suit name */ LITE_TEST_SUIT(test, example, IntTestSuite); ``` 3. 定义Setup与TearDown 命名方式：测试套件名称+Setup，测试套件名称+TearDown。 Setup与TearDown必须存在，可以为空函数。 4. 使用宏定义LITE\_TEST\_CASE写测试用例 包括三个参数：测试套件名称，测试用例名称，用例属性（测试类型、用例粒度、用例级别）。 ``` LITE_TEST_CASE(IntTestSuite, TestCase001, Function | MediumTest | Level1) { //do something }; ``` 5. 使用宏定义 RUN\_TEST\_SUITE注册测试套件 ``` RUN_TEST_SUITE(IntTestSuite); ``` 3. 测试模块的配置文件（BUILD.gn）样例： 在每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后静态库的名称、依赖的头文件、依赖的库等；具体写法如下： ``` import("//test/xts/tools/lite/build/suite_lite.gni") hctest_suite("ActsDemoTest") { suite_name = "acts" sources = [ "src/test_demo.c", ] include_dirs = [ ] cflags = [ "-Wno-error" ] } ``` 4. acts下BUILD.gn增加编译选项。 需要将测试模块加入到acts目录下的编译脚本中，编译脚本路径：test/xts/acts/build\_lite/BUILD.gn。 ``` lite_component("acts") { ... if(board_name == "liteos_m") { features += [ ... "//xts/acts/subsystem_lite/module_hal:ActsDemoTest" ] } } ``` 5. 测试套件编译命令。 随版本编译，debug版本编译时会同步编译acts测试套件 >**说明：** >acts测试套件编译中间件为静态库，最终链接到版本镜像中 。 ### C语言用例执行指导（适用于轻量系统产品用例开发） **示例：轻量系统测试用例执行** 将版本镜像烧录进开发板。 **测试步骤** 1. 使用串口工具登录开发板，并保存串口打印信息。 2. 重启设备，查看串口日志。 **测试结果分析指导** 基于串口打印日志进行分析； 每个测试套件执行以Start to run test suite开始，以xx Tests xx Failures xx Ignored结束。 ### C++语言用例开发编译指导（适用于小型系统、标准系统用例开发） **示例：小型系统测试用例开发**（标准系统参考具体样例目录：global/i18n\_standard） 当前使用的测试框架是hcpptest，hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。 1. 规范用例目录：测试用例存储到test/xts/acts仓中。 ``` ├── acts │ └──subsystem_lite │ │ └── module_posix │ │ │ └── BUILD.gn │ │ │ └── src │ └──build_lite │ │ └── BUILD.gn ``` 2. 测试模块src下用例编写样例： 1. 引用测试框架： 需要引用gtest.h 如：\#include "gtest/gtest.h" ``` #include "gtest/gtest.h" ``` 2. 定义Setup与TearDown ``` using namespace std; using namespace testing::ext; class TestSuite: public testing::Test { protected: // Preset action of the test suite, which is executed before the first test case static void SetUpTestCase(void){ } // Test suite cleanup action, which is executed after the last test case static void TearDownTestCase(void){ } // Preset action of the test case virtual void SetUp() { } // Cleanup action of the test case virtual void TearDown() { } }; ``` 3. 使用宏定义HWTEST或HWTEST\_F写测试用例 普通测试用例的定义：HWTEST（测试套名称， 测试用例名称， 用例标注）。 包含SetUp和TearDown的测试用例的定义 ：HWTEST\_F（测试套名称， 测试用例名称，用例标注）。 宏定义包括三个参数：测试套件名称，测试用例名称，用例属性（测试类型、用例粒度、用例级别）。 ``` HWTEST_F(TestSuite, TestCase_0001, Function | MediumTest | Level1) { // do something } ``` 3. 测试模块下用例配置文件（BUILD.gn）样例： 每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等；具体写法如下。每个测试模块将独立编译成.bin可执行文件， 该文件可直接push到单板上进行测试。 举例： ``` import("//test/xts/tools/lite/build/suite_lite.gni") hcpptest_suite("ActsDemoTest") { suite_name = "acts" sources = [ "src/TestDemo.cpp" ] include_dirs = [ "src", ... ] deps = [ ... ] cflags = [ "-Wno-error" ] } ``` 4. acts目录下增加编译选项（BUILD.gn）样例： 将测试模块加入到acts目录下的编译脚本中，编译脚本为：test/xts/acts/build\_lite/BUILD.gn。 ``` lite_component("acts") { ... else if(board_name == "liteos_a") { features += [ ... "//xts/acts/subsystem_lite/module_posix:ActsDemoTest" ] } } ``` 5. 测试套件编译命令。 随版本编译，debug版本编译时会同步编译acts测试套件 >**说明：** >小型系统acts独立编译成可执行文件（bin格式）， 在编译产物的suites\\acts目录下归档。 ### C++语言用例执行指导（适用于小型系统、标准系统用例开发） **示例：小型系统测试用例执行** 目前的用例执行采用nfs共享的方式，mount到单板去执行。 **环境搭建** 1. 使用有限网线或无线将开发板与PC进行连接。 2. 开发板配置IP、子网掩码、网关，确保开发板与PC处于同一个网段。 3. PC安装nfs服务器并完成注册，启动nfs服务。 4. 开发板配置mount命令，确保开发板可以访问PC端的nfs共享文件。 格式：mount \[nfs服务器IP\]:\[/nfs共享目录\] \[/开发板目录\] nfs 举例： ``` mount 192.168.1.10:/nfs /nfs nfs ``` **用例执行** 测试套件执行 ActsDemoTest.bin 触发用例执行，基于串口打印日志进行分析。 ### JS语言用例开发指导（适用于标准系统） 当前使用的测试框架是HJSUnit，用于支撑OpenHarmony application测试（特指基于JS应用框架使用 Javascript 语言开发的 APP）进行自动化测试。 **用例编写基础语法** 测试用例为 js 语言，必须满足 JavaScript 语言编程规范: **表 5**

用例语法

描述

要求

beforeAll

测试套级别的预置条件，在所有测试用例开始前执行且仅执行一次，支持一个参数：预置动作函数

可选

afterAll

测试套级别的清理条件，在所有测试用例结束后执行且仅执行一次，支持一个参数：清理动作函数

可选

beforeEach

测试用例级别的预置条件，在每条测试用例开始前执行，执行次数与 it 定义的测试用例数一致，支持一个参数：预置动作函数

可选

afterEach

测试用例级别的清理条件，在每条测试用例结束后执行，执行次数与 it 定义的测试用例数一致，支持一个参数：清理动作函数

可选

describe

定义一个测试套，支持两个参数：测试套名称和测试套函数； describe 支持嵌套，每个 describe 内均可以定义 beforeAll 、beforeEach 、afterEach 和 afterAll

必选

it

定义一条测试用例，支持三个参数：用例名称，过滤参数和用例函数

备注：

过滤参数：过滤参数为一个 32 位的 Int 类型参数，0 位 置1表示不筛选、默认执行；0-10 位 置1表示测试用例类型；16-18 位 置1表示测试用例规模；24-28 位 置1表示测试层级。

测试用例类型。置位0-10分别表示：FUNCTION 方法类测试、PERFORMANCE 性能类测试、POWER 功耗类测试、RELIABILITY 可靠性测试、SECURITY 安全合规测试、GLOBAL 整体性测试、COMPATIBILITY 兼容性测试、USER 用户测试、STANDARD 标准测试、SAFETY 安全特性测试，RESILIENCE 压力测试。

测试用例规模。置位16-18分别表示：SMALL 小型测试、MEDIUM 中型测试、LARGE 大型测试。

测试层级。置位24-28分别表示：LEVEL0-0 级测试、LEVEL1-1 级测试、LEVEL2-2 级测试、LEVEL3-3 级测试、LEVEL4-4 级测试。

必选
用例编写语法采用 jasmine 的标准语法，格式支持ES6格式。 1. 规范用例目录：测试用例存储到entry/src/main/js/test目录。 ``` ├── BUILD.gn │ └──entry │ │ └──src │ │ │ └──main │ │ │ │ └──js │ │ │ │ │ └──default │ │ │ │ │ │ └──pages │ │ │ │ │ │ │ └──index │ │ │ │ │ │ │ │ └──index.js # 入口文件 │ │ │ │ │ └──test # 测试代码存放目录 │ │ │ └── resources # hap资源存放目录 │ │ │ └── config.json # hap配置文件 ``` 2. index.js示例 ``` // 拉起js测试框架，加载测试用例 import {Core, ExpectExtend} from 'deccjsunit/index' export default { data: { title: "" }, onInit() { this.title = this.$t('strings.world'); }, onShow() { console.info('onShow finish') const core = Core.getInstance() const expectExtend = new ExpectExtend({ 'id': 'extend' }) core.addService('expect', expectExtend) core.init() const configService = core.getDefaultService('config') configService.setConfig(this) require('../../../test/List.test') core.execute() }, onReady() { }, } ``` 3. 单元测试用例示例 ``` // Example1: 使用HJSUnit进行单元测试 describe('appInfoTest', function () { it('app_info_test_001', 0, function () { var info = app.getInfo() expect(info.versionName).assertEqual('1.0') expect(info.versionCode).assertEqual('3') }) }) ``` ### JS语言用例编译打包指导（适用于标准系统） hap包编译请参考[标准系统js应用开发指导](https://developer.harmonyos.com/cn/docs/documentation/doc-guides/build_overview-0000001055075201)。 ## 相关仓 [xts\_acts](https://gitee.com/openharmony/xts_acts) [xts\_tools](https://gitee.com/openharmony/xts_tools)