2023年12月23日发(作者:)

NB-IoT网络质量测试评估规范

NB-IoT网络质量测试评估规范

中国移动通信有限公司

2017年8月

第2页

目录

目标 ....................................................... 错误!未定义书签。

2

总体原则 ................................................... 错误!未定义书签。

3

NB-IOT网络性能测试规范 ................................................... 6

3.1

室外道路测试规范 ...................................................... 6

3.2

定点测试规范 .......................................................... 9

4

NB-IOT指标分析规范 ...................................................... 12

4.1

NB-IOT网络性能评估指标 .............................................. 12

4.2

NB-IOT遍历小区及基站的统计 ........................................... 20

1

第3页

第4页

第5页

✓指导方向

a) 反映网络覆盖、干扰、资源等方面的问题,指导网络规划建设;

b) 指导网络层面的性能和质量优化。

✓测试手段

自动测试平台、自动测试前端ATU、扫频仪。

✓主要指标

a) 覆盖、干扰、重叠覆盖度等网络指标;

b) 速率、时延、成功率等主要业务指标;

c) 基站、小区遍历性指标。

1 NB-IoT网络性能测试规范

1.1 室外道路测试规范

NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试,主要测试方法及要求如下:

1. 测试区域

按照网格划分(建设区域)区域进行测试;

2. 测试道路

第6页

城区范围:包含背街小巷在内的所有1-4级道路;交通干线:铁路(重点是高速铁路和动车组)、高速公路、国道省道等;县城城区:县城城区范围内的主要道路;农村及旅游景点:乡镇、行政村、旅游景点及连接道路。

3. 测试路线

按照指定路线进行道路遍历性测试,合理规划路线尽量减少重复道路测试;

4. 测试轨迹记录

测试仪表需配备相应GPS设备进行测试轨迹记录。

5. 测试仪表及数据处理

必须使用集团集采的测试仪器仪表,数据处理采用集团自动路测平台进行统一汇总统计;

6. 测试速度

城区保持正常行驶速度,不设置最高限速,平均车速需达到20Km/h;高速测试按照高速公路实际限速正常行驶;

7. 渗透率、重复率

不考虑实际交通情况,渗透率需达到85%以上、重复率不得高于30%。

8. 测试条件:

第7页

全网下行模拟50%加扰

9. 测试方法和步骤

1) 步骤1:采用测试业务1,遍历事先选择的道路行驶路线。遍历过程中,如果有脱网、掉线,则停车重新恢复业务。

2) 步骤2:采用测试业务2,重复步骤1

3) 步骤3:采用测试业务3,重复步骤1

4) 步骤4:采用测试业务4,重复步骤1

序号

1 NB-IoT空(1)测试终端:处于Idle态,闲态测试 不做任何业务

(2)扫频仪:对服务小区和邻区进行扫频

若测试终端和扫频仪的测试结果相当(覆盖、干扰、重叠覆盖度等),则使用测试终端测试即可。

2 Ping小包ping包大小:20byte

业务 每次从空闲态发起ping包业务,ping响应超时时延设置为30s,ping周期设置60s

第8页

测试业务 测试内容概要

3 Ping大包ping包大小:200byte

业务

每次从空闲态发起ping包业务,ping响应超时时延设置为30s,ping周期设置60s

4 终端开关测试终端开机、关机操作:

机 (1) 开机:终端开机,发起Attach Request到Attach

Complete

(2) 关机:终端从空闲态发出Detach Request

开机到关机的时间间隔60s;

关机到开机的时间间隔60s。

1.2 定点测试规范

NB-IoT定点测试主要采用ATU设备进行网络性能测试,主要测试方法及要求如下:

1. 测试楼宇

根据城市的规模,测试楼宇的数量可不同。楼宇数量至少需满足:

(1)一线城市及省会城市:40个楼宇

(2)二线城市: 30个楼宇

第9页

(3)其他城市:20个楼宇

所选取的测试楼宇均匀分布于城市的不同网格中,测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。

2. 测试选点

从物联网典型应用场景选择测试点,且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。场景包括但不仅限于:

a) 物联网典型应用场景:弱电井、车库、地下室、水电气表间、管道井等

b) 公众用户所及区域:走廊、过道、办公区、会议室、楼梯、电梯厅等

• 室内选点要求:

 低层楼宇:五层以下楼宇选取低层,共一层,每层选择2个测试点

 中层楼宇:二十层以下楼宇选取低层、高层各一层,每层选择2个测试点

 高层楼宇:二十层以上楼宇选取低层、中间层、高层各一层,每层选择2个测试点

第10页

 若楼宇有地下室场景,则地下室也作为测试楼层,选择2个测试点。

• 室外选点:

 在每个楼宇外围选择2个室外测试点,测试点尽量为物联网典型应用场景,如室外停车位

3. GPS定位:测试人员进入楼宇前需首先进入GPS定位、上报测试点。

4. 测试仪表及数据处理:必须使用集团集采或业内成熟的测试仪器仪表,数据处理采用集团自动路测平台进行统一汇总统计。

5. 测试步骤

a) 步骤1:在选定的测试定点上,ATU设备进行测试业务1

b) 步骤2:更换为测试业务2,重复步骤1

c) 步骤3:更换为测试业务3,重复步骤1

d) 步骤4:更换为测试业务4,重复步骤1

序号

1 UDP大数据文件大小:1MByte;

量上传业务 定点测试,连续发包,定点第11页

测试业务 测试内容概要

持续发送3分钟以上的业务;每个点测试1次

2 UDP大数据文件大小:1M Byte;

持续发送3分钟以上的业务;每个点测试1次

3 Ping小包业ping包大小:20byte

务 定点测试,每次从空闲态发起ping包业务,每个点ping包10次

4 Ping大包业ping包大小:200byte

务 定点测试,每次从空闲态发 起ping包业务,每个点ping包10次

2 NB-IoT指标分析规范

2.1 NB-IoT网络性能评估指标

量下载业务 定点测试,连续发包,定点1. 覆盖类指标

该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果,扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。

第12页

序号 指标

1 覆盖率

定义

覆盖率=条件采样点/总采样点*100;NB-IoT条件采样点: RSRP >= -94dBm(密集城区)、 RSRP >=

-97dBm(一般城区);

2 平均RSRP 参考信号平均接收电平 从参考信号平均接收信号与干扰噪声比角度,评估全网的平均干扰强度

3 边缘RSRP 取RSRP中CDF等于5%的值

如果边缘RSRP太低,不能达到网络最低覆盖要求。如果边缘RSRP过高,小区间干扰也会严重。故NB-IoT更加重视利用边缘覆盖电平,来评估小区边缘的覆盖

4 RSRP连续弱覆盖比例

NB-IoT连续弱覆盖里程/NB-IoT测试里程*100%

评估路测中参考信号RSRP接收功率情况,反映服务小区覆盖的主要指标。 其中:弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 89

dBm(密集城区)、-92dBm(一般城区)。

5 RSRP连续无覆盖比例

NB-IoT连续无覆盖里程/NB-IoT测试里程*100%

评估路测中参考信号RSRP接收功率情况,反映服务小区无覆盖的情况。连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 99 dBm(密集城区)、-102dBm(一般城区)

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

dBm

dBm 3.1的步骤1,包括扫频仪和ATU设备的测试结果

3.1的步骤1,包括扫频仪和ATU设备的测试结果

说明

综合接收场强和信干比,描述全网的覆盖情况

单位

%

统计log来源

3.1的步骤1,包括扫频仪和ATU设备的测试结果

注1:覆盖率RSRP门限为,NB-IoT的验收指标(规划指标-OTA损耗-车体损耗)。

2. 干扰类指标

该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果,扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。

序号 指标 定义 说明 单位 统计log来源

第13页

1 平均RS-SINR 参考信号平均接收信号与干扰噪声比

从参考信号平均接收信号与干扰噪声比角度,评估全网的平均干扰强度

2 边缘RS-SINR 参考信号平均接收信号与干扰噪声比取CDF (累计概率分布)5%对应的值

3 连续SINR质差里程占比

连续SINR质差里程/NB-IoT测试里程*100%

评估RS-SINR质差里程;其中:SINR质差里程定义为持续10秒且70%的采样点CRS-SINR< 0dB的连续路段。

4 重叠覆盖率 道路重叠覆盖率 =

重叠覆盖度>=4的采样点 / 总采样点 *

100%;重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量,且最强信号RSRP> -89(密集城区)或92dBm(一般城区);

5 重叠覆盖里程占比

道路重叠覆里程占比 = 连续重叠覆盖度>=4的里程 / 总测试里程 * 100%

6 Mod3冲突比例

Mod3冲突比例=Mod3冲突小区数量/测量到的邻区数量总数*100%

PCI = 3* Group ID ( S-SS)+

Sector ID (P-SS),如果PCI mod 3值相同的话,就会造成P-SS的干扰;实际网络必然中存在两邻区PCI模3无法错开的情况。模3会造成CRS信号相互干扰,使SINR降低;重叠覆盖和模3干扰同时存在,以重叠覆盖影响为主

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

评估全网内重叠覆盖里程占比,一定程度上反映网络建设合理性

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

重叠覆盖度>=4,即认为存在较严重的重叠覆盖情况;从参考信号平均接收信号电平角度,评估服务小区覆盖范围内强信号邻区叠加的程度

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

% 3.1的步骤1,包括扫频仪和ATU设备的测试结果

从参考信号平均接收信号与干扰噪声比角度,评估全网各小区边缘的干扰强度

dB

dB 3.1的步骤1,包括扫频仪和ATU设备的测试结果

3.1的步骤1,包括扫频仪和ATU设备的测试结果

3. 调度类指标

指标来源:根据一个城市所有的定点测试结果统计(含室外和室内)下述指标,统计时需对不同的ping包大小进行区分统计。

第14页

序号

1

指标

上行物理层速率(含掉线)

定义

物理层总上传量(含掉线)/上传总时长(含掉线),每个点分别计算再求平均。

2 上行物理层速率(不含掉线)

物理层总上传量(不含掉线)/上传总时长(不含掉线),每个点分别计算再求平均。

3 下行物理层速率(含掉线)

物理层总下载量(含掉线)/下载总时长(含掉线),每个点分别计算再求平均。

4 下行物理层速率(不含掉线)

物理层总下载量(不含掉线)/下载总时长(不含掉线),每个点分别计算再求平均。

5 MAC层上行平均BLER

MAC层上行

BLER=上行总错误TB数/上行传输总TB数*100% ,每个点分别计算再求平均。

6 MAC层下行平均BLER

MAC层下行BLER=下行总错误TB数/下行传输总TB数*100% ,每个点分别计算再求平均。

7 下行NPDSCH平均重复次数

每次调度下行NPDSCH重复次数总和/调度次数,每个点分别计算再求平均。

8 上行NPUSCH

Format 1平均重复次数

每次调度上行NPUSCH重复次数总和/调度次数,每个点分别计算再求平均。

9 上行MCS统计 上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次评估采用的平均调制编码方式统计,可以间接反映了当前数据传输速率的大小

3.2的步骤1

评估上行业务信道的重复次数,反映空口的质量

次 3.2的步骤1

评估下行业务信道的重复次数,反映空口的质量

次 3.2的步骤2

评估数据传输的误码程度,反映系统保证传输数据的准确性和稳定性,间接反映空口的质量

% 3.2的步骤2

评估数据传输的误码程度,反映系统保证传输数据的准确性和稳定性,间接反映空口的质量

% 3.2的步骤1

评估NB-IoT网络下行传输性能的重要指标

Kbps

3.2的步骤2

评估NB-IoT网络下行传输性能的重要指标

Kbps

3.2的步骤2

评估NB-IoT网络上行传输性能的重要指标

Kbps

3.2的步骤1

说明

评估NB-IoT网络上行传输性能的重要指标

单位

Kbps

统计log的来源

3.2的步骤1

第15页

数,最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ,每个点分别计算再求平均。

10 下行MCS统计 下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数,最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ,每个点分别计算再求平均。

11 上行NPUSCH

Format 1平均调每次调度上行NPUSCH子载波数评估上行信道的调度情况 个 3.2的步骤1

评估采用的平均调制编码方式统计,可以间接反映了当前数据传输速率的大小

3.2的步骤2

度的子载波个数 总和/调度次数,每个点分别计算再求平均。

12 上行NPUSCH

Format 1

3.75KHz的比例

上行3.75KHz子载波的调度次数/总调度次数,每个点分别计算再求平均。

13 上行NPUSCH

Format 1

3.75KHz ST的比例

14 上行NPUSCH

上行3.75KHz ST子载波的调度次数/总调度次数,每个点分别计算再求平均。

上行15KHz ST子载评估上行信道的调度情况 个 3.2的步骤1

评估上行信道的调度情况 个 3.2的步骤1

评估上行信道的调度情况 个 3.2的步骤1

Format 1 15KHz 波的调度次数/总调ST的比例 度次数,每个点分别计算再求平均。

15 上行NPUSCH 上行15KHz MT子载评估上行信道的调度情况 个 3.2的步骤1

Format 1 15KHz 波的调度次数/总调MT的比例 度次数,每个点分别计算再求平均。

18 定点测试的Ping包成功率

Ping包成功的总次数/ping包总次数,每个点分别计算再求平均。

19 定点测试的Ping包时延

Ping包总时延/ping包总次数,每个点分别计算再求平均。

20 遍历测试的ping包成功率

Ping包成功的总次数/ping包总次数,每个点分别计算再评估室外遍历测试情况下的业务性能

%

评估室内外定点测试情况下的业务性能

秒 3.2的步骤3和步骤4,两种ping包大小区分统计

3.1的步骤2和步骤3,两种ping包大小区分统计

评估室内外定点测试情况下的业务性能

% 3.2的步骤3和步骤4,两种ping包大小区分统计

第16页

求平均。

21 遍历测试的ping包时延

Ping包总时延/ping包总次数,每个点分别计算再求平均。

22 定点测试的上行掉线率

上行掉线总次数/发起上行UDP业务的总次数。所有样本一起计算。

23 定点测试的下行掉线率

下行掉线总次数/发起下行UDP业务的总次数。所有样本一起计算。

评估NB-IoT网络的稳定程度 % 3.2的步骤2

评估NB-IoT网络的稳定程度 %

评估室外遍历测试情况下的业务性能

秒 3.1的步骤2和步骤,3,两种ping包大小区分统计

3.2的步骤1

4. 移动类指标

序号

1

指标

NB-IoT网内异频重选成功率

定义

NB-IoT网内异频重选成功次数/NB-IoT网内重选尝试次数*100%

2 NB-IoT网内异频重选时延

NB-IoT网内异频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数

3 NB-IoT网内同频重选成功率

NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%

4 NB-IoT网内同频重选时延

NB-IoT网内同频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数

5 TA区更新成功率

TA区更新成功次数/TA区更新尝试次数*100%

6 TA更新平均时延

TA更新平均时延=TA更新时延总和/TA更新次数

7 NB-IoT连接态脱网NB-IoT连接态脱网重搜平均时延=脱网评估NB-IoT脱网重搜时延 秒 3.1的步骤1,只涉及ATU设备

评估:NB-IoT跨TA List重选情况下业务和状态的连续性、移动性

评估NB-IoT网络位置区更新时延

秒 3.1的步骤1,只涉及ATU设备

% 3.1的步骤1,只涉及ATU设备

评估NB-IoT网内同频重选的连续性、稳定性

秒 3.1的步骤1,只涉及ATU设备

评估NB-IoT网内同频重选的连续性、稳定性

% 3.1的步骤1,只涉及ATU设备

评估NB-IoT网内异频重选的连续性、稳定性

秒 3.1的步骤1,只涉及ATU设备

说明

评估NB-IoT网内异频重选的连续性、稳定性

单位

%

统计log的来源

3.1的步骤1,只涉及ATU设备

第17页

重搜平均时延

重搜时延总和/脱网重搜次数

说明1:重选时延定义,重选开始->SIB1(不跨TA List)或TAU Complete(跨TA List)

说明2:TA更新时延定义,TAU Request->TAU Complete

说明3:道路测试中如有脱网则统计7,没有就不需要统计

5. 接入类指标

序号

1

指标

RRC连接建立成功率

定义

RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100%

说明

评估系统接入性能的重要指标;其中:以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试,到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功

2 RRC连接建立平均时延

RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数

评估NB-IoT系统接入性能的重要指标;其中:以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试,到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功

3 ATTACH成功率

ATTACH成功率=ATTACH 成功次数/ATTACH尝试次数*100%

评估NB-IoT系统接入性能的重要指标;其中:以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试,到终端发送ATTACH COMPLETE作为一次 ATTACH 成功

4 ATTACH平均时延

ATTACH平均时延=ATTACH时延总和/ATTACH成功次数

评估NB-IoT系统接入性能的重要指标;其中:以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试,到终端发送ATTACH COMPLETE作为一次 ATTACH 成功

5 DETACH成功率

DETACH成功率=DETACH 成功次数/DETACH尝试次数*100%

评估NB-IoT系统接入性能的重要指标;其中:终端触发关机作为1次尝试,到终端发出DETACH REQUEST作为一% 3.1的步骤4

秒 3.1的步骤4

% 3.1的步骤4

秒 3.1的步骤2,3,4

单位

%

统计log的来源

3.1的步骤2,3,4

第18页

次 DETACH 成功

6 DETACH平均时延

DETACH平均时延=DETACH时延总和/DETACH成功次数

评估NB-IoT系统接入性能的重要指标;其中:终端触发关机作为1次尝试,到终端发出DETACH REQUEST作为一次 DETACH 成功

秒 3.1的步骤4

7 SERVICEREQUEST成功率

SERVICE REQUEST成功率=SERVICE 建立成功次数/SERVICE 建立尝试次数*100%

评估NB-IoT系统业务建立性能的重要指标;其中:SERVICE 建立成功以UE上发Service Request后,到收到Service Accept 作为一次服务请求成功

% 3.1的步骤2,3

8 SERVICEREQUEST平均时延

SERVICE平均时延=SERVICE 建立时延总和/ SERVICE 建立成功次数

评估NB-IoT系统接入性能的重要指标;其中:以UE上发Service request作为服务建立请求, 到收到Service Accept

作为一次服务请求成功,两者时间差为业务请求建立时延

秒 3.1的步骤2,3

第19页

2.2 NB-IoT遍历小区及基站的统计

本章节指标数据统计来源于3.1“室外道路测试规范”的步骤1和3.2“定点测试规范”

序号

1

2

3

4

5

6

7

指标

小区遍历率(%)

基站遍历率(%)

室外道路的遍历率

重复里程占比

测试总里程

测试楼宇数

定点测试数

定义 说明

遍历小区总数/现网建设小区总数*100% 根据Dtlog统计遍历小区情况

遍历基站总数/现网建设基站总数*100% 根据Dtlog统计遍历小区情况

遍历的非重复里程/规划路线里程*100%

遍历的重复里程/测试总里程*100%

遍历的总里程

所测试的楼宇总数

所测试的定点总数

第20页