2023年12月23日发(作者:)
NB-IoT网络质量测试评估规范
NB-IoT网络质量测试评估规范
中国移动通信有限公司
2017年8月
第2页
目录
目标 ....................................................... 错误!未定义书签。
2
总体原则 ................................................... 错误!未定义书签。
3
NB-IOT网络性能测试规范 ................................................... 6
3.1
室外道路测试规范 ...................................................... 6
3.2
定点测试规范 .......................................................... 9
4
NB-IOT指标分析规范 ...................................................... 12
4.1
NB-IOT网络性能评估指标 .............................................. 12
4.2
NB-IOT遍历小区及基站的统计 ........................................... 20
1
第3页
第4页
第5页
✓指导方向
a) 反映网络覆盖、干扰、资源等方面的问题,指导网络规划建设;
b) 指导网络层面的性能和质量优化。
✓测试手段
自动测试平台、自动测试前端ATU、扫频仪。
✓主要指标
a) 覆盖、干扰、重叠覆盖度等网络指标;
b) 速率、时延、成功率等主要业务指标;
c) 基站、小区遍历性指标。
1 NB-IoT网络性能测试规范
1.1 室外道路测试规范
NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试,主要测试方法及要求如下:
1. 测试区域
按照网格划分(建设区域)区域进行测试;
2. 测试道路
第6页
城区范围:包含背街小巷在内的所有1-4级道路;交通干线:铁路(重点是高速铁路和动车组)、高速公路、国道省道等;县城城区:县城城区范围内的主要道路;农村及旅游景点:乡镇、行政村、旅游景点及连接道路。
3. 测试路线
按照指定路线进行道路遍历性测试,合理规划路线尽量减少重复道路测试;
4. 测试轨迹记录
测试仪表需配备相应GPS设备进行测试轨迹记录。
5. 测试仪表及数据处理
必须使用集团集采的测试仪器仪表,数据处理采用集团自动路测平台进行统一汇总统计;
6. 测试速度
城区保持正常行驶速度,不设置最高限速,平均车速需达到20Km/h;高速测试按照高速公路实际限速正常行驶;
7. 渗透率、重复率
不考虑实际交通情况,渗透率需达到85%以上、重复率不得高于30%。
8. 测试条件:
第7页
全网下行模拟50%加扰
9. 测试方法和步骤
1) 步骤1:采用测试业务1,遍历事先选择的道路行驶路线。遍历过程中,如果有脱网、掉线,则停车重新恢复业务。
2) 步骤2:采用测试业务2,重复步骤1
3) 步骤3:采用测试业务3,重复步骤1
4) 步骤4:采用测试业务4,重复步骤1
序号
1 NB-IoT空(1)测试终端:处于Idle态,闲态测试 不做任何业务
(2)扫频仪:对服务小区和邻区进行扫频
若测试终端和扫频仪的测试结果相当(覆盖、干扰、重叠覆盖度等),则使用测试终端测试即可。
2 Ping小包ping包大小:20byte
业务 每次从空闲态发起ping包业务,ping响应超时时延设置为30s,ping周期设置60s
第8页
测试业务 测试内容概要
3 Ping大包ping包大小:200byte
业务
每次从空闲态发起ping包业务,ping响应超时时延设置为30s,ping周期设置60s
4 终端开关测试终端开机、关机操作:
机 (1) 开机:终端开机,发起Attach Request到Attach
Complete
(2) 关机:终端从空闲态发出Detach Request
开机到关机的时间间隔60s;
关机到开机的时间间隔60s。
1.2 定点测试规范
NB-IoT定点测试主要采用ATU设备进行网络性能测试,主要测试方法及要求如下:
1. 测试楼宇
根据城市的规模,测试楼宇的数量可不同。楼宇数量至少需满足:
(1)一线城市及省会城市:40个楼宇
(2)二线城市: 30个楼宇
第9页
(3)其他城市:20个楼宇
所选取的测试楼宇均匀分布于城市的不同网格中,测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。
2. 测试选点
从物联网典型应用场景选择测试点,且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。场景包括但不仅限于:
a) 物联网典型应用场景:弱电井、车库、地下室、水电气表间、管道井等
b) 公众用户所及区域:走廊、过道、办公区、会议室、楼梯、电梯厅等
• 室内选点要求:
低层楼宇:五层以下楼宇选取低层,共一层,每层选择2个测试点
中层楼宇:二十层以下楼宇选取低层、高层各一层,每层选择2个测试点
高层楼宇:二十层以上楼宇选取低层、中间层、高层各一层,每层选择2个测试点
第10页
若楼宇有地下室场景,则地下室也作为测试楼层,选择2个测试点。
• 室外选点:
在每个楼宇外围选择2个室外测试点,测试点尽量为物联网典型应用场景,如室外停车位
3. GPS定位:测试人员进入楼宇前需首先进入GPS定位、上报测试点。
4. 测试仪表及数据处理:必须使用集团集采或业内成熟的测试仪器仪表,数据处理采用集团自动路测平台进行统一汇总统计。
5. 测试步骤
a) 步骤1:在选定的测试定点上,ATU设备进行测试业务1
b) 步骤2:更换为测试业务2,重复步骤1
c) 步骤3:更换为测试业务3,重复步骤1
d) 步骤4:更换为测试业务4,重复步骤1
序号
1 UDP大数据文件大小:1MByte;
量上传业务 定点测试,连续发包,定点第11页
测试业务 测试内容概要
持续发送3分钟以上的业务;每个点测试1次
2 UDP大数据文件大小:1M Byte;
持续发送3分钟以上的业务;每个点测试1次
3 Ping小包业ping包大小:20byte
务 定点测试,每次从空闲态发起ping包业务,每个点ping包10次
4 Ping大包业ping包大小:200byte
务 定点测试,每次从空闲态发 起ping包业务,每个点ping包10次
2 NB-IoT指标分析规范
2.1 NB-IoT网络性能评估指标
量下载业务 定点测试,连续发包,定点1. 覆盖类指标
该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果,扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。
第12页
序号 指标
1 覆盖率
定义
覆盖率=条件采样点/总采样点*100;NB-IoT条件采样点: RSRP >= -94dBm(密集城区)、 RSRP >=
-97dBm(一般城区);
2 平均RSRP 参考信号平均接收电平 从参考信号平均接收信号与干扰噪声比角度,评估全网的平均干扰强度
3 边缘RSRP 取RSRP中CDF等于5%的值
如果边缘RSRP太低,不能达到网络最低覆盖要求。如果边缘RSRP过高,小区间干扰也会严重。故NB-IoT更加重视利用边缘覆盖电平,来评估小区边缘的覆盖
4 RSRP连续弱覆盖比例
NB-IoT连续弱覆盖里程/NB-IoT测试里程*100%
评估路测中参考信号RSRP接收功率情况,反映服务小区覆盖的主要指标。 其中:弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 89
dBm(密集城区)、-92dBm(一般城区)。
5 RSRP连续无覆盖比例
NB-IoT连续无覆盖里程/NB-IoT测试里程*100%
评估路测中参考信号RSRP接收功率情况,反映服务小区无覆盖的情况。连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 99 dBm(密集城区)、-102dBm(一般城区)
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
dBm
dBm 3.1的步骤1,包括扫频仪和ATU设备的测试结果
3.1的步骤1,包括扫频仪和ATU设备的测试结果
说明
综合接收场强和信干比,描述全网的覆盖情况
单位
%
统计log来源
3.1的步骤1,包括扫频仪和ATU设备的测试结果
注1:覆盖率RSRP门限为,NB-IoT的验收指标(规划指标-OTA损耗-车体损耗)。
2. 干扰类指标
该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果,扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。
序号 指标 定义 说明 单位 统计log来源
第13页
1 平均RS-SINR 参考信号平均接收信号与干扰噪声比
从参考信号平均接收信号与干扰噪声比角度,评估全网的平均干扰强度
2 边缘RS-SINR 参考信号平均接收信号与干扰噪声比取CDF (累计概率分布)5%对应的值
3 连续SINR质差里程占比
连续SINR质差里程/NB-IoT测试里程*100%
评估RS-SINR质差里程;其中:SINR质差里程定义为持续10秒且70%的采样点CRS-SINR< 0dB的连续路段。
4 重叠覆盖率 道路重叠覆盖率 =
重叠覆盖度>=4的采样点 / 总采样点 *
100%;重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量,且最强信号RSRP> -89(密集城区)或92dBm(一般城区);
5 重叠覆盖里程占比
道路重叠覆里程占比 = 连续重叠覆盖度>=4的里程 / 总测试里程 * 100%
6 Mod3冲突比例
Mod3冲突比例=Mod3冲突小区数量/测量到的邻区数量总数*100%
PCI = 3* Group ID ( S-SS)+
Sector ID (P-SS),如果PCI mod 3值相同的话,就会造成P-SS的干扰;实际网络必然中存在两邻区PCI模3无法错开的情况。模3会造成CRS信号相互干扰,使SINR降低;重叠覆盖和模3干扰同时存在,以重叠覆盖影响为主
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
评估全网内重叠覆盖里程占比,一定程度上反映网络建设合理性
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
重叠覆盖度>=4,即认为存在较严重的重叠覆盖情况;从参考信号平均接收信号电平角度,评估服务小区覆盖范围内强信号邻区叠加的程度
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
% 3.1的步骤1,包括扫频仪和ATU设备的测试结果
从参考信号平均接收信号与干扰噪声比角度,评估全网各小区边缘的干扰强度
dB
dB 3.1的步骤1,包括扫频仪和ATU设备的测试结果
3.1的步骤1,包括扫频仪和ATU设备的测试结果
3. 调度类指标
指标来源:根据一个城市所有的定点测试结果统计(含室外和室内)下述指标,统计时需对不同的ping包大小进行区分统计。
第14页
序号
1
指标
上行物理层速率(含掉线)
定义
物理层总上传量(含掉线)/上传总时长(含掉线),每个点分别计算再求平均。
2 上行物理层速率(不含掉线)
物理层总上传量(不含掉线)/上传总时长(不含掉线),每个点分别计算再求平均。
3 下行物理层速率(含掉线)
物理层总下载量(含掉线)/下载总时长(含掉线),每个点分别计算再求平均。
4 下行物理层速率(不含掉线)
物理层总下载量(不含掉线)/下载总时长(不含掉线),每个点分别计算再求平均。
5 MAC层上行平均BLER
MAC层上行
BLER=上行总错误TB数/上行传输总TB数*100% ,每个点分别计算再求平均。
6 MAC层下行平均BLER
MAC层下行BLER=下行总错误TB数/下行传输总TB数*100% ,每个点分别计算再求平均。
7 下行NPDSCH平均重复次数
每次调度下行NPDSCH重复次数总和/调度次数,每个点分别计算再求平均。
8 上行NPUSCH
Format 1平均重复次数
每次调度上行NPUSCH重复次数总和/调度次数,每个点分别计算再求平均。
9 上行MCS统计 上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次评估采用的平均调制编码方式统计,可以间接反映了当前数据传输速率的大小
3.2的步骤1
评估上行业务信道的重复次数,反映空口的质量
次 3.2的步骤1
评估下行业务信道的重复次数,反映空口的质量
次 3.2的步骤2
评估数据传输的误码程度,反映系统保证传输数据的准确性和稳定性,间接反映空口的质量
% 3.2的步骤2
评估数据传输的误码程度,反映系统保证传输数据的准确性和稳定性,间接反映空口的质量
% 3.2的步骤1
评估NB-IoT网络下行传输性能的重要指标
Kbps
3.2的步骤2
评估NB-IoT网络下行传输性能的重要指标
Kbps
3.2的步骤2
评估NB-IoT网络上行传输性能的重要指标
Kbps
3.2的步骤1
说明
评估NB-IoT网络上行传输性能的重要指标
单位
Kbps
统计log的来源
3.2的步骤1
第15页
数,最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ,每个点分别计算再求平均。
10 下行MCS统计 下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数,最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ,每个点分别计算再求平均。
11 上行NPUSCH
Format 1平均调每次调度上行NPUSCH子载波数评估上行信道的调度情况 个 3.2的步骤1
评估采用的平均调制编码方式统计,可以间接反映了当前数据传输速率的大小
3.2的步骤2
度的子载波个数 总和/调度次数,每个点分别计算再求平均。
12 上行NPUSCH
Format 1
3.75KHz的比例
上行3.75KHz子载波的调度次数/总调度次数,每个点分别计算再求平均。
13 上行NPUSCH
Format 1
3.75KHz ST的比例
14 上行NPUSCH
上行3.75KHz ST子载波的调度次数/总调度次数,每个点分别计算再求平均。
上行15KHz ST子载评估上行信道的调度情况 个 3.2的步骤1
评估上行信道的调度情况 个 3.2的步骤1
评估上行信道的调度情况 个 3.2的步骤1
Format 1 15KHz 波的调度次数/总调ST的比例 度次数,每个点分别计算再求平均。
15 上行NPUSCH 上行15KHz MT子载评估上行信道的调度情况 个 3.2的步骤1
Format 1 15KHz 波的调度次数/总调MT的比例 度次数,每个点分别计算再求平均。
18 定点测试的Ping包成功率
Ping包成功的总次数/ping包总次数,每个点分别计算再求平均。
19 定点测试的Ping包时延
Ping包总时延/ping包总次数,每个点分别计算再求平均。
20 遍历测试的ping包成功率
Ping包成功的总次数/ping包总次数,每个点分别计算再评估室外遍历测试情况下的业务性能
%
评估室内外定点测试情况下的业务性能
秒 3.2的步骤3和步骤4,两种ping包大小区分统计
3.1的步骤2和步骤3,两种ping包大小区分统计
评估室内外定点测试情况下的业务性能
% 3.2的步骤3和步骤4,两种ping包大小区分统计
第16页
求平均。
21 遍历测试的ping包时延
Ping包总时延/ping包总次数,每个点分别计算再求平均。
22 定点测试的上行掉线率
上行掉线总次数/发起上行UDP业务的总次数。所有样本一起计算。
23 定点测试的下行掉线率
下行掉线总次数/发起下行UDP业务的总次数。所有样本一起计算。
评估NB-IoT网络的稳定程度 % 3.2的步骤2
评估NB-IoT网络的稳定程度 %
评估室外遍历测试情况下的业务性能
秒 3.1的步骤2和步骤,3,两种ping包大小区分统计
3.2的步骤1
4. 移动类指标
序号
1
指标
NB-IoT网内异频重选成功率
定义
NB-IoT网内异频重选成功次数/NB-IoT网内重选尝试次数*100%
2 NB-IoT网内异频重选时延
NB-IoT网内异频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数
3 NB-IoT网内同频重选成功率
NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%
4 NB-IoT网内同频重选时延
NB-IoT网内同频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数
5 TA区更新成功率
TA区更新成功次数/TA区更新尝试次数*100%
6 TA更新平均时延
TA更新平均时延=TA更新时延总和/TA更新次数
7 NB-IoT连接态脱网NB-IoT连接态脱网重搜平均时延=脱网评估NB-IoT脱网重搜时延 秒 3.1的步骤1,只涉及ATU设备
评估:NB-IoT跨TA List重选情况下业务和状态的连续性、移动性
评估NB-IoT网络位置区更新时延
秒 3.1的步骤1,只涉及ATU设备
% 3.1的步骤1,只涉及ATU设备
评估NB-IoT网内同频重选的连续性、稳定性
秒 3.1的步骤1,只涉及ATU设备
评估NB-IoT网内同频重选的连续性、稳定性
% 3.1的步骤1,只涉及ATU设备
评估NB-IoT网内异频重选的连续性、稳定性
秒 3.1的步骤1,只涉及ATU设备
说明
评估NB-IoT网内异频重选的连续性、稳定性
单位
%
统计log的来源
3.1的步骤1,只涉及ATU设备
第17页
重搜平均时延
重搜时延总和/脱网重搜次数
说明1:重选时延定义,重选开始->SIB1(不跨TA List)或TAU Complete(跨TA List)
说明2:TA更新时延定义,TAU Request->TAU Complete
说明3:道路测试中如有脱网则统计7,没有就不需要统计
5. 接入类指标
序号
1
指标
RRC连接建立成功率
定义
RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100%
说明
评估系统接入性能的重要指标;其中:以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试,到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功
2 RRC连接建立平均时延
RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数
评估NB-IoT系统接入性能的重要指标;其中:以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试,到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功
3 ATTACH成功率
ATTACH成功率=ATTACH 成功次数/ATTACH尝试次数*100%
评估NB-IoT系统接入性能的重要指标;其中:以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试,到终端发送ATTACH COMPLETE作为一次 ATTACH 成功
4 ATTACH平均时延
ATTACH平均时延=ATTACH时延总和/ATTACH成功次数
评估NB-IoT系统接入性能的重要指标;其中:以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试,到终端发送ATTACH COMPLETE作为一次 ATTACH 成功
5 DETACH成功率
DETACH成功率=DETACH 成功次数/DETACH尝试次数*100%
评估NB-IoT系统接入性能的重要指标;其中:终端触发关机作为1次尝试,到终端发出DETACH REQUEST作为一% 3.1的步骤4
秒 3.1的步骤4
% 3.1的步骤4
秒 3.1的步骤2,3,4
单位
%
统计log的来源
3.1的步骤2,3,4
第18页
次 DETACH 成功
6 DETACH平均时延
DETACH平均时延=DETACH时延总和/DETACH成功次数
评估NB-IoT系统接入性能的重要指标;其中:终端触发关机作为1次尝试,到终端发出DETACH REQUEST作为一次 DETACH 成功
秒 3.1的步骤4
7 SERVICEREQUEST成功率
SERVICE REQUEST成功率=SERVICE 建立成功次数/SERVICE 建立尝试次数*100%
评估NB-IoT系统业务建立性能的重要指标;其中:SERVICE 建立成功以UE上发Service Request后,到收到Service Accept 作为一次服务请求成功
% 3.1的步骤2,3
8 SERVICEREQUEST平均时延
SERVICE平均时延=SERVICE 建立时延总和/ SERVICE 建立成功次数
评估NB-IoT系统接入性能的重要指标;其中:以UE上发Service request作为服务建立请求, 到收到Service Accept
作为一次服务请求成功,两者时间差为业务请求建立时延
秒 3.1的步骤2,3
第19页
2.2 NB-IoT遍历小区及基站的统计
本章节指标数据统计来源于3.1“室外道路测试规范”的步骤1和3.2“定点测试规范”
序号
1
2
3
4
5
6
7
指标
小区遍历率(%)
基站遍历率(%)
室外道路的遍历率
重复里程占比
测试总里程
测试楼宇数
定点测试数
定义 说明
遍历小区总数/现网建设小区总数*100% 根据Dtlog统计遍历小区情况
遍历基站总数/现网建设基站总数*100% 根据Dtlog统计遍历小区情况
遍历的非重复里程/规划路线里程*100%
遍历的重复里程/测试总里程*100%
遍历的总里程
所测试的楼宇总数
所测试的定点总数
第20页


发布评论