2024年1月1日发(作者:)
CERNET学术专栏囵 蒌圆 万兆校园网上网日志查询及入侵 检测系统构建 摘要:为解决万兆校园网出口海量数据的采集、用户上网日志明细的快速查询以及入侵检测的问题,基于NetFlow、Nfdmnp、 Nfien和Nf ̄ight构建了一套万兆校园网出17:流量日志采集分析系统,既实现了对NetFlow单向流的处理,也实现了对双向流的重构, 因而相较传统的NetFlow流量分析系统易于识别网络异常行为 此外,联动计费系统与校园网出口流量日志采集分析系统开发了 万兆校园网上网日志明细查询系统,该系统能{蔓1()s内为校园网用户提供详细的上网明细,也能诊断和监测网络攻击行为,以及配 合安全监管部门定位某一上网行为的用户身份本系统提供了简单直观的Web及图形化查询界面 口文/劳 l圩李军理苏磊朱骏君 随荷新技术和新臆川的发展,互联网使只】模式已经发生了显著 技术是高速网络中常用的一种方法,它在提供数据细 以及可 扩展性上具有较好的平衡性,且不会成为网络的瓶颈或故障点 1 2-31 o N tFlow足由Ci sco公司研发的一种流持监控技术.数据 变化,¨前.网络视频、网盘、})2P及移动App等新应用占据了大 流为单向流,包含有:源地址和口的地址、源端口和目的端[J、 壁 络带览?为提高用户上网体验,大学校同网m r丁已进入到万兆 协议类型、字 数、包数量和流数量等 本文在中周农业大学 网络时代万兆阿络产生的大流量上网13志数据对网络管理人员提 校闰网m【j的两台万兆Juniper SRX3400防火墙内L『上配置了 m J 睹多新的管 哩要求,通过构建校同网上网H忐查询及入侵检测 N 【F10W J{=将接口的数据流通过UDP方式发往校内的13志服 系统,将出u的流量进行采集、}1 总和分析,了解校同网爿]户的f: 务器 网子亍为.包于I 流揎构成、协议分布和用户活动情况,按需为刚户提 I1前有很多命令行或图形化的13志处瑚工具可供管理员对 供』 网Li忠}1月细查询.以及校外用户对校内资源的访问情况(特别 口忐服务器接收到的NetFlow数据流进行渎或过滤杏询操作, 是危险的访问).将对规范网络管理、合理分配网络带宽、增强信 本文往日忠服务器上配置日志处珲工具NfdumP及Nfsen(含 息安全以及确保校园网络环境的平稳,具有最要意义… NtMght)用于接收和分析NetFlow数据流,并将其存储至文件及 Nfitump是一款被使用最多的Nellfow命令行工具,具有执行 现有佼阔网出口一般包括计费、流控、防火墙、负载均衡或 数据库中。 路 器等波箭或系统,柯些高校为备查另外部署了上网行为审汁 系统,fH这 系统提供的原始口志信息相互独说、格式不统一、 速度快、州时支持IPv4和IPv6、过滤查询功能强大的特点、但 信息不够完褴、仔储量大、查询缓慢、流量信息与汁费流量有较 命令行显示不够直观明了,本文【太l而选取并配置厂Nfsen工具作 大差距等原闰难以直接用之实现以上的目标 为此,本文利用 为NetFlow的可视化查询工具” 1,它使用Nfdump工具包收集及 NelFlow+Nfilunl Nfs +NIslight搭建了校园网出口流量13忠采集 处理NetFlow数据流,但较Nfdump多了可视化查询功能,简单 分析系统,并融合校同网计t费管理系统.自主扑发r一套万兆校 』=1.易于扩展。 网卜网H志查询硬入侵检测系统,集流垃采集、存储、查询、 Nt lFlOW采集数据时会将单个逻辑流分成多个分开的单 分析于一休,既能快速对校同网用户提供详细的上网明细,又能 向流.其并不能保持对客户机(C1ient)和服务器(Se FVe r) 诊断和 测网络攻山行为或备查安全事件,并提供r简单直观的 问逻辑网络会话的跟踪..无论是命令行的Nfd -mP,还是图 wrh及 形化查询界面、 形化的N rseI1,都仅对NetFlOW单向流进行处理操作,不 易对一些较为隐蔽的攻击进行识别。为解决此问题,本文 相关技术 进一步引入了美国吗里兰大学与AT&T实验室共同研发的 Nfsight,它作为Nfsen的插件存在,用于将NetFlow的单向 刚 流 数据的收集和分析有多利·解决方案,而N IFInw 数据流构建为双向数据流,并可提供Cli nt/Se rve r识别及 2o侣1中国教育网络43
固瑟蚕圈CERNET学术专栏 (3)配置合适的采样率。 ·‘— 本文设置的采样率为300,不建议设置太小的采样率,过于 频繁采样会降低设备的性能。 \ set forwarding—options sampling input rate 300 (4)指定收集NetFlow的日志服务器设备。 set forwarding——options sampling family inet output flow-serx er 图1 Nfsight工作原理 202.205.88.5 1 port 2055##指定收集设备及端¨ set forwarding—options sampling family inel output tlow-server 入侵检测功能I ”、 N ght的工作原理如图1所示,描述如下:服务检测组 件(Service Detector)获取NetFlnw数据流,通过推理判断网 络会话的Client和Server,从而将单向流转化为双向流,并保 202.205.88.5 1 version 5槲指定NetFlow版本。 如果未配置NTP,则第(4)步的指令在提交时会报错。 2.系统架构 系统的硬件平台仅需一台虚拟服务器,安装64位CentOS 存至文件中,同时,将Client和Server信息保存至MYSql数 6.7操作系统,配置2颗2核主频2GHz的CPU及8G内存, 据库;入侵检测组件检测双向流中可疑或频繁的网络行为, 出口日志保存于日志服务器挂载的一块网蕊中..对于 卜国农 将其和事件通知一并写入MySql数据库;聚合脚本周期性执 业大学校园网规模(月均2.5万活动用户,IPv4出口带宽为 5G),本系统自2015年7月至2017年7月共2年时问内, 行用于维护数据库,其提供了每5分钟、每小时和每天三个 4.层次的数据聚合;可视化查询提供过滤查询及图形化显示网 所保存的出口13志约为1.2T,可见,NetFlow格式的出口日志 络行为的Web用户界面。 所占空间非常小。系统的软件平台涉及较多的应用软件,这些 (2)NetFlow图形化管理软件nfsen及其插件Pm-t Fra<·km 、 服务检测组件在将单向流转化为双向流的过程中,Client和 软件从功能上可分为: (1)NetFlow捕获及处理软件nfdump; Servm·的区分是其中的一个难点问题。Nfsight在一个采集周期里 的算法实现了Client和Server的区分。过程如下: (本系统设置5分钟采集一次),通过启发式推理和贝叶斯推理 nfsen events、nfsight;(3)Web服务器及Php脚本支持环境: apache、php和tomcat;(4)数据库服务器——I”ysql;(5)功 能软件所需的支撑软件:perl、rrdtool、apr、apr—util、pci 其 1.Nfsight合并源、目的IP(含端口)相同的数据流。 2.Nfsight进一步合并源IP、目的IP(含端口)相反的数据流。 中,nfsen、PortTracker、nfsen evenets和nfsight软件包括有前端 3.Nfsight通过启发式推理辨识网络事务中的Server和Client 和后端程序。前端指的是Php语言编写的Weh程序,后端指的 端Server相较Client的判断条件有:时间戳(timestamp)较大、 是Perl语言编写的管理程序及配置文件。按需成功编泽配置后, 问到Nfsen和Nfsight的图形化管理界面。 端口较小、端口小于1024、端口在unix或linux的/e re/services 则浏览http://主机IP/nfsen以及http://主机1P/ufsight即可分别访 l{】有定义、终端端口或IP为固定值等。 4.在不易区分Server端(例如时间戳相同或端口相同的情况) 此外,本文基于iava语言,结合计费管理系统,研发_r 上网日志明细的查询,或可查询出针对某个IP、某段IP或 某些服务端口在自定义时间范围内的上网日志明细,因而即 时,则利用贝叶斯推理将过程3的各类启发式推理的结果进一步 web上网日志明细查询系统,以实现精确到用户账号的单次 进行综合,通过概率计算识别Server端。 校园网上网日志查询及入侵检测系统构建 1.NetFlow的设置方法 可作为校园流量计费系统的验证系统,也可作为辅助的安令 管理系统。 (1)要在Juniper SRX系列防火墙接口上配置NetFlow,首 先必须要设置NTP。 set system time—zone Asia/Shanghai##设定时区为上海 set<late ntp 202.205.81.48##手动与时间服务器校时 set syslem ntp sel·ver 202.205.8 1.48##配置校时服务器 (2)住欲取样的防火墙内口配置NetFlow。 set interfa ̄’ s xe-3/0/1 unit 0 tamily inet sampling input output 应用实践 1.校园网上网日志明细查询系统 为防止校园网用户浪费出口带宽资源,口前多数高校校同网 趋向于采用流量汁费策略。在网速快、多媒体及App应用普及、 软件客户端会自动更新的情况下,有可能产生用户不白知情况下 的大流量网费。如果用户对其流量产生质疑,如何快速在大带宽 44中国教育网络2018
二二二二二二二二=I CERNET学术专栏匝 圈 的高速网络下为 提供划 应的上网明细J亡显承要. 【lI前高校的计 系统昕提供口 明细功能仍有欠缺,表现 上网叫细仪能提供 htt}) 问fI , 速度缓慢 (2)按川厂 查询I 网[1志叫细 系统实现了 _j汁费系统的紧密结合,能够针肿川户l 网账 淘川户的上网rJ志叫细,或根据上网IP定位H{户身份此处 给 了根据账号夼询单次卜网明细的功能说口JJ 此功能 校 网 Udl,歧非hll1)的日志获取 到或小全.且查询 。水文 F N iflOW…I 1 H志平¨引‘赀系统开发的校陆I网J-网 汁费if,经常使HJ.1 ̄IJ,qJ于与汁费对账使川 . Ij志fJI]细 询系统,I1f实现利H{lP或汁费网关账号 询H】 按计费用 账号查询其历史一I 网}Jlj细的功能 而{nJ图3所 :l=刚叫细的功能. IJr查}flJ校I大】特定网段的敏感端¨访问信 按需输入校同网账号、I 刚_Jf始及il; ̄,jhfi,J’问的 询条件,Jf 息,或查 U某一}I1f『『lJ段内访问校外某一地址的刚户明细 分为 点击台找,则系统会查m对J、 账号 在指定时M段『人J的所 上刚记 而 僻理 手¨面 校同网川户的子功能一本文仅介绍管理段的 录信息, 爪 贝而的底部 功能 (1)按Il,或端f I 询f 网EI志明细 互——■l■… 系统提供r址于:源地址、源端口、目的地址、目的端l-1、 仪向地址或双 端r]查询某LLII'HI段内 网明细的快速查询=奠I】下 ” ” ^ _ : _■.t■ t■啊 。 ’r 、} ^J 日 v^ B 以源地址 询为例进行说明 源地址台询功能模块可根据输入的源IP地址、L网开始时 问歧他止口、f问(以天为单位), 洵出对应时间段内 I I数据包 i}i源 为此IP的所有J 网¨志明细:例如输入 2的查询条件, 墨裔●—■■■ ■ 目‘ ’咖l ■ tt ■一日 … m ■■精 哺■“啊 ●■■ , ■■_ ● 髓ih 脯 lt‘J●I■^月 …■朔■ * ■艚|- w 0, · ■M ■^^ ■■^ ……1,¨n∞ l" … ,,■ Ⅱm 片点 查找,则 台州度nfdunlI 进行过滤食询,『L1]时将查询结 果写入一个㈧文件, :在 2 面给m链接 5 ■t^-● ■■月^^ l州 …to1 l¨……●·” m ●’ mu■M-·w ^M '峨月 ’ft b啪 2} 1 口 *∞ l;“ I珊∞ ……l, ■ w” l●* 点 2的Ixt查渤结果文件链接,则可查看相应的网络访 I】■R^呐 …4∞ 1●,l 问H 叫细 本系统的k网r{忠I{J】细查询结果以网络五元组的格 式给j}1.铒一行均包括:H,j‘M1(Data fi,-st seen)、 议(Proto)、 源地址及源端Fl(Slv IPA(hh·:P…·1)、口的地址及rI的端门(Dsl IPA(hh·:Port))、流城大小( les)等信息 渤时间段内的总计流量大小(Iolal bytes) 图3账号在指定时间段内的上网记录查询 点击 3所食…的某条上网 录f已录的IP地址链接,则 dumI, 成对幢11 本次j f“J登录时问刮断开时 洵结果的尾部(最 后台会捌川nf细 通过此功能管理员可轻松匝I答用rI在什么时间与哪个【lJ的 后例数4")则址本次查湖的汇总信息,其 II经常关注的是本次 间内的所有网络访问Ij志叫细,所查结果为IP的双 F{志明 通过此模块可以怏速查询 指定IP或端【j在某个时问段 服务器进行交瓦、流量集I}l1在哪些[1的地址、所使川的协议 内卜j哪些IP发牛过信息交 ,其最大的特点是快速(一般在 和端口、共计产生r多少流量等信息,从而减轻管理员的查 IOs内即可完成一次查询操作),也可完成对某些安全事件的 询 作量、此外,按用广1 询f 网H志日』j细程序还可作为计 询 费准确与 的一个验证,这部分功能目前也已经在fI]户向助 平台k提供 (3)服务器网段安全查询 校外对校内服务器所进行的攻击中,某些攻击是正常的网络 ■T l aI■女牟‘ n ‘‘日I■ ■ 访问(例如已获得了服务器的访问权限.例盘lJ获得rr SSH权限、 数据库控制权限、远程桌面权限等) .这种情况在中国农大校同 网实际运行过程【{_j曾有发乍,主要集中在学院自管的服务器m_’ l 此类攻击址通过正常访问进行的,所产生的流量或异常数据包许 }。 ^i■●■■u●■■●-t日 不大,不容易被发现。为解决此『【f】题,本系统提供r针刈谓艮务器 t一},lIl/ll,lllaN ̄t柚■,-¨2瑚■ ■■毗丑U,U■■■L■■L盈‘■‘■U虹啦 l田·_L■ ‘ 敏感端口的安全查询功能 以查咖校外通过ssH端LI访问校内某段地址为例:根据 }.一‘ 。·f】 . .’; t 0 输入的服务器网段、L网开始和上网结束时间,呵查询出指定 图2按源地址查询上网日志明细的界面 时『兀J段内访问此网段22端口的所有~L网明细,点击卡fj应链接, 2o18 1中国教商网络45
巨E耋翻CERNET学术专栏 回应的数据包,经常在服务器遭受攻击时产生?危险端口包括 远程桌面的3389、ssh协议的22、数据库的3306和1521、linux webmin的l0000等。 在2016-7—1 1,查询到202.205.91.97的无效数据包数量达到 了7170HD个;进一步查询此IP当天的上网明细,发现虽然其发 生的总流量仅为565.7M,fH自凌晨起校外的几个IP一直在不问 断访问它的3389服务直至早上8点多;再一次查询这些校外IP 的网络明细,发现其不仅对202.205.91.87,还对此网段的几台服 务器进行了3389端口的频紫}力问,而这些机器分别是不同学院 图4 Nfsen显示lCMP存在异常 课题组的服务器,由此推测此网段的服务器Ⅱ!遭受对3389端I_=I_ 的攻击。网络管理员将相关情况告知卡¨关负责人,并进行网络拦 即可查看具体的E网日志明细,以排查是否有异常访问。 2.异常流量实时监测 截,及时阻止了事态的恶化。 本文介绍了中冈农业大学万兆校阔网上网日志查询及入侵 Nfsen的图形化监控界面可实时监测出口流量信息。管理员 检测系统构建:基于Nfdump和计费系统实现 lOs内定位到 可侧重分析网络流量图出现的尖峰信息及原因,占用了校园网出 用户身份的L网明细查询,基于Nfsen及Nfsight的图形化接口 口大带宽Top N的lP地址,校园网Top N的应用,正进行端口 实现了网络流量构成及异常流量的快速分析,并基于Nfsight对 扫描的机器等。 Netlfow单向流的双向重建和对数据库的聚集过滤检索,实现了 图4显示在2017-7—30 16:35左右校园网出口曾出现了 对流量不明显入侵的检测。日前该系统不仅成为校同网计费系统 ICMP流的异常情况,管理员在异常处点击鼠标选定时间点、并 的一个辅助子系统,对用户提供流量日志明细查询及{{ 费验证, 没置过滤条件后即可查出对应时间所发生的具体ICMP流的明细 而且也成为了校同网安全监控及日志审计‘系统的一个有机组成部 信息 、 3.非大流量入侵检测的诊断案例 分。囱(责编:杨洁) (作者单位为中国农业大学网络中心) 图形化界面虽然易于对异常流量进行掌控和分析,但很 多时候黑客对某台设备的攻击并不会导致机器流量异常。本 系统通过对Mv sq1数据库的汇总统计实现了对海量网络流量 日志中非法行为的准确定位。要实现此功能,需在Nfsight配 置文件中预先定义校内IP的范围。图5为系统所使用的入侵 检测方法。 图5中,无效数据包(invalid—packet)一般为服务器拒绝 图5入侵检测方法 46中国教育网络2o18


发布评论