大数据产品

博易讯大数据平台是基于本公司内部高性能网络处理平台、 应用识别、网络审计、 入侵检测/防御组件基础之上，集流量趋势分析，网元设备运维分析，攻击流量分析，用户行为分析，用户画像为一身的大数据流量分析平台系统。
电信网、企业网、校园网等典型网络流量被采集提取后形成的海量数据是一座价值无限的矿山。按照何种方法，对如此庞大、动辄日PB级的数据进行有效加工、挖掘、存储是一个挑战。由此我们的大数据系统应运而生。它通过收集电信网、企业网、校园网等典型场景话单数据，进行存储。并在此之上，经过多种维度汇总形成丰富的报表系统，再辅以机器学习、深度学习等AI技术，生成智能决策结论。帮助用户更好的运维、运营、安全加固网络环境。我们的大数据产品在电信移动网，宽带网，企业网，校园网都有成熟的应用案例。

大数据系统技术架构示例

采集层收集XDR文件、Socket接口字节流、爬虫采集网页文件，支持结构化、半结构化数据进行清洗、转换处理，存入Hadoop平台中HDFS和Hbase系统中。以此作为数据仓库基础，通过离线计算、实时计算以及机器学习库的应用，获得各类汇总统计数据、分类数据。在应用层，依赖大数据可视化技术以趋势图，饼状图，柱状图，表格展现统计数据，并支持钻取，切片、切块、旋转等功能。

大数据系统组件架构示例

最常见的技术方案中，Flume实时读取每个XDR话单文件，并将文件内容写入Kafka这个高速高吞吐的消息队列中进行缓存，形成ODS层原始数据。为下一步实时流计算和离线批处理提供消费数据源。 在数据分析部分，由Spark Streaming/Flink来读取消费Kafka数据ODS层的原始数据，进行简单的数据清洗(字段格式转换，填入默认缺失值等操作)，并同时根据业务需要读取MySQL等DBMS中维表数据，将两者进行简单的实时关联匹配，达到为每条数据记录打上业务标签的目的，形成DWD基础指标层数据，并回写入Kafka；接着根据业务的报表需要，在DWD层的数据基础上，按各种维度指标进行轻度汇总，形成轻度DWS汇总数据，并回写入Kafka；根据业务需求，再次消费DWS轻度汇总数据，进一步汇总形成可供直接系统进行Ad-Hoc查询的报表应用数据。在离线批处理部分，将ODS层（DWD层）数据Sink写入Hive中，由AirFlow调度工具定时触发Spark SQL作业 ，读取Hive数据。调用Spark MLib内置的一些机器学习库，进行机器学习训练和运算,用户画像标签等等复杂运算，最后将数据从Hive导入到ClickHouse中，供应用系统进行即席查询。

庞大海量的现网数据量

服务器数量 300+

日处理数据量 200+

报表数量 3000+

星象流量分析系统

星象流量分析系统是一套集流量趋势分析，用户行为分析，用户画像为一身的大数据流量分析平台系统。它通过数据包采集和智能分析设备吐出的各种维度流量日志话单为数据源。运用采集工具这些日志话单数，并将数据进行清洗、转换处理，存入Hadoop平台中HDFS和Hbase系统中。以此作为数据仓库基础，通过离线计算、实时计算以及机器学习库的应用，获得各类汇总统计数据、分类数据。在应用层，依赖大数据可视化技术以趋势图，饼状图，柱状图，表格展现统计数据，并支持钻取，切片、切块、旋转等功能。用户可通过丰富多样的报表展现形式，查阅实时网络流量趋势，流向趋势、用户行为分类、标签分类，为运营营销提供强有力的数据报表支持。

5G移动网大数据检测系统分析

5G SA业务分析系统核心功能：

1)信令分析：允许实时或离线分析信令，多接口查询，可同时分析4G、5G信令，并对信令字段和码流进行解析，为管理人员提供便利。

2)用户分析：在终端方面，通过手机号和IMSI以及IMEI编号，对用户精准识别。在应用识别方面支持3400+应用识别，且实时应用特征补充。因此可对指定用户全方位分析，包括终端信息、感知评估、业务质量、业务偏好、用户行为、移动分析、信令分析。

3)综合分析：在用户，终端，业务以及应用这四个纬度上进行综合分析，提供全面、详尽、清晰的可视化管理功能。并且可以定义相关条件以生成报表，方便快捷。

4)业务感知：对用户统计、网络性能KPI、网络基站质量监控三个方面进行感知，监测连接建立成功率、吞吐率、网络时延等指标。及时发现网页浏览、上传下载、视频点播过程中的网络异常。

5)专题应用：例如基站效益分析，通过流量大小分析基站利用率。敏感网络事件、违法违规信息、涉密等高危行为监控。异常流量的多策略封堵。满足客户多种需求。

校园网络行为态势感知

近年来的高校扩招，各个高校无论从师生人数还是从学校规模均有较大的发展，校园网络在某种程度上已变成了一个大型的综合性的网络，其规模甚至已经超过了很多城域网，这样的网络规模对网络中的各项应用的记录有着更高的要求，因此校园网络行为态势感知系统应运而生。从网络整体态势，例如流量分析、安全分析，到校内网络资源分析，例如校内资源访问、资源利用率，再到校园用户行文分析，例如用户流量、网络防沉迷、敏感信息预警等等，网络行为态势感知系统通过大数据分析让网络行为变得清晰可见。

数据分析之网络信息安全监管平台

网络信息安全监管平台系统可以实现对用户、业务和流量的全面综合识别，并基于管理策略进行流量管理。同时生成各类日志供给市场、服务、运维等部门，支持其它应用系统的调用。核心功能包括：

1)协议识别：协议识别：精准识别应用和记录流量，可用于网络资源优化、流量计费系统、运营商统计日志等多种场景。

2)镜像功能：支持按应用协议、流量方向、五元组等规则进行镜像，最多支持10万镜像规则。

3)流控功能：系统可实现对网络流量的精细化管理，例如管理用户行为，限制一些与业务无关应用的网络资源的带宽。

4)文件还原：支持多种文件还原，例如HTTP、EMAIL、FTP文件。有效进行网络行为监控，防止敏感信息泄露。