智能日志中心平台荣获“第二届金融数据智能运维创新优秀解决方案”
近日，日志易智能日志中心平台历经网络投票与两轮专家评选后，荣获“第二届金融数据智能运维创新优秀解决方案”并受到众多评审专家好评。
“日志生态”、“智能日志分析”、“自研创新”、“可视化操作”等专家评语关键词也正是日志易多年来为客户逐一实现的价值。
日志易智能日志中心
1、解决方案简介
日志易智能日志中心平台是一个配置灵活、功能强大、容易使用的日志管理工具，它可对日志进行集中采集和实时索引，提供搜索、分析、可视化和监控告警等功能，帮助企业进行线上业务实时监控、业务异常原因定位、业务日志数据统计分析、安全与合规审计。日志易一直坚定不移地走自主研发、自主创新的技术路线，2018年发布国内首个专用的日志搜索分析引擎Beaver。日志易采用分布式、松耦合、可扩展的集群架构，各模块可水平扩展，如果哪个模块成为性能瓶颈，只需要增加运行那个模块的服务器数量即可。日志易已在数百家大型企业机构得到应用，获得政府、行业、客户等各界的普遍认可，与此同时日志易积极投身行业标准化建设，为行业发展献计献策，积极响应国家产教融合政策，取得了良好的社会和经济效益。
2、应用场景痛点
在互联网时代，各种各样的行为都会被以“日志”形态记录存储下来，这些日志数据包括了用户的基本信息、网络浏览行为、交易行为、社交行为等。而对于金融行业，面对每天交易所产生的海量数据，以及各种服务器、防火墙所产生的日志，如何在大体量数据中实现集中管理、搜索分析、监控告警、故障溯源及挖掘有效信息加以利用成为一个重大难题。
- 日志分散难以管理
日志产生于不同的业务部门，分布在不同的服务器上无人重视，随时可能被覆盖和删除。只有将这些分散的日志数据系统收集，才能相互对照，发现问题所在。以投资银行为例，传统模式下，交易部门和研究部门的数据是相互独立的，甚至数据的储存格式都不同，由此形成一个个信息孤岛，造成不同系统间关联分析困难、事故原因分析困难。
- 缺乏海量日志处理能力
数据体量大带来的问题不仅仅在于存储，更重要的是庞大的数据无法利用。作为成熟的金融机构，随着网上支付、手机银行、互联网金融等新一代业务的出现，每天产生的各种业务数据、网络设备数据及防火墙数据等可轻松突破TB级别，传统的数据库及系统架构已经无法支撑如此庞大的数据量，传统方法处理效率低、时延长，企业完全淹没在一片数据汪洋之中。
- 日志格式复杂难以解读
就数据处理而言，最容易处理的是企业内部的传统数据——结构化数据。然而随着信息技术的飞速发展，日志数据的范围已经扩大到企业的各个层面，服务器、各种网络设备及五花八门的应用软件催生了多种多样的数据格式。这些数据的可读性很差，对于普通人来说无异于乱码，即便是专业的技术人员，也很难一眼看懂一整条日志数据。
- 高昂的使用成本
作为电子货币与交易信息传输系统，一旦出现账户盗用、虚假信息等现象，将影响到国家金融与个人经济利益，又涉及到交易隐私的安全性，同时还增加了金融风险的传导与扩散危险。面对海量日志带来的运维难题，无论是购买国外最先进的产品还是聘请专业的技术团队，对企业来说都将是一笔不小的开支，需要耗费大量的人力物力。
3、解决方案亮点
- 搜索引擎Beaver性能优势
国内首个自研日志搜索引擎，真正的自主可控日志分析产品。同样资源配置情况下，它可比国内大多数采用ELK架构的日志产品处理更多数据；同样日志量的情况下Beaver入库查询的效率更高。基于ELK架构或底层采用ES的产品在大数据量查询时会报OOM的异常，导致查询崩溃，采用C++的Beaver则无该问题。
- SPL（Search Processing Language）灵活统计优势
SPL主要优势是通过其丰富的命令实现日志的统计分析、组合、处理与计算。普通的SQL由于局限性无法满足要求，同时SPL本身需要大量的研发人员进行开发与实践。因此目前国内成功开发并应用SPL语言的公司并不多，其中日志易可提供的SPL命令数量已达到150个之多，覆盖绝大部分日常的日志分析场景。
- 基于APP生态的复杂日志解析
各行业的IT业务日志种类千差万别，单纯想要从正则方式解析或适应复杂的日志需求简直是天方夜谭。因此经过多年的迭代和优化，智能日志分析平台搭建了APP生态，可通过一键导入实现日志数据的自动化解析。同时，平台本身也研发出了自动划线解析、kv-正则、Geo解析、字段格式化等20多种智能解析规则来适应多种场景。
- 机器学习与智能运维
基于日志易平台的大数据处理能力，日志易团队运用先进的机器学习算法如CAVE、IForest、KDE等，实现针对海量数据的异常自动发现、KPI检测、容量预测等AIOps功能。
本文由2020年“第二届金融数据智能优秀解决方案”评选组委会授权发表。