乘大数据之风，助金融企业应对 TB 级交易数据
据报道，2017 年 618 期间，全网 47 家电商共实现交易额 1537.2 亿元，相当于 2016 年电子商务交易总额的 6 %。其中，京东全渠道累积交易金额超过 1199 亿元，苏宁易购在 618 全天全渠道交易增长 209 %，奠定了 618 全民网购第二大节日的地位。
到了 2018 年，各大银行金融机构也加入 618 大军，各式购物满减、分期免息、积分兑换活动，缤纷炫目，刷卡还有花式优惠、返现、送礼等，可谓赚足了眼球。
虽然呈直线上涨的交易额为各大电商平台、金融机构带来了无限收益，但由此产生的 TB 级交易日志数据，也为各大银行、支付企业的运维工作带来了极大的挑战。在 618 期间，各大银行、支付等金融企业的业务系统每天可以产生数以 TB 计的交易、支付、渠道等各种类型日志数据，运维人员需要建立全新的处理架构和策略，来应对海量数据对交易系统带来的冲击，工作任务可以说不是一般的重。
下面，就让小编为大家介绍日志易的日志大数据解决方案，帮助银行、支付等金融企业搭建全新的智能日志中心，应对海量日志数据挑战，解一解运维同胞们的燃眉之急。
一、为什么需要日志数据
以银行核心业务手机银行 App 为例，为了对系统运行健康度作出实时判断和快速决策，业务运维团队需要对用户频繁访问的页面（如 App 登录页、跨行转账页面等）模块的访问量和平均响应时间做实时统计分析，这就需要对 TB 级日志数据进行实时搜索与处理，从而挖掘出对企业、对系统有价值的信息。
二、为什么需要日志易
如果采取传统的统计方法和技术对日志数据进行处理、分析，受限于人工、方式方法等因素，很难同时兼顾 Fast （快，实时搜索）、Big （处理数据量大，TB 级）两方面需求。
特别是对于银行、支付等金融企业来说，当业务系统出现故障时，往往涉及十几个模块，且各个模块日志数据分布在不同的服务器上，要是依靠人工或统计方式查找，将会非常不便，并且效率低下。此时，便急需一款专业的日志分析产品，帮助企业解决上述问题。
日志易作为企业级日志大数据实时搜索处理产品，引入了人工智能、机器学习高新技术，依托灵活的 SPL 语言，可为金融企业打造一站式智能日志中心，实时搜索、处理海量日志数据，助力企业智能运维。
三、当前业务挑战
1、海量日志数据，存储分散
618 或者其他重大营销活动期间，金融企业每日可产生 TB 级的日志数据，数据量极其庞大。此外，各个交易系统组成结构多样，产生的日志格式不规范，存储复杂且分散，缺乏统一收集和管理日志的平台。
2、日志利用价值低，无法实时分析日志
当前，很多金融企业对日志数据的利用相对较为单一，没有更深层次的挖掘和分析。很多时候，面对海量日志数据，金融企业内部系统无法做到实时分析数据，并且由于金融系统的特殊性，在排障时存在授权、登录、查询、分析等一系列步骤，分析维度不能灵活变动，不仅耗时，也无法规避人为失误和无效分析。
3、统计需求复杂，缺少数据清理
金融企业日常对于日志数据的统计需求比较复杂，既要分析交易系统运行状态，也要对各种失败类型的数量进行汇总统计并输出走势图。此外，金融企业的很多业务需要对数据进行收集、清理，包括日志数据的清理，但却缺少数据清理的手段。
四、日志易解决方案
日志易可以通过以下功能，为金融企业提供专业的大数据日志解决方案。
1、日志统一管理，高性能，可扩展
采用日志易平台后，金融企业所有相关日志统一汇总至日志易，用户只需点击日志标签，即可快速查询到所需日志。1 秒内可以接收处理 300 万条以上日志数据，查询 1000 亿 条数据仅需不到 60 秒，并支持横向扩展，在日志量增加的情况下也不会造成速度降低。
2、完善的权限管理，日志信息更安全
金融企业的日志数据中包含大量业务信息及用户隐私信息，如何规避敏感信息泄露是企业的一大难题。此外，近年来国家网络安全法也对日志数据的管理和保护进行了明文规定。
日志易采用 HTTPS 协议保证日志数据传输过程的安全性，同时通过完善的权限管理体系保护日志数据安全。日志易可对用户分组的权限进行角色设置，统一提供日志来源、告警、仪表盘、趋势图、自定义字典、字段提取规则、报表、定时任务等各种资源的权限控制功能。另外，日志易还可对日志中包含的敏感信息如账号等进行脱敏，可在采集日志时脱敏，也可以在用户查看日志时脱敏。
例如，日志易提供日志分组和用户分组功能，保证只有金融企业运维团队才能查看相关业务日志数据。2017 年下半年，日志易成功通过 ISO27001 安全认证，标志着日志易在信息安全管理与质量管理体系方面受到业界权威机构的认可，能够提供令客户放心的产品与服务。
3、业务日志关联分析，实现分钟级故障定位
日志易可自动从日志数据中提取关键字段，将非结构化日志转化为结构化数据，依托灵活的 SPL 语言(Search Processing Language)，通过关联字段对不同子系统业务日志进行关联性分析，洞悉交易细节，并可生成多维度报表、图表，助力运维人员更准确地做出故障点判断。
以上述银行核心业务手机银行 App 为例，使用日志易后，用户可以将所有模块日志进行统一收集展示，各模块间通过唯一的业务流水号进行关联，这样运维人员在前端搜索框输入流水号，就可以对日志数据进行自动关联查询，并将日志按时间排序，保证日志的显示顺序和业务模块的处理顺序一致。
日志易还提供“上下文查询”功能，运维人员在筛选出问题日志后，可通过上下文查询快速提取问题日志的前后各 100 条日志，方便快速定位故障原因，实现分钟级故障定位。
五、日志易带来的价值
1 有效管理数据资产，辅助系统排障和优化2 优化运营效率，提升用户体验3 性能管理，满足监管合规要求
日志易还实现了几十种机器学习算法，打造智能日志中心，助力金融企业落地 AIOps，用更优质的产品和服务回馈客户，为金融企业客户的交易增长保驾护航。