应用安全日志分析系统
应用安全日志分析系统是一种用于分析和监控应用安全日志的工具。它可以帮助企业收集、整合、分析和可视化应用系统的安全日志数据，以便及时发现和解决潜在的安全威胁。
随着网络安全法的正式实施，举国上下对网络安全越来越重视，已经上升到了国家战略层面。网络攻击的动机由以前的炫耀技术转变为现在追逐经济利益和为了政治目的，各类网络攻击越来越多，攻击手段高度自动化，且越来越隐蔽。根据历年信息安全等级保护测评的结果来看，应用系统一直是信息安全体系中最薄弱的一环，信息安全事件时有发生。由于网络攻击行为的隐蔽性，需要收集安全方面的各类数据并进行深入分析才能发现或识别各类入侵和数据窃取行为，从而提高发现入侵行为的能力，及时采取应对措施。
为了增强应用系统安全状况的感知能力，迫切需要建立大数据安全分析平台，通过收集应用系统日志、中间件日志、应用服务器日志和网络流量等数据，对应用后门、网页挂马、数据泄露、安全设备绕过等安全场景建立安全模型，利用大数据分析手段进行深度分析，发现潜在的安全隐患。
本项目主要涉及以下几方面数据：
（一）网络和安全设备日志。
（二）应用系统审计日志,如应用系统操作审计等。
（三）中间件和应用服务器日志，如WebLogic、Tomcat、邮件、FTP等的访问日志。
（四）主机安全日志，如Windows、Linux等。
（五） 解析后的网络流量等。
建立大数据安全分析平台，完成对内外网各类安全日志收集、打标签和分类等工作，除了基本功能外，还要实现三个定制化的安全场景分析。
根据安全分析需要，将相关的日志收集入库，符合《网络安全法》、《网络安全等级保护条例》等法律法规的要求。
提供基本的日志查询和统计分析功能，符合等保三级应用系统审计日志要求。
提供常见的安全分析功能，如认证、网络、应用、终端等的威胁分析，Web访问、主机OS、VPN、病毒、网络扫描、Web扫描等的关联分析。
能与外部威胁情报集成，关联分析规则库用户可以定制。
提供如下三个安全场景的定制化大数据分析：
1. 通过应用系统进行的数据窃取行为分析
2. 安全设备绕过分析
应用系统后门和挂马分析
数据采集支持主动采集、被动收集，需要支持的数据采集方式如下：
主动采集：支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据；
支持多采集节点存活、健康状态监控，发现节点异常后，及时告警；
支持对采集节点性能监控，保证采集性能与数据量匹配，防止数据丢失。
数据处理（ETL）对采集到的数据实施清洗/过滤、标准化、关联补齐、添加标签等处理，并将标准数据加载到数据存储中，对于被标准化的数据应保存原始日志。
至少能收集和解析如下类型的日志数据：
主机：Windows、Linux、AIX等主机的各类安全审计日志等
a) 中间件：WebLogic、Tomcat，DNS,FTP,邮件等访问日志
b) 应用系统：用户操作审计日志等
c) 网络设备：安全审计日志
d) 安全设备：安全审计日志、WAF的入侵检测日志等
e) 网络流量：全流量解析设备解析后的流量日志。
日志的时间戳字段是事件发生时间，没有时间戳的日志自动加上时间戳。
采集后自动对日志进行解析并打上必要的标签，可以根据标签和时间戳检索。
按照一定的形式和要求将采集的日志进行分类标准化以便于集中存储管理和用户权限访问控制，比如：
系统资源登录操作日志：主机操作日志、数据库操作日志、网络设备操作日志、安全设备操作日志以及防绕行设备日志。
安全类数据是安全威胁分析与预警采集的主要数据，包含了各类网络设备、安全设备的日志。
系统各类登录、操作日志。
威胁情报。
数据的清洗过滤包括三个方面：
清洗：针对数据格式的不一致、数据输入错误、数据不完整等问题，支持对数据进行转换和加工。常用的数据转换组件有字段映射、数据过滤、数据清洗、数据替换、数据计算、数据验证、数据加解密、数据合并、数据拆分等；
修改：错误数据，产生原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车、日期格式不正确、日期越界等；
删除：重复性数据。
数据汇聚存储用于对采集上来的不同类型的数据进行分类存储，以满足数据分析的要求。支持多种数据格式的存储，提供多种存储方式。数据存储中支持的数据类型、存储方式、存储要求、存储周期等。
提供自定义正则表达式从全部安全事件中进行搜索的功能。支持普通、高级两种搜索模式，支持数据主题的选择、搜索条件的保存，支持快捷选择时间段。
检索结果可以导出为Excel等文件格式。
报表基本使用功能包括：报表查看、新增、修改、删除、导出、运行、自定义时间段。
报表权限：报表可设置权限功能，权限属性分为：查看、修改、删除。根据用户、用户组维度对报表进行赋权。
计划任务：报表可按照任务计划进行设计。支持按时、天、周、月的方式进行定时发送到管理员邮箱或归档。
报表展示可视化参数包括：图表名称、选择图表类型、图表数据维度选择。
图表类型支持大数据方式，如：散点图、折线图、柱状图、地图、饼图、仪表盘、象形柱图、日历图等。
收集应用系统访问日志，利用技术手段进行分析回答如下几个问题：
a) 是否有人在用自动化工具爬数据？
b) 如果有的话，哪些人或组织在爬？系统内部用户还是外部人员？
c) 采用什么技术手段爬的？爬了多少数据？
d) 应用系统是否存在导致数据被爬的漏洞？
用户可以选择分析的应用系统和时间段。
通过对应用日志等进行分析，回答如下几个问题：
a) 应用系统是否被软件开发公司预留了用于维护或者其它目的的后门？
b) 是否被黑客攻陷并植入后门或木马？
c) 如果有把他们找出来，并提供相关证据。
用户可以选择分析的应用系统和时间段。