全栈-远程-1个月
¥18-30K/月
技能要求: Kotlin,ElasticSearch,Java
经验要求: 5-10年经验
程序员客栈
2022-06-14 14:00
工作描述:
项目编号:【19936】
https://github.com/opensearch-project/security-analytics 这个是工程所在
需求(在此工程里添加下列功能):
Field Aliases Creation字段别名创建
内容:
1. Create Index Level Mapping(创建索引级别映射(Mapping),这个Mapping和数据库里的表结构定义schema很像,就是elastic search里的mapping)
2. Use Field Aliases to rename the fields at run time without having to perform ingest time transformation 使用字段别名在运行时重命名字段,而无需重新提取时间转换

工程介绍:
Security Analytics 是 OpenSearch 中安全操作的开源解决方案,通过自动化威胁检测和威胁分析来解决运行安全操作的成本和复杂性。 Security Analytics 的威胁检测引擎预装了一组检测规则,用户可以对其进行自定义和扩展。还可以优化威胁检测引擎,通过识别与标准和自定义攻击模式匹配的事件序列来仅发出可操作的警报。检测也被分类到流行的框架中,例如 MITRE ATT&CK 框架,并分配了一个风险评分,该评分可以从外部威胁情报来源进一步调整。

用户从各种日志源获取数据,安全分析仪表板显示按威胁类型分类的所有威胁检测的实时视图。用户从他们现有的安全产品之一(例如 Splunk)添加日志摄取,或直接从各种支持的日志源摄取。预先打包的规则针对日志数据执行以生成发现/威胁,这些发现/威胁在具有严重性、类别和可操作步骤/剧本的可视仪表板上表示。用户可以创建新的威胁规则,或使用日志模式检测功能自动创建威胁检测规则。 Security Analytics 对 Splunk、Wazuh 和 ArcSight 以及其他流行的 SIEM 产品进行了开箱即用的集成,以提供额外的规则和发现。设置向导引导用户完成与开源和商业威胁情报源的可用集成,为用户提供威胁追踪功能。

Transformation Layer(转换层):
这是在各种日志源上运行转换并将其转换为通用模式格式所必需的层。通用模式格式对于高性能规则执行和事件关联很重要。该层甚至可以存在于系统外部,例如数据准备器管道中。然而,为了支持开源用例,P1 还应支持转换操作,以获得更流畅、更快的入职体验,避免对外部系统的任何硬依赖。
更改正在摄取的数据的架构可能会干扰客户当前的工作负载,并且可能需要对当前设置进行重大更改,或者建立一个全新的并行设置来试用安全分析功能。因此,我们希望支持对支持的日志组的形式摄取,保留原始字段名称和类型。

这带来了针对不同数据源有效运行规则的挑战。我们同样选择依赖字段别名。

Field Aliases Reference and Usage of Field Aliases during Search字段别名以及搜索器件字段别名的使用参考资料:
https://www.elastic.co/blog/introducing-field-aliases-in-elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/7.0/alias.html
更改字段的名称通常需要重新索引包含该字段的所有文档,这可能是一项昂贵的工作。如果碰巧使用基于时间的索引,我们可以使用字段别名来重命名字段,而无需重新索引旧数据。该过程见附件图片

Alias Datatype别名数据类型:
https://www.elastic.co/guide/en/elasticsearch/reference/7.0/alias.html

Elastic Search Format(ES样板):
https://www.elastic.co/blog/introducing-the-elastic-common-schema

Index Mapping API(索引映射API接口):
https://opensearch.org/docs/latest/opensearch/rest-api/index-apis/put-mapping/
公司信息

立即沟通