数据节点
数据节点是一种设备,您可以将其添加到事件和流处理器中,以增加存储容量并提高搜索性能。您可以向 JSA 部署添加无限数量的数据节点,并且可以随时添加这些数据节点。每个数据节点只能连接到一个处理器,但一个处理器可以支持多个数据节点。
有关规划部署的更多信息,请参阅《 瞻博网络安全分析架构和部署指南》。
添加数据节点后的数据重新均衡
添加数据节点时, JSA 会重新平衡数据以提高搜索和整体系统性能。
数据重新平衡包括解压缩旧数据,以及移动原始存储设备上的数据以将其均匀分布到所有连接的设备上。
例如,您的部署有一个每秒接收 20,000 个事件 (EPS) 的事件处理器。添加数据节点时, JSA 会自动在事件处理器及其可用的所有数据节点之间分配事件。如果添加三个数据节点,事件处理器将存储 5,000 EPS,并向每个附加的数据节点发送 5,000 EPS。事件处理器仍在处理所有事件,但数据节点提供更多的存储、索引和搜索功能以提高整体性能。
再平衡的工作原理是什么?
集群成员由一个事件处理器和一个或多个数据节点组成。数据可以在集群的任何成员之间向任何方向移动。数据按小时文件夹在群集成员之间以事务方式移动。一小时的数据是移动的最小数据块。如果未复制每小时文件夹中的任何文件,则会回滚整个事务。
重新平衡不会合并每小时的文件夹。例如,如果目标上存在每小时文件夹,则重新平衡不会从群集的其他成员移动同一每小时文件夹中的数据。在重新平衡开始之前,群集确定其目标。目标是重新平衡尝试在集群的所有成员上实现的可用空间百分比。目标不考虑以千兆字节为单位的绝对可用空间,它只考虑百分比。
具有较高可用空间百分比的成员是目标。集群确定其目标后,可用空间百分比小于目标的成员将成为源。每个源连接并将数据推送到每个目标。 JSA 部署中的某些组件可能会重新启动,并导致重新平衡过程失败。重新平衡会自行重新启动,并从未能完成的位置继续。重新平衡重新启动时,它会逐渐增加超时期限(5 分钟、10 分钟、30 分钟等),以避免在完全部署或维护期间尝试失败的次数过多。整个重新平衡在集群成员上的 Ariel 进程之间结束。
散射是如何工作的?
分散分析将来自事件处理器的传入数据分布到群集的所有成员之间。散射适用于事件和流,并且不绑定到最小的小时块。例如,一小时的事件分散在所有群集中,放入同一个每小时文件夹。
分散分析根据群集成员上的可用空间量(以百分比表示)按比例分配事件和流量。散射根据可用空间百分比以轮询方式将数据按顺序移动到群集主机。
如果发生任何错误或连接问题,分散会尝试将数据移动到群集的下一个成员。如果不成功,它将数据存储在事件处理器本地,以便不会丢失任何数据。数据分散在 ecs-ep 进程(源)和数据节点上的多个数据节点进程(目标)之间。
如何在事件处理器(源)和数据节点(目标)之间移动现有数据?
添加数据节点时, JSA 会计算目标空间。目标空间是事件处理器上的可用空间量加上数据节点上的可用空间量除以事件处理器和数据节点的总量。例如,您有一个事件处理器和两个数据节点。如果事件处理器有 60% 的可用空间,并且两个数据节点都有 100% 的可用空间,则目标空间为 86.6% (60 + 100 + 100 / 3)。定义目标后,数据一次在一小时块内移动,直到在任何群集主机上达到目标空间(在本例中为 86.6%)。
如何在事件处理器(源)和数据节点(目标)之间移动新数据?
初始平衡完成后, JSA 会根据可用空间量将新数据分散到事件处理器和数据节点之间。例如,如果事件处理器有 25% 的可用空间,数据节点有 40% 的可用空间,则数据节点会收到 40 个事件,而 EP 会收到 25 个事件,直到两个设备的可用空间量大致相同。
何时完成平衡?
当处理完所有源数据或达到目标空间约束时,平衡过程即告完成。
查看数据重新平衡的进度
添加数据节点时, JSA 会自动重新分配数据,以便在部署中的存储卷之间平衡数据。
只有在数据重新平衡完成后,才能实现搜索性能改进。您可以查看数据重新均衡的进度,还可以查看已用磁盘空间百分比等数据。
在导航菜单 (
) 上,单击 管理员。
在 “系统配置 ”部分中,单击 “系统和许可证管理”。
在“ 显示 ”列表中,选择“ 系统”。
在主机表中,选择要查看其详细信息的受管主机。
要查看有关受管主机群集的信息,请选择顶级主机。
要查看有关特定数据节点的信息,请选择该数据节点。
在“ 操作 ”菜单上,单击 “查看和管理系统”。
单击 安全数据分发 选项卡以查看数据重新平衡的进度和数据 节点 设备的容量。
注意:您还可以在“ 管理 ”选项卡上的部署状态栏中查看有关数据节点重新平衡进度的信息。
将所有事件数据保存到数据节点设备
要提高事件处理器的性能,请将 JSA 配置为将所有事件数据保存在 数据节点 设备上。使用此配置,事件处理器仅处理事件;它不会在本地存储事件数据。
当没有活动 的数据节点 设备可用时,配置为仅处理事件的事件处理器仍会在本地保存事件数据。当 数据节点 设备可用时, JSA 会将尽可能多的数据从事件处理器传输到 数据节点。
在导航菜单 (
) 上,单击 管理员。
在 “系统配置 ”部分中,单击 “系统和许可证管理”。
在“ 显示 ”列表中,选择“ 系统”。
从主机表中选择 事件处理器 ,然后在“ 部署操作 ”菜单上,单击“ 编辑主机”。
单击 组件管理 设置图标 (
)。
在 “事件处理器”下的 “事件处理器模式 ”字段中,选择 “仅处理”。
单击“ 保存”,然后再次单击 “保存 ”。
在 “管理员 ”选项卡上,单击“ 部署更改”。
归档数据节点内容
如果您希望数据节点提供对历史数据的在线访问,而不会影响传入数据的存储,请将数据节点设备配置为使用存档模式。
在 存档 模式下,设备不会接收新数据,但会保存现有数据。
在存档模式下,不会对数据节点设备应用任何事件保留策略。
在导航菜单 (
) 上,单击 管理员。
在 “系统配置 ”部分中,单击 “系统和许可证管理”。
在“ 显示 ”列表中,选择“ 系统”。
在主机表中选择 数据节点 设备,然后在 部署操作 菜单上,单击 编辑主机。
单击 组件管理 设置图标 (
)。
在“ 数据节点模式 ”字段中,选择“ 存档”,然后单击“ 保存”。
在 “管理员 ”选项卡上,单击“ 部署更改”。
要恢复在 数据节点 设备上存储数据,请将模式设置回 活动。