管理流式传输服务进行扩展监控

启用扩展监控后,Vertica 会通过 Kafka 服务器将数据库中的数据流式传输到存储数据库。

有关使用 Vertica 优化 Kafka 性能的其他参数,请参阅 Kafka 和 Vertica 配置设置

在 MC 中查看流式传输详细信息

单击数据库 MC 仪表板上的“加载 (Load)”选项卡,查看“数据加载活动 (Data Load Activity)”页面。在此页面上,“连续 (Continuous)”选项卡显示用于扩展监控的所有连续加载作业的详细信息。您可以使用此页面监控扩展监控数据是否成功流式传输到 MC 存储数据库。

有关“数据加载活动 (Data Load Activity)”页面的详细信息,请参阅查看加载历史记录

防止数据丢失

在内存限制缓冲区中,您可以重新启动 Kafka 服务器而不会丢失数据。Vertica 对流式传输数据进行排队,直到重新启动 Kafka 服务器。如果 Kafka 服务器长期处于关闭状态,当流式传输队列超出缓冲区限制时,将会发生数据丢失。如果已为数据库启用扩展监控,可以在“扩展监控 (Extended Monitoring)”选项卡上设置缓冲区大小。请参阅管理对数据库的扩展监控

Kafka 保留策略确定在以下场景下何时会发生数据丢失:

Kafka 保留策略可重新启动这些扩展监控组件,而不会发生数据丢失。禁用列出的组件期间,Kafka 服务器会保留数据。当流式传输数据超出 Kafka 保留策略的日志大小或保留时间限制时,将发生数据丢失。有关如何配置保留策略的信息,请参阅 Apache Kafka 文档

更改 Kafka 服务器

请注意,当在“MC 存储数据库设置 (MC Storage DB Setup)”页面更改用于扩展监控的 Kafka 服务器时,必须禁用所有扩展监控进程并重新配置 MC 存储数据库。有关存储数据库设置说明,请参阅管理存储数据库

另请参阅