排除加载速度缓慢问题

下面列出了一些可能导致消息从 Kafka 加载缓慢的潜在问题。

验证在与 Kafka 0.9 或更早版本通信时是否已禁用 API 版本检查

如果 Kafka 群集运行的是 0.9 或更早版本，请确保已禁用 rdkafka 库的 api.version.request 选项。否则，与 Kafka 的每个 Vertica 连接都会暂停 10 秒，直到 API 版本请求超时。根据加载的时间范围大小或其他超时设置，此延迟可能会减少数据加载的吞吐量。它甚至可能完全阻止消息加载。有关详细信息，请参阅为 Apache Kafka 0.9 及更早版本配置 Vertica。

更新在 Vertica 版本 9.1.1 之前创建的调度程序的 message-max-bytes 设置

如果在升级到 Vertica 9.1.1 或更高版本后发现调度程序的数据加载速度缓慢，请考虑更新其加载规范的 message-max-bytes 参数。该设置的含义在 Kafka 版本 0.11 中已发生更改。有关详细信息，请参阅在 Kafka 0.11 及更高版本中对 message.max.bytes 设置的更改。

Eon 模式和云延迟

Eon 模式将 Vertica 群集中的计算与存储分开，这可能会在 Vertica 加载和保存数据时导致少量延迟。云计算基础设施也可能导致延迟。这种延迟会侵占调度程序的时间范围持续时间，导致它们在每个时间范围中加载更少的数据。因此，在 Eon 模式数据库中从 Kafka 加载数据时，应该考虑增加时间范围持续时间。有关详细信息，请参阅Vertica Eon 模式和 Kafka。