排除消息丢失问题

发出大量数据的 Kafka 生产者可能会使 Vertica 不堪重负，可能导致消息在调度程序将消息加载到 Vertica 之前便在 Kafka 中过期。在 Vertica 对加载的消息执行额外处理（例如文本索引）时，这种情况更为常见。

如果您发现缺少的消息来自具有多个分区的主题，请考虑配置 --max-parallelism微批处理实用程序选项。--max-parallelism 选项将一个微批处理拆分为多个子集微批处理。这使您可以使用调度程序资源池中提供的 PLANNEDCONCURRENCY 来创建更多调度程序线程，以同时加载单个微批处理。每个节点都使用资源池 EXECUTIONPARALLELISM 设置来确定为处理分区而创建的线程数。因为 EXECUTIONPARALLELISM 线程按调度程序线程创建，所以为每个微批处理使用更多的 PLANNEDCONCURRENCY 可让您为单个工作单元并行处理更多分区。

有关详细信息，请参阅管理调度程序资源和性能。