可路由查询性能和故障排除

本主题详细介绍性能注意事项和使用可路由查询 API 时可能会遇到的常见问题。

将资源池与可路由查询结合使用

各个可路由查询将快速得到处理，因为它们直接访问单个节点并返回一个或几个数据行。但在默认情况下，Vertica 资源池对 execution parallelism 参数使用 AUTO 设置。如果将此参数设置为 AUTO，则设置由可用的 CPU 核心数决定，并通常导致对资源池中的查询进行多线程执行。在服务器上创建并行线程会降低效率，因为可路由查询操作返回数据的速度太快，并且可路由查询操作仅使用单个线程查找行。若要防止服务器打开不需要的处理线程，应为可路由查询客户端创特定的资源池。请考虑用于可路由查询的资源池的以下设置：

  • 将执行并行度设置为 1，以强制执行单线程查询。此设置能够提高可路由查询的性能。

  • 使用 CPU 相关性将资源池限制为某个特定 CPU 或 CPU 集。此设置不但能够确保可路由查询具有可用资源，而且能够防止可路由查询对其他常规查询的系统性能造成显著影响。

  • 如果不为资源池设置 CPU 相关性，可以考虑将资源池的最大并发值设置为既能确保可路由查询性能良好又不会对常规查询的性能造成负面影响的设置。

可路由查询连接的性能注意事项

由于 VerticaRoutableConnection 将打开内部连接池，因此必须根据群集大小和同时客户端连接的数量适当地配置 MaxPooledConnections 和 MaxPooledConnectionsPerNode。如果要使用 VerticaRoutableConnection 重载群集，则您无法影响正常的数据库连接。

与发起程序节点的初始连接可发现群集中的所有其他节点。发送 VerticaRoutableExecutor 或 VGet 查询之前，不会打开内部池连接。连接对象中的所有 VerticaRoutableExecutor/VGet 均使用来自内部池的连接，并受到 MaxPooledConnections 设置的限制。连接将保持打开，直至在已达到连接限制时关闭这些连接以便在其他位置打开新连接为止。

可路由查询故障排除

可路由查询问题通常分为以下两个类别：

  • 提供的谓词数量不足够。

  • 查询必须跨越多个节点。

谓词要求

必须提供与表（使用哈希算法进行分段）的列数相同的谓词数量。要确定分段列，请调用 Vertica 函数 GET_PROJECTIONS。必须为 Seg Cols 字段中显示的每个列提供一个谓词。

对于 VGet，这意味着您必须使用 addPredicate() 以添加每个列。对于 VerticaRoutableExecutor，这意味着您必须在发送到 execute() 的映射中提供所有谓词和值。

多节点故障

无法定义正确数量的谓词，但仍会发生故障，因为数据包含在多个节点上。发生此故障的原因是投影的数据未以某种方式进行分段，以使要查询的数据包含在单个节点上。请为连接启用日志记录并查看日志，以验证所使用的投影。如果客户端未选择正确的投影，则会通过在 create/prepare 语句中指定投影而非表来尝试直接查询投影，例如：

  • 使用 VerticaRoutableExecutor：

    conn.createRoutableExecutor(schema, table/projection);

  • 使用 VGet：

    conn.prepareGet('schema','table/projection')

此外，在 vsql 中使用 EXPLAIN 命令有助于确定查询是否可以在单个节点中运行。EXPLAIN 可以帮助了解为什么查询在单个或多个节点中运行。