源工具选项
使用 vkconfig 脚本的源工具创建、更新或删除源。
语法
vkconfig source {--create | --read | --update | --delete} --source source_name [other_options...]
--create
创建新的负载规范,不能与
‑‑delete
、‑‑read
或‑‑update
一起使用。--read
- 输出调度程序中定义的源的当前设置。输出采用 JSON 格式。不能与
--create
、--delete
或--update
配合使用。默认情况下,此选项输出调度程序中定义的所有源。可以使用
--cluster
、--enabled
、--partitions
和--source
选项限制输出。输出将仅包含与这些选项中的值匹配的源。--enabled
选项只能有 true 或 false 值。--source
选项区分大小写。您可以在这些选项中使用 LIKE 通配符。有关使用通配符的详细信息,请参阅 LIKE 谓词。
--update
更新现有的 Set Snippet Variable Value in Topic。不能与
--create
、--delete
或--read
配合使用。--delete
删除 Set Snippet Variable Value in Topic。不能与
--create
、--read
或--update
配合使用。--source
source_name- 标识要在调度程序配置中创建或更改的源。此选项区分大小写。可以为新源使用您喜欢的任何名称。大多数人使用调度程序从中加载数据的 Kafka 主题的名称。
--create
、--update
和--delete
需要使用此选项。 --cluster
cluster_name- 标识包含要创建或编辑的源的群集。必须已经在调度程序中定义该群集。
--dump
当您将此选项与
--read
选项一起使用时,vkconfig 会输出用来检索数据的 Vertica 查询,而不是输出数据本身。如果您想从 Vertica 中访问数据而无需通过 vkconfig,则此选项很有用。如果不与--read
一起使用,此选项无效。--enabled``TRUE|FALSE
- 如果为 TRUE,则源可供使用。
--new-cluster
cluster_name- 更改此源所属的群集。
引用旧群集源的所有源现在都面向此群集。
需要:
--update
和--source
选项 --new-source
source_name- 将现有源的名称更新为此参数指定的名称。
需要:
--update
共用的实用程序选项 --partitions
count- 设置源中的分区数。
默认值:
群集中定义的分区数。
需要:
--create
和--source
选项您必须将此值与 Kafka 主题中的分区数保持一致。
已重命名自
--num-partitions
。 --validation-typERROR|WARN|SKIP}
- 控制对创建或更新的源执行的验证:
-
ERROR - 如果 vkconfig 无法验证该源,则取消配置或创建。这是默认设置。
-
WARN - 验证失败时继续执行任务,但会显示警告。
-
SKIP - 不执行验证。
已重命名自
--skip-validation
。 -
请参阅常用 vkconfig 脚本选项以了解所有 vkconfig 工具中提供的选项。
示例
以下示例显示了如何创建或更新 SourceFeed。
创建源 SourceFeed 并将其分配给 myscheduler.conf 配置文件定义的调度程序中的群集 StreamCluster1:
$ /opt/vertica/packages/kafka/bin/vkconfig source --create --source SourceFeed \
--cluster StreamCluster1 --partitions 3
--conf myscheduler.conf
更新现有源 SourceFeed,以使用 myscheduler.conf 配置文件定义的调度程序中的现有群集 StreamCluster2:
$ /opt/vertica/packages/kafka/bin/vkconfig source --update --source SourceFeed \
--new-cluster StreamCluster2
--conf myscheduler.conf
以下示例读取 weblogs.conf 文件定义的调度程序中定义的源。
$ vkconfig source --read --conf weblog.conf
{"source":"web_hits", "partitions":1, "src_enabled":true,
"cluster":"kafka_weblog",
"hosts":"kafka01.example.com:9092,kafka02.example.com:9092"}