每次创建调度程序 (--create) 时，Vertica 都会使用您指定的名称或默认的 stream_config 为该调度程序创建一个架构。每个架构都具有如下表：
此表列出群集和主机。使用 vkconfig 群集工具更改此表中的设置。有关详细信息，请参阅群集工具选项。
以下示例显示了一个群集及其关联主机。
=> SELECT * FROM stream_config.stream_clusters;
id | cluster | hosts
---------+----------------+-----------------------------------
2250001 | streamcluster1 | 10.10.10.10:9092,10.10.10.11:9092
(1 rows)
此表将来自调度程序的微批处理和其他重要事件记录到内部日志表中。
此表是从 kafka_config.kafka_events 重命名的。
以下示例显示了 stream_events 表中的典型行。
=> SELECT * FROM stream_config.stream_events;
-[ RECORD 1 ]-+-------------
event_time | 2016-07-17 13:28:35.548-04
log_level | INFO
frame_start |
frame_end |
microbatch |
message | New leader registered for schema stream_config. New ID: 0, new Host: 10.20.30.40
exception |
-[ RECORD 2 ]-+-------------
event_time | 2016-07-17 13:28:45.643-04
log_level | INFO
frame_start | 2015-07-17 12:28:45.633
frame_end | 2015-07-17 13:28:50.701-04
microbatch |
message | Generated tuples: test3|2|-2,test3|1|-2,test3|0|-2
exception |
-[ RECORD 3 ]-+----------------
event_time | 2016-07-17 14:28:50.701-04
log_level | INFO
frame_start | 2016-07-17 13:28:45.633
frame_end | 2016-07-17 14:28:50.701-04
microbatch |
message | Total rows inserted: 0
exception |
此表描述了用户创建的加载规范。您可以使用 vkconfig 实用程序的加载规范工具来更改此表中的条目。
此示例显示了可用于 Vertica 实例的加载规范。
SELECT * FROM stream_config.stream_load_specs;
-[ RECORD 1 ]-----+------------
id | 1
load_spec | loadspec2
filters |
parser | KafkaParser
parser_parameters |
load_method | direct
message_max_bytes | 1048576
uds_kv_parameters |
-[ RECORD 2 ]-----+------------
id | 750001
load_spec | streamspec1
filters |
parser | KafkaParser
parser_parameters |
load_method | TRICKLE
message_max_bytes | 1048576
uds_kv_parameters |
此表由调度程序锁定。锁定可防止多个调度程序同时运行。锁定此表的调度程序使用自己的信息对它进行更新。
=> SELECT * FROM weblog_sched.stream_lock;
scheduler_id | update_time | process_info
--------------+-------------------------+--------------
2 | 2018-11-08 10:12:36.033 |
(1 row)
此表包含在此调度程序配置中执行的每个微批处理的历史记录。
以下示例显示了 stream_microbatch_history 表中的典型行。
=> SELECT * FROM stream_config.stream_microbatch_history;
-[ RECORD 1 ]--+---------------------------
source_name | streamsource1
source_cluster | kafka-1
source_partition | 0
start_offset | 196
end_offset | 196
end_reason | END_OF_STREAM
partition_bytes | 0
partition_messages | 0
microbatch_id | 1
microbatch | mb_0
target_schema | public
target_table | kafka_flex_0
timeslice | 00:00:09.892
batch_start | 2016-07-28 11:31:25.854221
batch_end | 2016-07-28 11:31:26.357942
last_batch_duration | 00:00:00.379826
last_batch_parallelism | 1
microbatch_sub_id | 0
consecutive_error_count |
transaction_id | 45035996275130064
frame_start | 2016-07-28 11:31:25.751
frame_end |
end_reason_message |
-[ RECORD 2 ]--+---------------------------
source_name | streamsource1
source_cluster | kafka-1
source_partition | 1
start_offset | 197
end_offset | 197
end_reason | NETWORK_ISSUE
partition_bytes | 0
partition_messages | 0
microbatch_id | 1
microbatch | mb_0
target_schema | public
target_table | kafka_flex_0
timeslice | 00:00:09.897
batch_start | 2016-07-28 11:31:45.84898
batch_end | 2016-07-28 11:31:46.253367
last_batch_duration | 000:00:00.377796
last_batch_parallelism | 1
microbatch_sub_id | 0
consecutive_error_count |
transaction_id | 45035996275130109
frame_start | 2016-07-28 11:31:45.751
frame_end |
end_reason_message | Local: All brokers are down
此表将微批处理映射到它们的关联源。
以下示例显示了 stream_microbatch 表中的典型行。
SELECT * FROM stream_config.stream_microbatch_source_map;
microbatch | source
-----------+--------
1 | 4
3 | 2
(2 rows)
此表包含与微批处理相关的配置数据。
以下示例显示了典型 stream_microbatches 表中的一行。
=> select * from weblog_sched.stream_microbatches;
-[ RECORD 1 ]-----+----------
id | 750001
microbatch | weberrors
target | 750001
load_spec | 2250001
target_columns |
rejection_schema |
rejection_table |
max_parallelism | 1
enabled | t
consumer_group_id |
-[ RECORD 2 ]-----+----------
id | 1
microbatch | weblog
target | 1
load_spec | 1
target_columns |
rejection_schema |
rejection_table |
max_parallelism | 1
enabled | t
consumer_group_id | weblog_group
此表包含与单个调度程序相关的元数据。
此表是从 kafka_config.kafka_scheduler 重命名的。此表曾包含一个名为 eof_timeout_ms 的列。现在已将它移除。
以下示例显示了 stream_scheduler 表中的典型行。
=> SELECT * FROM weblog_sched.stream_scheduler;
-[ RECORD 1 ]------+-----------------------
version | v9.2.1
frame_duration | 00:05:00
resource_pool | weblog_pool
config_refresh | 00:05
new_source_policy | FAIR
pushback_policy | LINEAR
pushback_max_count | 5
auto_sync | t
consumer_group_id | vertica-consumer-group
此表显示已启动的调度程序实例的历史记录。
此表是从 kafka_config.kafka_scheduler_history 重命名的。
以下示例显示了 stream_scheduler_history 表中的典型行。
SELECT * FROM stream_config.stream_scheduler_history;
elected_leader_time | host | launcher | scheduler_id | version
-------------------------+--------------+-------------------+--------------+---------
2016-07-26 13:19:42.692 | 10.20.100.62 | | 0 | v8.0.0
2016-07-26 13:54:37.715 | 10.20.100.62 | | 1 | v8.0.0
2016-07-26 13:56:06.785 | 10.20.100.62 | | 2 | v8.0.0
2016-07-26 13:56:56.033 | 10.20.100.62 | SchedulerInstance | 3 | v8.0.0
2016-07-26 15:51:20.513 | 10.20.100.62 | SchedulerInstance | 4 | v8.0.0
2016-07-26 15:51:35.111 | 10.20.100.62 | SchedulerInstance | 5 | v8.0.0
(6 rows)
此表包含与数据流式传输源相关的元数据。
此表以前名为 kafka_config.kafka_scheduler。
以下示例显示了 stream_sources 表中的典型行。
select * from stream_config.stream_sources;
-[ RECORD 1 ]--------------
id | 1
source | SourceFeed1
cluster | 1
partitions | 1
enabled | t
-[ RECORD 2 ]--------------
id | 250001
source | SourceFeed2
cluster | 1
partitions | 1
enabled | t
此表包含所有 Vertica 目标表的元数据。
此表以前名为 kafka_config.kafka_targets。
以下示例显示了 stream_tables 表中的典型行。
=> SELECT * FROM stream_config.stream_targets;
-[ RECORD 1 ]-----+---------------------
id | 1
target_schema | public
target_table | stream_flex1
-[ RECORD 2 ]-----+---------------------
id | 2
target_schema | public
target_table | stream_flex2