通用事件格式 (CEF) 数据

使用 Flex 解析器 fcefparser 将 Micro Focus ArcSight 或其他通用事件格式 (CEF) 日志文件数据加载到列式表和 Flex 表中。

当您使用该解析器加载任意 CEF 格式文件时，它会将数据中的键名解释为 Flex 表中的虚拟列。加载后，无论每行中存在何种键集，您均可直接查询 CEF 数据。您还可以使用关联 Flex 表数据和映射函数来管理对 CEF 数据的访问。

创建 Flex 表并加载 CEF 数据

此部分使用了一个示例 CEF 数据集。所有 IP 地址均已被有意更改为不准确的地址，并为了便于说明而添加了换行符。

要使用此示例数据，请复制下面的文本并删除所有换行符。将文件另存为 CEF_sample.cef，该名称将被用于所有这些示例。

CEF:0|ArcSight|ArcSight|6.0.3.6664.0|agent:030|Agent [test] type [testalertng] started|Low|
eventId=1 mrt=1396328238973 categorySignificance=/Normal categoryBehavior=/Execute/Start
categoryDeviceGroup=/Application catdt=Security Mangement categoryOutcome=/Success
categoryObject=/Host/Application/Service art=1396328241038 cat=/Agent/Started
deviceSeverity=Warning rt=1396328238937 fileType=Agent
cs2=<Resource ID\="3DxKlG0UBABCAA0cXXAZIwA\=\="/> c6a4=fe80:0:0:0:495d:cc3c:db1a:de71
cs2Label=Configuration Resource c6a4Label=Agent
IPv6 Address ahost=SKEELES10 agt=888.99.100.1 agentZoneURI=/All Zones/ArcSight
System/Private Address Space
Zones/RFC1918: 888.99.0.0-888.200.255.255 av=6.0.3.6664.0 atz=Australia/Sydney
aid=3DxKlG0UBABCAA0cXXAZIwA\=\= at=testalertng dvchost=SKEELES10 dvc=888.99.100.1
deviceZoneURI=/All Zones/ArcSight System/Private Address Space Zones/RFC1918:
888.99.0.0-888.200.255.255 dtz=Australia/Sydney _cefVer=0.1

  1. 创建 Flex 表 logs：

    => CREATE FLEX TABLE logs();
CREATE TABLE

  2. 使用 Flex 解析器 fcefparser 加载示例 CEF 文件：

    => COPY logs FROM '/home/dbadmin/data/CEF_sample.cef' PARSER fcefparser();
 Rows Loaded
-------------
           1
(1 row)

  3. 使用 maptostring() 函数查看 logs Flex 表的内容：

    => SELECT maptostring(__raw__) FROM logs;
                                  maptostring
-------------------------------------------------------------------------------------
  {
   "_cefver" : "0.1",
   "agentzoneuri" : "/All Zones/ArcSight System/Private Address
    Space Zones/RFC1918: 888.99.0.0-888.200.255.255",
   "agt" : "888.99.100.1",
   "ahost" : "SKEELES10",
   "aid" : "3DxKlG0UBABCAA0cXXAZIwA==",
   "art" : "1396328241038",
   "at" : "testalertng",
   "atz" : "Australia/Sydney",
   "av" : "6.0.3.6664.0",
   "c6a4" : "fe80:0:0:0:495d:cc3c:db1a:de71",
   "c6a4label" : "Agent IPv6 Address",
   "cat" : "/Agent/Started",
   "catdt" : "Security Mangement",
   "categorybehavior" : "/Execute/Start",
   "categorydevicegroup" : "/Application",
   "categoryobject" : "/Host/Application/Service",
   "categoryoutcome" : "/Success",
   "categorysignificance" : "/Normal",
   "cs2" : "<Resource ID=\"3DxKlG0UBABCAA0cXXAZIwA==\"/>",
   "cs2label" : "Configuration Resource",
   "deviceproduct" : "ArcSight",
   "deviceseverity" : "Warning",
   "devicevendor" : "ArcSight",
   "deviceversion" : "6.0.3.6664.0",
   "devicezoneuri" : "/All Zones/ArcSight System/Private Address Space
    Zones/RFC1918: 888.99.0.0-888.200.255.255",
   "dtz" : "Australia/Sydney",
   "dvc" : "888.99.100.1",
   "dvchost" : "SKEELES10",
   "eventid" : "1",
   "filetype" : "Agent",
   "mrt" : "1396328238973",
   "name" : "Agent [test] type [testalertng] started",
   "rt" : "1396328238937",
   "severity" : "Low",
   "signatureid" : "agent:030",
   "version" : "0"
}

(1 row)

创建列式表并加载 CEF 数据

此示例可让您针对 CEF 数据比较 Flex 表与列式表。要实现这一目标，您应该创建一个新表，并加载在前面 Flex 表示例中使用的同一个 CEF_sample.cef 文件。

  1. 创建一个列式表 col_logs，并定义在 fcefparser 中硬编码的前缀名：

    => CREATE TABLE col_logs(version INT,
  devicevendor VARCHAR,
  deviceproduct VARCHAR,
  deviceversion VARCHAR,
  signatureid VARCHAR,
  name VARCHAR,
  severity VARCHAR);
CREATE TABLE

  2. 将示例文件加载到 col_logs 中，就像您之前对 Flex 表所做的那样：

    => COPY col_logs FROM '/home/dbadmin/data/CEF_sample.cef' PARSER fcefparser();
 Rows Loaded
-------------
           1
(1 row)

  3. 查询该表。您可以在 Flex 表输出中找到完全相同的信息。

    => \x
Expanded display is on.
VMart=> SELECT * FROM col_logs;
-[ RECORD 1 ]-+----------------------------------------
version       | 0
devicevendor  | ArcSight
deviceproduct | ArcSight
deviceversion | 6.0.3.6664.0
signatureid   | agent:030
name          | Agent [test] type [testalertng] started
severity      | Low

计算键并生成 Flex 表视图

在此示例中，您使用 Flex 的 Helper 函数来为 logs Flex 表计算键并构建视图。

  1. 使用 compute_flextable_keys_and_build_view 函数计算键并填充从 logs Flex 表中生成的视图：

    => SELECT compute_flextable_keys_and_build_view('logs');
                            compute_flextable_keys_and_build_view
-------------------------------------------------------------------------------------
 Please see public.logs_keys for updated keys
The view public.logs_view is ready for querying
(1 row)

  2. 查询 logs_keys 表以了解函数从示例 CEF 数据中计算的内容：

    => SELECT * FROM logs_keys;
       key_name       | frequency | data_type_guess
----------------------+-----------+-----------------
 c6a4                 |         1 | varchar(60)
 c6a4label            |         1 | varchar(36)
 categoryobject       |         1 | varchar(50)
 categoryoutcome      |         1 | varchar(20)
 categorysignificance |         1 | varchar(20)
 cs2                  |         1 | varchar(84)
 cs2label             |         1 | varchar(44)
 deviceproduct        |         1 | varchar(20)
 deviceversion        |         1 | varchar(24)
 devicezoneuri        |         1 | varchar(180)
 dvchost              |         1 | varchar(20)
 version              |         1 | varchar(20)
 ahost                |         1 | varchar(20)
 art                  |         1 | varchar(26)
 at                   |         1 | varchar(22)
 cat                  |         1 | varchar(28)
 catdt                |         1 | varchar(36)
 devicevendor         |         1 | varchar(20)
 dtz                  |         1 | varchar(32)
 dvc                  |         1 | varchar(24)
 filetype             |         1 | varchar(20)
 mrt                  |         1 | varchar(26)
 _cefver              |         1 | varchar(20)
 agentzoneuri         |         1 | varchar(180)
 agt                  |         1 | varchar(24)
 aid                  |         1 | varchar(50)
 atz                  |         1 | varchar(32)
 av                   |         1 | varchar(24)
 categorybehavior     |         1 | varchar(28)
 categorydevicegroup  |         1 | varchar(24)
 deviceseverity       |         1 | varchar(20)
 eventid              |         1 | varchar(20)
 name                 |         1 | varchar(78)
 rt                   |         1 | varchar(26)
 severity             |         1 | varchar(20)
 signatureid          |         1 | varchar(20)
(36 rows)

  3. 查询来自 logs_view 的几列：

    => \x
Expanded display is on.
VMart=> select version, devicevendor, deviceversion, name, severity, signatureid
  from logs_view;
-[ RECORD 1 ]-+----------------------------------------
version       | 0
devicevendor  | ArcSight
deviceversion | 6.0.3.6664.0
name          | Agent [test] type [testalertng] started
severity      | Low
signatureid   | agent:030

使用 fcefparser 的 delimiter 参数

在此示例中，您使用 fcefparser delimiter 参数查询加利福尼亚州、新墨西哥州和亚利桑那州的事件。

  1. 创建一个新的列式表 CEFData3：

    => CREATE TABLE CEFData3(eventId INT, location VARCHAR(20));
CREATE TABLE

  2. 使用 delimiter=',' 参数，将一些 CEF 数据加载到表中：

    => COPY CEFData3 FROM stdin PARSER fcefparser(delimiter=',');
Enter data to be copied followed by a newline.
End with a backslash and a period on a line by itself.
>> eventId=1,location=California
>> eventId=2,location=New Mexico
>> eventId=3,location=Arizona
>> \.

  3. 查询表：

    
=> SELECT eventId, location FROM CEFData3;
 eventId |  location
---------+------------
       1 | California
       2 | New Mexico
       3 | Arizona
(3 rows)