Перейти к содержанию

Описание этапов разбора

Проверка этапов парсинга

В основном, все источники посылают события в формате RAW-JSON. При разборе событий в этом формате необходимо в качестве первого этапа использовать парсер JSON, а потом один из доступных в системе, в зависимости от типа данных в исходном событии. Платформа Радар позволяет без ручной настройки разбирать следующие структурированные типы данных:

  • XML
  • Syslog
  • CEF
  • JSON
  • CSV

При использовании нескольких этапов разбора событий в каждом дополнительно создаваемом парсере необходимо указывать в поле «Цель» ту переменную, значение которой необходимо разобрать.

JSON

Сырое событие: 

{"rs_collector_hostname":"v-stand-09","rs_relay_fqdn":"172.30.254.106","rs_relay_ip":"172.30.254.106","rs_collector_ts":"2021-11-18T11:52:54.446148+03:00","__rs_module":"2613-Kaspersky-SecurityCenter-db-host-activity","fqdn":"WINSRV02.demo.local","ip_address":"192.168.100.100","last_info_update":"2021-11-18T08:18:49.000000+00:00","last_net_agent_connected":null,"last_update":null,"last_visible":"2021-09-23T10:06:28.000000+00:00","nId":43,"nLastRtpState":0,"nStatus":0,"rs_agent_fqdn":"log-collector","rs_agent_ip":"172.30.254.106","rs_agent_ts":"2021-11-18T11:52:54.4389503+03:00","wstrDisplayName":"WINSRV02","wstrDnsDomain":"demo.local"}

Результат обработки представлен на рисунке 1.

Результат обработки этапа JSON

Рисунок 1 -- Результат обработки этапа JSON

Результат обработки в текстовом виде:

{
  "rs_collector_hostname": "v-stand-09",
  "rs_relay_fqdn": "172.30.254.106",
  "rs_relay_ip": "172.30.254.106",
  "rs_collector_ts": "2021-11-18T11:52:54.446148+03:00",
  "__rs_module": "2613-Kaspersky-SecurityCenter-db-host-activity",
  "fqdn": "WINSRV02.demo.local",
  "ip_address": "192.168.100.100",
  "last_info_update": "2021-11-18T08:18:49.000000+00:00",
  "last_net_agent_connected": null,
  "last_update": null,
  "last_visible": "2021-09-23T10:06:28.000000+00:00",
  "nId": 43,
  "nLastRtpState": 0,
  "nStatus": 0,
  "rs_agent_fqdn": "log-collector",
  "rs_agent_ip": "172.30.254.106",
  "rs_agent_ts": "2021-11-18T11:52:54.4389503+03:00",
  "wstrDisplayName": "WINSRV02",
  "wstrDnsDomain": "demo.local"
}

CEF_NONSTRICT

Сырое событие:

CEF:1|IP Flow|IP Flow|9|flow|NetFlow Event|Unknown| eventId=13252253246 start=1623223861208 end=1623223861272 proto=TCP in=1098 categoryBehavior=/Communicate categoryDeviceGroup=/Network Equipment catdt=Network Monitoring categoryOutcome=/Attempt categoryObject=/Host art=1623224462176 rt=1623223873000 deviceDirection=0 src=172.0.218.2 sourceZoneURI=/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255 spt=8787 dst=172.0.18.108 destinationZoneURI=/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255 dpt=53445 fileType=NAT Source IPv4 Address: fileHash=NAT Source Port: oldFileType=NAT Destination IPv4 Address: oldFileHash=NAT Destination Port: cs1=172.0.245.1 cs4=13 cs5=26 cn1=9 cn3=0 cs1Label=nexthop cs2Label=src_as cs3Label=dst_as cs4Label=src_mask cs5Label=dst_mask cs6Label=tcp_flags descr cn1Label=in_pkts cn2Label=out_pkts cn3Label=tcp_flags ahost=arcsight-test agt=172.0.6.96 agentZoneURI=/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255 amac=34-B3-54-BC-66-C6 av=7.14.0.8241.0 atz=Europe/Moscow at=cisco_netflow dvchost=arcsight-test dvc=172.0.255.245 deviceZoneURI=/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255 dtz=Europe/Moscow geid=0 _cefVer=1.0 ad.flow__sampler__id=0 ad.vendor__51=0 ad.DevicePort=61673 ad.interface__output__snmp=312 ad.src__tos=0 ad.pkthdr__uptime=444691076 ad.pkthdr__seq=787165105 ad.pkthdr__source__id=517 ad.pkthdr__count=32 ad.interface__input__snmp=153 aid=3hughqHkBABCBSulnxz6OxA\\=\\=

Результат обработки в текстовом виде:

{
  "rs_collector_hostname": "radar-balancer-01",
  "rs_relay_fqdn": "arcsight-test",
  "rs_relay_ip": "172.0.0.96",
  "rs_collector_ts": "2021-06-09T10:41:02.253872+03:00",
  "__rs_module": "3500-Arcsight-Smartconnector-Netflow-cef",
  "cef_version": 1,
  "vendor": "IP Flow",
  "product": "IP Flow",
  "version": "9",
  "signature": "flow",
  "name": "NetFlow Event",
  "severity": "Unknown",
  "eventId": "13252253246",
  "start": "1623223861208",
  "end": "1623223861272",
  "proto": "TCP",
  "in": "1098",
  "categoryBehavior": "/Communicate",
  "categoryDeviceGroup": "/Network Equipment",
  "catdt": "Network Monitoring",
  "categoryOutcome": "/Attempt",
  "categoryObject": "/Host",
  "art": "1623224462176",
  "rt": "1623223873000",
  "deviceDirection": "0",
  "src": "172.0.218.2",
  "sourceZoneURI": "/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255",
  "spt": "8787",
  "dst": "172.0.18.108",
  "destinationZoneURI": "/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255",
  "dpt": "53445",
  "fileType": "NAT Source IPv4 Address:",
  "fileHash": "NAT Source Port:",
  "oldFileType": "NAT Destination IPv4 Address:",
  "oldFileHash": "NAT Destination Port:",
  "ahost": "arcsight-test",
  "agt": "172.0.6.96",
  "agentZoneURI": "/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255",
  "amac": "34-B3-54-BC-66-C6",
  "av": "7.14.0.8241.0",
  "atz": "Europe/Moscow",
  "at": "cisco_netflow",
  "dvchost": "arcsight-test",
  "dvc": "172.0.255.245",
  "deviceZoneURI": "/All Zones/ArcSight System/Private Address Space Zones/RFC1918: 10.0.0.0-10.255.255.255",
  "dtz": "Europe/Moscow",
  "geid": "0",
  "_cefVer": "1.0",
  "ad.flow__sampler__id": "0",
  "ad.vendor__51": "0",
  "ad.DevicePort": "61673",
  "ad.interface__output__snmp": "312",
  "ad.src__tos": "0",
  "ad.pkthdr__uptime": "444691076",
  "ad.pkthdr__seq": "787165105",
  "ad.pkthdr__source__id": "517",
  "ad.pkthdr__count": "32",
  "ad.interface__input__snmp": "153",
  "aid": "3hughqHkBABCBSulnxz6OxA==",
  "nexthop": "172.0.245.1",
  "src_mask": "13",
  "dst_mask": "26",
  "in_pkts": "9",
  "tcp_flags": "0"
}

CEF

Сырое событие:

CEF:0|InfoTeCS|IDS|2.4.3-371989|1:2023753:2|ET SCAN MS Terminal Server Traffic on Non-standard Port|2|cat=1 cn1=348158796 cn1Label=EventID cnt=1 cs1=attempted-recon cs1Label=IDSClass cs2=emerging-scan cs2Label=IDSGroup cs3= cs3Label=CVEID cs4= cs4Label=ExternalRef cs5= cs5Label=IDSTags deviceExternalId=341000778 deviceFacility=Signature dmac=00:1c:58:8b:46:00 dpt=54321 dst=62.33.180.235 proto=TCP rt=May 31 2021 19:36:57.181 YEKT smac=84:78:ac:34:5e:a2 spt=2324 src=95.142.121.19

Результат обработки представлен на рисунке 2:

Результат обработки этапа CEF

Рисунок 2 -- Результат обработки этапа CEF

Результат обработки в текстовом виде:

{
  "cef_version": 0,
  "vendor": "InfoTeCS",
  "product": "IDS",
  "version": "2.4.3-371989",
  "signature": "1:2023753:2",
  "name": "ET SCAN MS Terminal Server Traffic on Non-standard Port",
  "severity": "2",
  "cat": "1",
  "cnt": "1",
  "deviceExternalId": "341000778",
  "deviceFacility": "Signature",
  "dmac": "00:1c:58:8b:46:00",
  "dpt": "54321",
  "dst": "62.33.180.235",
  "proto": "TCP",
  "rt": "May 31 2021 19:36:57.181 YEKT",
  "smac": "84:78:ac:34:5e:a2",
  "spt": "2324",
  "src": "95.142.121.19",
  "EventID": "348158796",
  "IDSClass": "attempted-recon",
  "IDSGroup": "emerging-scan",
  "CVEID": "",
  "ExternalRef": "",
  "IDSTags": ""
}

XML

Сырое событие:

<AuditRecord><Audit_Type>1</Audit_Type><Session_Id>250388</Session_Id><StatementId>1</StatementId><EntryId>1</EntryId><Extended_Timestamp>2020-08-25T19:57:32.604660Z</Extended_Timestamp><DB_User>RADAR</DB_User><OS_User>oracle</OS_User><Userhost>805cd2dc9016</Userhost><OS_Process>1313</OS_Process><Terminal>pts/0</Terminal><Instance_Number>0</Instance_Number><Action>100</Action><TransactionId>12001300EE070000</TransactionId><Returncode>0</Returncode><Comment_Text>Authenticated by: DATABASE</Comment_Text><Priv_Used>5</Priv_Used><DBID>2722566360</DBID><Current_User>RADAR</Current_User>\\n</AuditRecord>

Результат обработки представлен на рисунке 3:

Результат обработки этапа XML

Рисунок 3 -- Результат обработки этапа XML

Результат обработки в текстовом виде:

{
  "AuditRecord": {
    "Audit_Type": "1",
    "Session_Id": "250388",
    "StatementId": "1",
    "EntryId": "1",
    "Extended_Timestamp": "2020-08-25T19:57:32.604660Z",
    "DB_User": "RADAR",
    "OS_User": "oracle",
    "Userhost": "805cd2dc9016",
    "OS_Process": "1313",
    "Terminal": "pts/0",
    "Instance_Number": "0",
    "Action": "100",
    "TransactionId": "12001300EE070000",
    "Returncode": "0",
    "Comment_Text": "Authenticated by: DATABASE",
    "Priv_Used": "5",
    "DBID": "2722566360",
    "Current_User": "RADAR"
  }
}

CSV

Сырое событие:

"-1","domain618\\user286","10.10.200.10","POST","2619","500","host333.domain66.net","/path5","DENIED","","1557410124","2019-05-09 13:55:24","https","Streaming Media","","","Minimal Risk","Block URLs Whose Category Is in Category Blocklist for Default Groups","403","10.10.23.19","","Blocked by URL filtering","Other","","Google Update/1.3.33.23;winhttp\

Настройка этапа разбора представлена на рисунке 4 и рисунке 5:

Настройка этапа разбора CSV

Рисунок 4 -- Настройка этапа разбора CSV

Настройка этапа разбора CSV

Рисунок 5 -- Настройка этапа разбора CSV

Результат разбора представлен на рисунке 6:

Результат обработки этапа CSV

Рисунок 6 -- Результат обработки этапа CSV

Результат разбора в текстовом виде:

{
  "user_id": "-1",
  "username": "domain618\\user286",
  "source_ip": "10.10.200.10",
  "http_action": "POST",
  "server_to_client_bytes": "2619",
  "client_to_server_bytes": "500",
  "requested_host": "host333.domain66.net",
  "requested_path": "/path5",
  "result": "DENIED",
  "virus": "",
  "request_timestamp_epoch": "1557410124",
  "request_timestamp": "2019-05-09 13:55:24",
  "uri_scheme": "https",
  "category": "Streaming Media",
  "media_type": "",
  "application_type": "",
  "reputation": "Minimal Risk",
  "last_rule": "Block URLs Whose Category Is in Category Blocklist for Default Groups",
  "http_status_code": "403",
  "client_ip": "10.10.23.19",
  "location": "",
  "block_reason": "Blocked by URL filtering",
  "user_agent_product": "Other",
  "user_agent_version": "",
  "user_agent_comment": "Google Update/1.3.33.23;winhttp\n"
}

GROK

Для работы парсера необходимо завалидировать (проверить) паттерн и в случае успеха добавить его для использования, нажав на зеленый плюсик рядом с синей кнопкой «Валидировать».

Сырое событие:

<86>v-demo-checkpoint sshd[13236]: Accepted password for admin from 192.168.200.2 port 1091 ssh2

GROK-паттерн:

<?>%{DATA:application_name}\s+%{WORD:service}.*?\s+%{DATA:attempt}\s+for\s+%{USERNAME:username}\s+from\s+%{IPORHOST:from_host}\s+port\s+%{BASE10NUM:source_port}\s+%{DATA:transport}$

Результат обработки представлен на рисунке 7:

Результат обработки этапа GROK

Рисунок 7 -- Результат обработки этапа GROK

Результат обработки в текстовом виде:

{
  "application_name": "v-demo-checkpoint",
  "service": "sshd",
  "attempt": "Accepted password",
  "username": "admin",
  "from_host": "192.168.200.2",
  "source_port": "1091",
  "transport": "ssh2"
}