Recopila registros de Apache

Compatible con:

En este documento, se explica cómo transferir registros de Apache a Google Security Operations con Bindplane. El código del analizador primero intenta analizar el mensaje de registro sin procesar como JSON. Si eso falla, usa expresiones regulares (patrones grok) para extraer campos del mensaje según formatos de registro comunes de Apache.

Antes de comenzar

  • Asegúrate de tener una instancia de Google SecOps.
  • Asegúrate de usar Windows 2016 o una versión posterior, o un host de Linux con systemd.
  • Si se ejecuta detrás de un proxy, asegúrate de que los puertos del firewall estén abiertos.
  • Asegúrate de tener acceso con privilegios a una instancia de Apache.

Obtén el archivo de autenticación de transferencia de Google SecOps

  1. Accede a la consola de Google SecOps.
  2. Ve a Configuración de SIEM > Agentes de recopilación.
  3. Descarga el archivo de autenticación de transferencia. Guarda el archivo de forma segura en el sistema en el que se instalará Bindplane.

Obtén el ID de cliente de Google SecOps

  1. Accede a la consola de Google SecOps.
  2. Ve a Configuración de SIEM > Perfil.
  3. Copia y guarda el ID de cliente de la sección Detalles de la organización.

Instala el agente de Bindplane

Instalación de Windows

  1. Abre el símbolo del sistema o PowerShell como administrador.
  2. Ejecuta el siguiente comando:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    

Instalación de Linux

  1. Abre una terminal con privilegios de raíz o sudo.
  2. Ejecuta el siguiente comando:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    

Recursos de instalación adicionales

Configura el agente de Bindplane para transferir Syslog y enviarlo a Google SecOps

  1. Accede al archivo de configuración:

    1. Ubica el archivo config.yaml. Por lo general, se encuentra en el directorio /etc/bindplane-agent/ en Linux o en el directorio de instalación en Windows.
    2. Abre el archivo con un editor de texto (por ejemplo, nano, vi o Bloc de notas).
  2. Edita el archivo config.yaml de la siguiente manera:

    receivers:
        udplog:
            # Replace the port and IP address as required
            listen_address: "0.0.0.0:514"
    
    exporters:
        chronicle/chronicle_w_labels:
            compression: gzip
            # Adjust the path to the credentials file you downloaded in Step 1
            creds: '/path/to/ingestion-authentication-file.json'
            # Replace with your actual customer ID from Step 2
            customer_id: <customer_id>
            endpoint: malachiteingestion-pa.googleapis.com
            # Add optional ingestion labels for better organization
            ingestion_labels:
                log_type: 'APACHE'
                raw_log_field: body
    
    service:
        pipelines:
            logs/source0__chronicle_w_labels-0:
                receivers:
                    - udplog
                exporters:
                    - chronicle/chronicle_w_labels
    
  3. Reemplaza el puerto y la dirección IP según sea necesario en tu infraestructura.

  4. Reemplaza <customer_id> por el ID de cliente real.

  5. Actualiza /path/to/ingestion-authentication-file.json a la ruta de acceso en la que se guardó el archivo de autenticación en la sección Obtén el archivo de autenticación de transferencia de Google SecOps.

Reinicia el agente de Bindplane para aplicar los cambios.

  • Para reiniciar el agente de Bindplane en Linux, ejecuta el siguiente comando:

    sudo systemctl restart bindplane-agent
    
  • Para reiniciar el agente de Bindplane en Windows, puedes usar la consola Services o ingresar el siguiente comando:

    net stop BindPlaneAgent && net start BindPlaneAgent
    

Configura Syslog en Apache

  1. Accede al servidor Ubuntu con SSH.
  2. Crea un archivo en /etc/rsyslog.d/ llamado 02-apache2.conf:

    vim /etc/rsyslog.d/02-apache2.conf
    
  3. Agrega el siguiente código al archivo:

    module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
    input(type="imfile"
            File="/var/log/apache2/access.log"
            Tag="http_access"
            Severity="info"
            Facility="local6")
    Local6.info        @<bindplane-agnet-ip>:<vindplane-agent-port>
    module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
    input(type="imfile"
            File="/var/log/apache2/error.log"
            Tag="http_error"
    
    • Reemplaza bindplane-agent-ip> y bindplane-agent-port por la dirección IP y el puerto configurados para el agente de Bindplane.
    • Si usas el protocolo TCP, agrega un @ adicional a la línea de host para que se vea de la siguiente manera: @@<bindplane-agnet-ip>:<vindplane-agent-port>.
  4. Reinicia los servicios de RSyslog:

    sudo service rsyslog restart
    

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
bytes network.received_bytes Bytes recibidos del cliente.
bytes network.sent_bytes Bytes enviados al cliente.
bytes_out network.sent_bytes Bytes enviados al cliente.
bytes_received network.received_bytes Bytes recibidos del cliente.
Contenido network.http.method Método HTTP extraído del campo "Contenido".
Contenido target.url URL de destino extraída del campo "Contenido".
galleta additional.fields.value.string_value Es el valor del campo "cookie".
dest_ip target.ip Es la dirección IP del objetivo.
dest_name target.hostname Es el nombre de host del destino.
dest_port target.port Es el puerto del destino.
descripción metadata.description Es la descripción del evento.
duration_microseconds additional.fields.value.string_value Es el valor del campo "duration_microseconds".
file_full_path target.file.full_path Es la ruta de acceso completa del archivo de destino.
Nombre de host target.hostname Es el nombre de host del destino.
http_content_type additional.fields.value.string_value Es el valor del campo "http_content_type".
http_host principal.hostname Es el nombre de host del principal.
http_method network.http.method Método HTTP.
http_referrer network.http.referral_url URL de referencia HTTP
http_user_agent network.http.user_agent Usuario-agente HTTP.
ID metadata.id Es el ID del evento.
insertId metadata.product_log_id Es el ID del registro del producto.
ip principal.ip Dirección IP del principal.
jsonPayload.cIP target.ip Es la dirección IP del objetivo.
jsonPayload.cPort target.port Es el puerto del destino.
jsonPayload.csBytes network.sent_bytes Bytes enviados al cliente.
jsonPayload.csMethod network.http.method Método HTTP.
jsonPayload.csMimeType target.file.mime_type Es el tipo de MIME del archivo de destino.
jsonPayload.csReferer network.http.referral_url URL de referencia HTTP
jsonPayload.csURL target.url URL de destino
jsonPayload.csUserAgent network.http.user_agent Usuario-agente HTTP.
jsonPayload.sHierarchy additional.fields.value.string_value Es el valor del campo "sHierarchy".
jsonPayload.sHostname principal.hostname Es el nombre de host del principal.
jsonPayload.sIP principal.ip Dirección IP del principal.
jsonPayload.scBytes network.received_bytes Bytes recibidos del cliente.
jsonPayload.scHTTPStatus network.http.response_code Código de respuesta HTTP.
jsonPayload.scResultCode additional.fields.value.string_value Es el valor del campo "scResultCode".
LastStatus network.http.response_code Código de respuesta HTTP.
log_level security_result.severity Gravedad del resultado de seguridad.
logName security_result.category_details Detalles de la categoría del resultado de seguridad
método network.http.method Método HTTP.
pid principal.process.pid Es el ID de proceso del principal.
Puerto target.port Es el puerto del destino.
protocolo network.application_protocol Protocolo de la aplicación.
URL de referencia network.http.referral_url URL de referencia HTTP
RemoteHost principal.ip Dirección IP del principal.
RemoteUser principal.user.userid ID de usuario del principal.
resource.labels.instance_id target.resource.product_object_id Es el ID del objeto del producto del recurso de destino.
resource.labels.project_id target.resource.attribute.labels.value Es el valor de la etiqueta "project_id".
resource.labels.zone target.resource.attribute.cloud.availability_zone Zona de disponibilidad del recurso de destino.
resource.type target.resource.resource_type Es el tipo de recurso del destino.
respuesta network.http.response_code Código de respuesta HTTP.
SizeBytes network.received_bytes Bytes recibidos del cliente.
src_ip principal.ip Dirección IP del principal.
src_port principal.port Es el puerto del principal.
ssl_cipher network.tls.cipher Algoritmo de cifrado TLS
ssl_version network.tls.version_protocol Protocolo de versión de TLS.
estado network.http.response_code Código de respuesta HTTP.
objetivo target.url URL de destino
target_ip target.ip Es la dirección IP del objetivo.
target_port target.port Es el puerto del destino.
hora metadata.event_timestamp Marca de tiempo del evento.
uri_path target.process.file.full_path Es la ruta de acceso completa del archivo de destino.
usuario principal.user.userid ID de usuario del principal.
usuario-agente network.http.user_agent Usuario-agente HTTP.
version_protocol network.tls.version_protocol Protocolo de versión de TLS.
Workername principal.hostname Es el nombre de host del principal.
x_forwarded_for Es el valor del encabezado "X-Forwarded-For".
metadata.log_type El valor se establece en "APACHE" en el código del analizador.
metadata.product_name El valor se establece en "Apache Web Server" en el código del analizador.
metadata.vendor_name El valor se establece en "Apache" en el código del analizador.
metadata.event_type El valor se determina en función de la presencia de información principal y de destino. Si están presentes el principal y el objetivo, el tipo de evento se establece en "NETWORK_HTTP". Si solo está presente el principal, el tipo de evento se establece en "STATUS_UPDATE". De lo contrario, se establece como "GENERIC_EVENT".
additional.fields.key La clave se establece en "keep_alive", "duration_microseconds", "cookie", "http_content_type", "sHierarchy", "scResultCode" en el código del analizador según el campo.
target.port Si el campo "proto" es "HTTP", el puerto se establece en 80. Si el campo "proto" es "HTTPS", el puerto se establece en 443. Si el campo "proto" es "FTP", el puerto se establece en 21.
target.resource.attribute.labels.key La clave se establece en "project_id" en el código del analizador.

Cambios

2025-01-09

Mejora:

  • Se agregó un nuevo patrón de Grok para analizar el nuevo formato de registro.
  • Se asignó "user_location" a "principal.location.country_or_region".
  • Se asignaron "proto", "proto_version", "uri_path" y "uri_query" a "additional.fields".

2024-12-19

Mejora:

  • Se agregó un patrón Grok para analizar los registros sin analizar.

2024-09-10

Mejora:

  • Se agregó compatibilidad para analizar registros sin analizar.

2024-08-05

Mejora:

  • Se agregó un patrón Grok para analizar el campo "jsonPayload.message" en "additional.fields".
  • Se asignó "ip_msg" a "principal.ip" y "principal.asset.ip".
  • Se asignó "msg_method" a "network.http.method".
  • Se asignó "response_code" a "network.http.response_code".
  • Se asignó "useragentvalue" a "network.http.user_agent".

2024-06-11

Mejora:

  • Se agregó un patrón de Grok para analizar el nuevo patrón de registros de formato SYSLOG.

2024-01-25

Mejora:

  • Se agregó un nuevo patrón de Grok para analizar los registros de syslog que contienen el símbolo “+”.

2024-01-25

Mejora:

  • Se agregó un nuevo patrón de Grok para analizar los registros de syslog que contienen el símbolo “+”.

2023-12-21

Mejora:

  • Se controlaron los registros JSON sin analizar.
  • Se asignó "src_port" a "principal.port".
  • Se asignó "x_forwarded_for" a "principal.ip".
  • Se asignaron "keep_alive", "duration_microseconds", "cookie" y "http_content_type" a "additional.fields".
  • Se asignó "user" a "principal.user.userid".
  • Se asignó "http_host" a "principal.hostname".
  • Se asignó "file_full_path" a "target.file.full_path".
  • Se asignó "ssl_version" a "network.tls.version_protocol".
  • Se asignó "ssl_cipher" a "network.tls.cipher".
  • Se asignó "uri_path" a "target.process.file.full_path".
  • Se asignó "http_referrer" a "network.http.referral_url".
  • Se asignó "http_user_agent" a "network.http.user_agent".
  • Se asignó "http_method" a "network.http.method".
  • Se asignó "protocolo" a "network.application_protocol".
  • Se asignó "dest_port" a "target.port".
  • Se asignó "dest_name" a "target.hostname".
  • Se asignó "bytes_out" a "network.sent.bytes".

2023-07-31

Mejora:

  • Se modificó el patrón Grok para controlar el guion (“-”) cuando los bytes no están disponibles.

2023-06-05

Mejora:

  • Se asignó "Contenido" a "target.url", "network.http.method" y "network.tls.version_protocol".
  • Se asignó "LastStatus" a "network.http.response_code".
  • Se asignó "SizeBytes" a "network.received_bytes".
  • Se asignó "Workername" a "principal.hostname".
  • Se asignó "Puerto" a "target.port".
  • Se asignó "ID" a "metadata.id".
  • Se asignaron "XForwardedForIP" y "RemoteHost" a "principal.ip".
  • Se asignó "Remoteuser" a "principal.user.userid".
  • Se modificó el patrón Grok para admitir el análisis incorrecto de registros.

2023-02-20

Mejora:

  • Se modificó el patrón Grok para admitir el análisis incorrecto de registros.
  • Se convirtió "user_agent" en "network.http.parsed_user_agent".

2022-09-21

Mejora:

  • Se migró al analizador predeterminado.

2022-09-07

Mejora:

  • Se agregaron patrones de grok para analizar registros con formato JSON y syslog.
  • Se asignaron los campos "host.name" y "hostname" a "target.hostname".
  • Se asignó el campo "log.file.path" a "principal.process.file.full_path".
  • Se asignó el campo "mac" a "principal.mac".
  • Se asignó el campo "ip" a "principal.asset.ip".
  • Se asignó el campo "os.version" a "principal.platform_version".
  • Se asignó el campo "os.kernel" a "principal.platform_patch_level".
  • Se asignó el campo "os.platform" a "principal.platform".
  • Se asignó el campo "architecture" a "principal.asset.hardware".
  • Se asignó el campo "id" a "principal.asset.asset_id".

2022-05-12

Mejora:

  • Se agregaron patrones de Grok para registros únicos sin analizar.
  • Se agregaron verificaciones condicionales para "network.http.user_agent" y "network.http.referral_url".
  • Se agregó compatibilidad con los registros de proxy de Apache Traffic Server (ATS).

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.