Passive Footprinting: ELK | Open data (II)

En el #artículo anterior# vimos como la pilaELKestá compuesta (principalmente) por <tres> componentes decódigo abierto“: <Elasticsearch>, “Logstashy <Kibana>. Pues bien, comencemos a trabajar con ella.

Con #logstash# indexaremos losdistintos formatosen #elasticsearch# (para <RIPE> nos puede interesar llevar a cabo un tratamiento previo y convertirlo a formatoJSON-).

#Elasticsearch# lo vamos a usar paraindexarla #información# ydistribuirlapor <índices> según tipo.

Y por último <Kibana> será elfrontendque utilizaremos para realizar consultasDSLde forma sencilla y (de manera opcional) –crear elgrupo de gráficosque más nos guste.

Comencemos con #logstash#;

Nota: puede resultar interesante convertir los datos de <RIPE> aJSON para no tener que crear un <plugin> específico para #logstash#. Esto se puede hacer muy fácil con un <miniscript>.

Veamos:

1-FP-2
CapturaConversión a JSON de datos RIPE (Python)

Una vezconvertido-, usaremos el <plugin> de entradafile y el <plugin> de salidaelasticsearchde #logstash# paraindexarla #información# en #elasticsearch#.

2-FP-2
CapturaConfiguración logstash para indexación de datos de RIPE en elasticsearch

Los datos de #HTTP# (-scans.io-) vienen en un formatoJSON-, por lo cuál sólo tenemos que personalizar un poco másel <filtro> paraindexarla #información#.

3-FP-2
CapturaFiltro en configuración logstash para indexación de datos de scans.io (HTTP)

A modo adicional en el <plugin> de salidaelasticsearchle indicaremos que use nuestraplantilla personalizada“, para que no entienda el campoipcomo <string> y sí como dirección #IP# y asírealizar búsquedaspor #IPs# o <rangos> de estas.

Lasdirectivasaincluiren el bloque #elasticsearch# { … } serían:

4-FP-2

En laplantilla originalde #elasticsearch# solo se ha deañadirla <línea siguiente> en el bloque properties” : { … };

5-FP-2

Ok.. perfecto, ya tenemos lasconfiguracionesde #logstash#. Ahora toca <indexar>.

6-FP-2

Cuandotengamoslos <datos> –indexados– (puede llevar una cantidad de tiempo considerable), sólo queda ejecutar #kibana# para <acceder> a la #información#:

7-FP-2

Ahora veremos conimágenesalgunos casos de uso (sin objetivo concreto) para ver lasposibilidadesde la #información# <indexada>.

Usando losdatosde #RIPE#, podemos simularparcialmente su <funcionalidad> debúsquedas de texto“;

8-FP-2
CapturaBúsqueda de rangos con cierta relación a un patrón establecido y no pertenecientes a España.

Con losdatosdel <escaneo> del #puerto 80# (IPv4) intentaremos <localizar> diferentes “servidores“- de <aplicaciones> (estabúsquedapodría realizarse de igual modo con los <datos> –proporcionadospor #commoncrawl.org#):

9-FP-2
CapturaLocalización de servidores de aplicaciones JBoss en los datos proporcionados por scans.io

Al igual que esposibleacotar los <resultados anteriores> enrangosde direcciones #IP# dadas;

10-FP-2
CapturaLocalización de servidores de aplicaciones JBoss en un rango determinado

Y por qué no, también esposible” –intentar localizarpotenciales <problemas> de #seguridad#.

11-FP-2
CapturaLocalización de errores de sintaxis SQL en datos proporcionados por commoncrawl.org

Dicho todo esto y para una aproximación más seria, tendríamos queindexartodos los <datos posibles> (toda la #información# aportada en #scans.io#, el100%del <crawling> publicado en #Common Crawl#, yañadir información– #WHOIS# de todos los <TLD> “posibles” e “incorporar fuentesde <datos> propios) y demanera opcional– “crearun #frontend# máspersonalizadoque <provea> por ejemplo laposibilidadde <generar informes> con los “datos obtenidosde <búsquedas> cruzadas con lasmúltiplesfuentes de #información# (<angularjs+bootstrap>, “PHP“, <.NET>, “nodejs“, <rails>, “djangoseríanopciones válidas-, aunque hay <opciones> para todos los gustos).

Salu2

Animation_computercorner

Anuncios

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s