Desarrollo de un laboratorio pedagógico de procesamiento de flujos de datos usando apache kafka

Abstract

Los datos son elementos vitales en todo tipo de entornos, permiten desarrollar ideas, tomar decisiones de la forma adecuada buscando la finalidad que se espera. Por otro lado, permiten también despejar dudas o resolver inquietudes, y más si se están visualizando en el momento o en el mismo instante en el que obtienen. En este trabajo se desea mostrar cómo se pueden realizar análisis de datos en tiempo real, apoyados en una plataforma en la nube, que garantiza la total disponibilidad en cualquier momento que se desee realizar este análisis. Para cumplir con este objetivo se va a desarrollar un laboratorio práctico, utilizando la plataforma Confluent Cloud, en la cual se van a generar los tópicos, que van a almacenar los datos como son las tablas, y los tópicos que van a estar en constante actualización con datos en uso en tiempo real, que son los stream. Durante el desarrollo de este proyecto se encontraron retos, principalmente en adquirir el conocimiento necesario para poder trabajar el lenguaje utilizado en esta plataforma, aunque su estructura es muy similar al lenguaje de consulta estructurada (SQL). Esta plataforma tiene su propio lenguaje, con algunos complementos que basan su funcionamiento en Kafka, los cuales se utilizan para realizar las consultas y el análisis de los datos que se van generando. Por otra parte, luego de realizar las configuraciones necesarias y de realizar los ajustes para que todos los tópicos de la plataforma se poblaran con los datos que se van a analizar en el laboratorio. Se realizará un laboratorio pedagógico para proponer un estudio sobre transacciones financieras, se plantearon ejemplos de consultas, para visualizar los datos, que buscan mostrar cómo interactúan estos tópicos, y cómo estos resultados ayudan a identificar los posibles fraudes financieros en las transacciones realizadas. Por lo cual se establecieron algunos parámetros, como la ubicación geográfica del individuo que realiza la transacción, los montos que sobrepasan los promedios de gastos de un individuo, o las transacciones realizadas en ventanas horarias que no corresponden a la ubicación según la zona horaria la que se está realizando.