FOR_SIS06: Incidente 4785

DESCRIPCION 

Se reportaron problemas con el procesamiendo de transacciones con el SIcoop y el procesamiento de tarjetas.

BITACORA 

A las 10:50 aprox. se realiza una implementacion en el la Base de Datos SIcoop en el esquema MIDDLEWARE, especificamente para agregar el campo sobre una tabla del servicio PISP/SPI.

A las 11:05 aprox. nos informaron de inconvenientes con el SIcoop por un lado y por otro con el procesamiento de las operaciones que llegan desde Bancard y Bepsa para las operaciones con tarjeta.

Inmediatamente se reporto a TI para su revision. Se identifico primeramente que las conexiones a las Base de Datos del SIcoop estaban al limite rechanzando nuevas conexiones, afectando el correcto funcionamiento de DIMO, las operaciones como transferencias, compras con QR, y pago de servicios del SIcoop, el CRM y otras aplicaciones GX/Web tulizadas internamente.

Otros sistemas afectados durante el incidente fueron... el jPOS Local, el jPOS Xpress y fallo de conexion del Clife con su correspondiente Base de Datos (modulo para facturacion electronica). 

Posteriormente al revisar el jPOS Local, el ultimo mensaje encolado satisfactoriamente antes del incidente fue "Wed Feb 21 11:01:19 PYST 2024.129" lo cual es consistente con el informe de Bancard; si bien, el jPos recien reporta un mensaje de error a las 11:17 aprox. 

Posteriormente al revisar el reporte del SIcoop se identifica una ventana donde no ingresaron las transacciones, desde las 11:01:08 hasta las 11:24:51. 

Revisando ambos reportes, se identifica que ambos sistemas fueron afectados simultaneamente.

Una vez reiniciados los listener del SIcoop, se registraron las transacciones pero persistia el problema con las transferencias, compras con QR y pago de servicio de Infonet.

En la imagen se visualiza los problemas de conexion del jPOS local y jPOS xPress, especificamente problemas de conexion con la Base de Datos OLPY/Ceibo, siendo esto la causa de los problemas con las operaciones con TC y Bancard Xpress.

Una vez reiniciado ambos servicios jPOS se restablecieron los servicios tanto de Tarjetas como las operaciones con Bancard Xpress. Restableciendose ambos servicios a las 11:46 aproximadamente.

Esta informacion no es concluyente, pero la diversidad de los componentes afectados ( el jPOS Local, jPOS xPress, base de datos del SIcoop, Clife) hace suponer que estos fueron el efecto de otra causa primaria no identificada por el Dpto. de Sistemas.

ACCIONES APLICADAS

Se re-iniciaron los listener de la Base de Datos del SIcoop y se re-iniciaron los procesos jPOS Local y Xpress.

SOLUCION DE FONDO 

Se hace necesario la implementacion de un Centro de Monitoreo (para el control de la Red, servidores, bases de datos, aplicaciones, y servicios) que nos permitan reaccionar con mayor rapides e identificar con mayor presicion los elementos que necesitan atencion inmediata para restablecer los servicios en el menor tiempo posible.

Se procedio tambien a limitar la cantidad de conexiones de los dockers del Middleware hacia la base de datos SIcoop, para mitigar la avalancha de conexiones.