FOR_SIS06: Incidente 3734 - Rechazos de transacciones a Bancard 28/05

DESCRIPCION 

En la madrugada del 28-Mayo-2023 se reportaron rechazos de transacciones POS y ATM de Bancard.

BITACORA 

• A las 00:10 hs del sabado 28-Mayo, Cesar Gonzalez nuestro jefe de Operaciones me informa sobre un correo de Bancard que indica problemas con las transacciones con tarjetas Panal y Cabal.

• Revisando otros sistemas, se comprobo que tanto DIMO como el SICOOP Gateway (transferencias y Infonet Cobranzas) presentaban inconvenientes. Cabe mencionar que no me fue posible acceder por VPN para revisar el autorizador y otros sistemas.
• Se identificaron errores en DIMO y en el SICOOP Gateway.

• Se identifico en el SICOOP Gateway el inicio de los problemas de transferencia, la ultima operacion satisfactoria con Bancard fue a las 23:43.00 del dia 27-Mayo.

• Esa misma madrugada y conversando con Luis Medina sobre el incidente, me informa que re-inicio los jPOS:
  • El jPOS local se re-inicio Sun May 28 00:20:18 (transacciones con orgien POS o ATM)
  • EL jPOS Xpress se re-inicio Sun May 28 00:31:41 (transferencias bancarias)

• En el Autorizador Local tambien se visualiza un corte en las transacciones que ingresanban por el jPOS Local (operacion con POS y ATM). La ultima operacion exitosa fue a las 23:42:49, y la primera luego del inconveniente fue a las 00:20:28... este ultimo se corresonde con el horario de reinicio del jPOS Local. Mientras que transacciones que ingresaban via SICOOP si se autorizaban satisfactoriamente, dentro del rango del inicidente... danto a entender que el proceso de autorizacion seguia funcionando internamente entre el SICOOP y CEIBO.

• En el Autorizador Xpress (en Base de Datos) no se registraron transacciones en una ventana que va desde 2023-05-27 23:43:09 hasta las 2023-05-28 00:32:13. Este ultimo se corresponde al horario de reinicio del jPOS Xpress.

• Verificanto el log del jPOS Xpress se identifica un problema de conexion con la cola de datos del Oracle. El mensaje indicaba "no se pudo encolar el mensaje". Este error se registro a las 00:13:30 hs del dia 28-Mayo. Revisando con mas detalle se identificar tambien que a partir de las 23:43:00 hs aprox. el jPOS Xpress ya no pudo encolar las transacciones en el Oracle/CEIBO para su procesamiento por el Autorizador Xpress.

• De acuerdo a los datos colectados:
  • En el rango de las 23:42:40 hasta las 00:20:28 aprox. se identifica un problema de comunicacion entre el JPOS Local y la cola de datos del Oracle.
    • En el lapso indicado se visualizan mensajes en el log del jPOS que no se registraron en el Autorizador Local.
    • El jPOS Local fue reiniciado a las 00:20:18, a partir de ahi empiezan a procesarse correctamente las transacciones con POS y ATM.
  • En el rango de las 23:43:09 hasta las 00:32:13 aprox. se identifica un problema de comunicacion entre el jPOS Xpress y la cola de datos del Oracle.
    • En el lapso indicado se visualizan mensajes en el log del jPos Xpress que no se registraron en el Autorizador Xpress.
    • El jPOS Xpress fue reiniciado a las 00:31:41, a partir de ahi empiezan a procesarse correctamente las transferencias Xpress y otros servicios de Bancard.
  • Por lo revisado en los logs del jPOS (Local y Xpress) NO hubo problemas de conexion/comunicacion entre Bancard y Cabal, fue un problema interno de comunicacion entre el jPOS y las colas de datos del Oracle.
  • Cabe indicar ademas, que dentro del rango del inicidente ingresaban al Autorizador Local transacciones via SICOOP que se procesaban satisfactoriamente, por ejemplo transferencias de TP a TP y Caja de Ahorro a TC o TP, dando a entender que la comunicacion SICOOP-CEIBO no se vio afectada.

SOLUCION APLICADA 

Se reiniciaron los procesos jPOS tanto para las transacciones Locales como las Xpress que procesa los servicios de Bancard.

SOLUCION DE FONDO 

Al no indentificarse la causa del incidente se recomienda aplicar soluciones que nos ayuden a mitigar el efecto de este tipo de incidentes, como la generacion de alarmas en el CEIBO y el en SICOOP para identificar:

• Errores masivos: Acumulacion de errores continuos que afectan a un Participante SICOOP, o bien, al procesamiento de Tarjetas provenientes de una RED.
• Falta de trafico: Falta o disminusion significativa de transacciones que afectan a un Participante SICOOP, o bien, al procesamiento de Tarjetas provenientes de una RED.

Pantallas de Monitoreo para su visualizacion permanente en las oficinas de Operaciones y SAC.