Error al ejecutar el script para generar la información sobre rhun

SIU-Wichi Técnicos Pentaho
1

Hola, estamos en la versión 6.10 y cuando ejecutamos ruhn.sh termina con error porque no puede eliminar un índice:

En el log del postgres dice:

ERROR: no existe el índice «idxp_ft_cargo_liquidado_periodo_id»
SENTENCIA: DROP INDEX rhun.idxp_ft_cargo_liquidado_periodo_id

En el log de la ejecución del script dice:

*** Karaf Instance Number: 2 at /usr/local/pentaho/data-integration/./syste ***
*** m/karaf/caches/default/data-1 ***
*** Karaf Port:8803 ***
*** OSGI Service Port:9052 ***

INFO [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled
org.apache.karaf.main.Main$KarafLockCallback lockAquired
INFORMACIÓN: Lock acquired. Setting startlevel to 100

  • Kitchen - Comienzo de la ejecución.
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
    org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess
    INFORMACIÓN: New Caching Service registered
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/launcher/…/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/plugins/pentaho-big-data-plugin/lib/slf4j-log4j12-1.7.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]

…

  • copiar_tablas - Entrada de comienzo [Success]
  • copiar_tablas - Finalizó la entrada de trabajo [Success] (resultado=[true])
  • copiar_tablas - Finalizó la entrada de trabajo [copiar tabla] (resultado=[true])
  • copiar_tablas - Finalizó la entrada de trabajo [truncate tabla] (resultado=[true])
  • copiar_tablas - Finalizó la entrada de trabajo [setear variable nombre_tabla] (resultado=[true])
  • principal_copiar_tablas_iguales - Entrada de comienzo [Success]
  • principal_copiar_tablas_iguales - Finalizó la entrada de trabajo [Success] (resultado=[true])
  • principal_copiar_tablas_iguales - Finalizó la entrada de trabajo [copiar_tablas] (resultado=[true])
  • principal_copiar_tablas_iguales - Finalizó la entrada de trabajo [obtener nombre tablas] (resultado=[true])
  • copiar_dimensiones_dsa_dw - Entrada de comienzo [Success]
  • copiar_dimensiones_dsa_dw - Finalizó la entrada de trabajo [Success] (resultado=[true])
  • copiar_dimensiones_dsa_dw - Finalizó la entrada de trabajo [copiar tablas] (resultado=[true])
  • copiar_dimensiones_dsa_dw - Finalizó la entrada de trabajo [Set variables] (resultado=[true])
  • principal_carga_rhun_dw - Entrada de comienzo [cargar FTs]
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • copiar_fts_dsa_dw - Entrada de comienzo [eliminar indices]
  • eliminar indices - Loading transformation from XML file [file:///usr/local/pentaho/data-integration/etl/carga_de_datos/rhun/importacion_rhun_dw/eliminar_indices_ft.ktr]
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • eliminar_indices_ft - Iniciado despacho de la transformación [eliminar_indices_ft]
  • Generar sentencias DROP INDEX.0 - Finished reading query, closing connection.
  • Generar sentencias DROP INDEX.0 - Procesamiento finalizado (EN=23, SA=0, LE=0, ES=23, AC=0, ER=0)
  • ejecuta sentencia.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Error en el paso, deteniendo el proceso debido a:
  • ejecuta sentencia.0 - Couldn’t execute SQL: DROP INDEX rhun.idxp_ft_cargo_liquidado_periodo_id;
  • ejecuta sentencia.0 -
  • ejecuta sentencia.0 - ERROR: no existe el índice «idxp_ft_cargo_liquidado_periodo_id»
  • ejecuta sentencia.0 - Se finalizó la lectura de la consulta, cerrando la conexión.
  • eliminar_indices_ft - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : ¡Errores detectados!
  • ejecuta sentencia.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=0, AC=0, ER=1)
  • eliminar_indices_ft - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : ¡Errores detectados!
  • copiar_fts_dsa_dw - Entrada de comienzo [Abortar]
  • Abortar - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
  • copiar_fts_dsa_dw - Finalizó la entrada de trabajo [Abortar] (resultado=[false])
  • copiar_fts_dsa_dw - Finalizó la entrada de trabajo [eliminar indices] (resultado=[false])
  • eliminar_indices_ft - La transformación ha detectado uno ó más pasos con errores.
  • eliminar_indices_ft - ¡La transformación está matando los otros pasos!
  • principal_carga_rhun_dw - Entrada de comienzo [error 8]
  • [ERROR]: Carga de FTs - Se produjo un error en la carga de las FTs.
  • principal_carga_rhun_dw - Entrada de comienzo [ERROR (4)]
  • ERROR (4) - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Se aborta el proceso de carga de rhun.
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [ERROR (4)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [error 8] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [cargar FTs] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [cargar dimensiones] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [validar y crear importación] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [setear fuentedato] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [tipo importacion 2] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [(periodo) en dw? (2)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [es una actualización?] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo FTs dw] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo en dsa?] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo FTs dsa] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [verifica parámetro (actualizacion)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [verifica parámetro (periodo)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [asignar_y_probar_conexion] (resultado=[false])
  • importacion_rhun - Entrada de comienzo [loguear error]
  • ERROR - Finalizó con error el proceso de importación de datos de Rhun.
  • importacion_rhun - Entrada de comienzo [Abort job]
  • Abort job - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
  • importacion_rhun - Finalizó la entrada de trabajo [Abort job] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [loguear error] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [dw] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [dsa] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [tmp] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [loguear inicio] (resultado=[false])
  • importacion_rhun - Ejecución del trabajo finalizada
  • Kitchen - ¡Finalizado!
  • Kitchen - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Finalizado con errores
  • Kitchen - Comienzo=2023/12/06 11:17:08.360, Final=2023/12/06 11:18:51.532
  • Kitchen - El procesamiento terminó luego de 1 minutos y 43 segundos (103 segundos en total).

Una prueba que hicimos fue, crear el índice (lo copiamos de rhun_backp) y volvimos a ejecutar el script rhun.sh, pero volvió a dar el error, pareciera que lo quiere borrar dos veces.

Saludos
Laura

2

Buenos dias Ana Laura, tal vez te dio error en algun otro indice cuando volvieron a ejecutar. Te paso la creacion de todos los indices para correr en la base de datos de wichi y luego vuelvan a probar la carga.

–Creacion de indices para las tablas FTs de rhun

CREATE INDEX idxp_ft_cargos_planta_porcentaje_dedicacion_id ON rhun.ft_cargos_planta USING btree (porcentaje_dedicacion_id);
CREATE INDEX idxp_ft_cargos_planta_porcentaje_investigacion_id ON rhun.ft_cargos_planta USING btree (porcentaje_investigacion_id);
CREATE INDEX idxp_ft_cargos_planta_porcentaje_extension_id ON rhun.ft_cargos_planta USING btree (porcentaje_extension_id);
CREATE INDEX idxp_ft_cargos_planta_porcentaje_gestion_id ON rhun.ft_cargos_planta USING btree (porcentaje_gestion_id);
CREATE INDEX idxp_ft_cargos_planta_edad_id ON rhun.ft_cargos_planta USING btree (edad_id);
CREATE INDEX idxp_ft_cargos_planta_horas_dedicacion_id ON rhun.ft_cargos_planta USING btree (horas_dedicacion_id);
CREATE INDEX idxp_ft_cargos_planta_numero_cargo_id ON rhun.ft_cargos_planta USING btree (numero_cargo_id);
–Indice por el campo periodo_id
CREATE INDEX idxp_ft_cargos_planta_periodo_id ON rhun.ft_cargos_planta USING btree (periodo_id);
CREATE INDEX idxp_ft_cargo_liquidado_periodo_id ON rhun.ft_cargo_liquidado USING btree (periodo_id);
CREATE INDEX idxp_ft_datos_personales_planta_periodo_id ON rhun.ft_datos_personales_planta USING btree (periodo_id);
CREATE INDEX idxp_ft_detalle_liquidacion_haberes_periodo_id ON rhun.ft_detalle_liquidacion_haberes USING btree (periodo_id);
CREATE INDEX idxp_ft_detalle_liquidacion_haberes_por_grupo_periodo_id ON rhun.ft_detalle_liquidacion_haberes_por_grupo USING btree (periodo_id);

Saludos,
Sabrina.

3

Hola Sabrina,
ejecutamos lo que nos mandaste, y volvimos a ejecutar el rhun.sh 202301 ,
pero nos vuelve a dar el mismo error:

…

  • copiar_fts_dsa_dw - Entrada de comienzo [eliminar indices]
  • eliminar indices - Loading transformation from XML file [file:///usr/local/pentaho/data-integration/etl/carga_de_datos/rhun/importacion_rhun_dw/eliminar_indices_ft.ktr]
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
  • eliminar_indices_ft - Iniciado despacho de la transformación [eliminar_indices_ft]
  • Generar sentencias DROP INDEX.0 - Finished reading query, closing connection.
  • Generar sentencias DROP INDEX.0 - Procesamiento finalizado (EN=24, SA=0, LE=0, ES=24, AC=0, ER=0)
  • ejecuta sentencia.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Error en el paso, deteniendo el proceso debido a:
  • ejecuta sentencia.0 - Couldn’t execute SQL: DROP INDEX rhun.idxp_ft_cargo_liquidado_periodo_id;
  • ejecuta sentencia.0 -
  • ejecuta sentencia.0 - ERROR: no existe el índice «idxp_ft_cargo_liquidado_periodo_id»
  • ejecuta sentencia.0 - Se finalizó la lectura de la consulta, cerrando la conexión.
  • ejecuta sentencia.0 - Procesamiento finalizado (EN=0, SA=0, LE=2, ES=1, AC=0, ER=1)
  • eliminar_indices_ft - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : ¡Errores detectados!
  • copiar_fts_dsa_dw - Entrada de comienzo [Abortar]
  • Abortar - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
  • copiar_fts_dsa_dw - Finalizó la entrada de trabajo [Abortar] (resultado=[false])
  • copiar_fts_dsa_dw - Finalizó la entrada de trabajo [eliminar indices] (resultado=[false])
  • eliminar_indices_ft - La transformación ha detectado uno ó más pasos con errores.
  • eliminar_indices_ft - ¡La transformación está matando los otros pasos!
  • principal_carga_rhun_dw - Entrada de comienzo [error 8]
  • [ERROR]: Carga de FTs - Se produjo un error en la carga de las FTs.
  • principal_carga_rhun_dw - Entrada de comienzo [ERROR (4)]
  • ERROR (4) - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Se aborta el proceso de carga de rhun.
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [ERROR (4)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [error 8] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [cargar FTs] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [cargar dimensiones] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [validar y crear importación] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [setear fuentedato] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [tipo importacion 2] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [(periodo) en dw? (2)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [es una actualización?] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo FTs dw] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo en dsa?] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [periodo FTs dsa] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [verifica parámetro (actualizacion)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [verifica parámetro (periodo)] (resultado=[false])
  • principal_carga_rhun_dw - Finalizó la entrada de trabajo [asignar_y_probar_conexion] (resultado=[false])
  • importacion_rhun - Entrada de comienzo [loguear error]
  • ERROR - Finalizó con error el proceso de importación de datos de Rhun.
  • importacion_rhun - Entrada de comienzo [Abort job]
  • Abort job - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
  • importacion_rhun - Finalizó la entrada de trabajo [Abort job] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [loguear error] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [dw] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [dsa] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [tmp] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[false])
  • importacion_rhun - Finalizó la entrada de trabajo [loguear inicio] (resultado=[false])
  • importacion_rhun - Ejecución del trabajo finalizada
  • Kitchen - ¡Finalizado!
  • Kitchen - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Finalizado con errores
  • Kitchen - Comienzo=2023/12/26 14:41:30.031, Final=2023/12/26 14:42:43.394
  • Kitchen - El procesamiento terminó luego de 1 minutos y 13 segundos (73 segundos en total).

Qué más podemos mirar.
Saludos y Felicidades!
Laura

4

Buenas tardes Laura, podrás enviarme el log completo a wichi@siu.edu.ar ??

5

Hola Sabrina, ya te envié el mail
Laura

6

Mediante una consulta SQL para ver los indices se detecto que salía doble la información, debido a que en pg_indexes mostraba el esquema RHUN, y RHUN_BACK.

Ahí nos dimos cuenta que en rhun_back también estaban los índices, así que los eliminamos y luego se ejecutó el script sin error.