Problema al ejecutar los ETL Diaguita en SIU-Wichi 6.0.0

lgara · 16 Diciembre, 2016 15:21

Buenos dias, estamos teniendo problemas al intentar ejercutar los etl de diaguita en modo consola con Kitchen,
Diaguita V2.2.5

./kitchen.sh \
  -file="/usr/local/siu/etl/carga_de_datos/diaguita/principal_carga_diaguita.kjb" \
  -param="base_wichi_clave=******" \
  -param="base_wichi_host=localhost" \
  -param="base_wichi_nombre=siu_wichi" \
  -param="base_wichi_puerto=*****" \
  -param="base_wichi_usuario=*********" \
  -param="carga_comentario=primer importacion diaguida" \
  -param="carga_directorioTemporal=:/home/wichi/diaguita/etl_temp" \
  -param="carga_instalacion=4-0301"

este es el resultado que me arroja

11:39:37,137 INFO  [KarafInstance] 
*******************************************************************************
*** Karaf Instance Number: 2 at /usr/local/pentaho/data-integration/./syste ***
***   m/karaf/caches/default/data-1                                         ***
*** Karaf Port:8803                                                         ***
*** OSGI Service Port:9052                                                  ***
*******************************************************************************
11:39:37,139 INFO  [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled
dic 16, 2016 11:39:38 AM org.apache.karaf.main.Main$KarafLockCallback lockAquired
INFORMACIÓN: Lock acquired. Setting startlevel to 100
2016/12/16 11:39:39 - Kitchen - Comienzo de la ejecución.
2016/12/16 11:39:42 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
dic 16, 2016 11:39:48 AM org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess
INFORMACIÓN: New Caching Service registered
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/launcher/../lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/plugins/pentaho-big-data-plugin/lib/slf4j-log4j12-1.7.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2016/12/16 11:39:55 - principal_carga_diaguita - Ejecución del trabajo comenzada
2016/12/16 11:39:55 - principal_carga_diaguita - Entrada de comienzo [loguear inicio]
2016/12/16 11:39:55 - INFO - Comenzando el proceso de carga de datos de Diaguita.
2016/12/16 11:39:55 - principal_carga_diaguita - Entrada de comienzo [buscar_instalacion]
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [parametro inst presente?]
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [verificar conexión]
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [buscar_instalacion]
2016/12/16 11:39:55 - buscar_instalacion - Loading transformation from XML file [file:///usr/local/siu/etl/carga_de_datos/general/instalacion/buscar_instalacion.ktr]
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - buscar_instalacion - Iniciado despacho de la transformación [buscar_instalacion]
2016/12/16 11:39:56 - Set Variables.0 - Setting environment variables...
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_host to value [*******]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_puerto to value [****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_usuario to value [*****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_clave to value [*****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_nombre to value [diaguita]
2016/12/16 11:39:56 - Set Variables 2.0 - Setting environment variables...
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable instalacion_id to value [4]
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable instalacion_desc to value [SIU-Diaguita]
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable fuente_dato_desc to value [SIU-Diaguita]
2016/12/16 11:39:56 - obtiene_parametros.0 - Finished reading query, closing connection.
2016/12/16 11:39:56 - valida_instalacion.0 - Finished reading query, closing connection.
2016/12/16 11:39:56 - Set Variables.0 - Finished after 1 rows.
2016/12/16 11:39:56 - Set Variables.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=1, AC=0, ER=0)
2016/12/16 11:39:56 - Set Variables 2.0 - Finished after 1 rows.
2016/12/16 11:39:56 - Set Variables 2.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=1, AC=0, ER=0)
2016/12/16 11:39:56 - Detect empty stream con parametro_instalacion.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=0, AC=0, ER=0)
2016/12/16 11:39:56 - Detect empty stream con d_instalacion.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=0, AC=0, ER=0)
2016/12/16 11:39:56 - valida_instalacion.0 - Procesamiento finalizado (EN=1, SA=0, LE=0, ES=2, AC=0, ER=0)
2016/12/16 11:39:56 - obtiene_parametros.0 - Procesamiento finalizado (EN=1, SA=0, LE=0, ES=2, AC=0, ER=0)
2016/12/16 11:39:56 - buscar_instalacion - Entrada de comienzo [loguear conexión]
2016/12/16 11:39:56 - INFO - Se encontró exitosamente la instalación "4-0301" (SIU-Diaguita) para la fuente de datos 7, con base de datos en *****:*****/diaguita .
2016/12/16 11:39:56 - buscar_instalacion - Entrada de comienzo [Instalación encontrada]
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [Instalación encontrada] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [loguear conexión] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [verificar conexión] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [parametro inst presente?] (resultado=[true])
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Set variables]
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Extracción]
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [loguear comienzo]
2016/12/16 11:39:56 - INFO - Comienza la extracción de datos de Diaguita.
2016/12/16 11:39:56 - INFO - Probando la conexión a la base Diaguita (diaguita).
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [probar conexión]
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [loguear3]
2016/12/16 11:39:56 - INFO - La conexión la la base Diaguita (diaguita) funciona correctamente.
2016/12/16 11:39:56 - INFO - Preparando directorios.
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [Preparar directorios]
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [temporal existe?]
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [Write To Log]
2016/12/16 11:39:56 - ERROR: directorio temporal - No se puede continuar porque el directorio temporal :/home/wichi/diaguita/etl_temp/ no existe o no está vacío.
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [Write To Log] (resultado=[false])
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [temporal existe?] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [Preparar directorios] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [loguear3] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [probar conexión] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [loguear comienzo] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [loguear errores]
2016/12/16 11:39:56 - ERROR - Finalizó con errores el proceso de carga de datos de Diaguita.
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [loguear errores] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Extracción] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Set variables] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [loguear inicio] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Ejecución del trabajo finalizada
2016/12/16 11:39:56 - Kitchen - ¡Finalizado!
2016/12/16 11:39:56 - Kitchen - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Finalizado con errores
2016/12/16 11:39:56 - Kitchen - Comienzo=2016/12/16 11:39:39.426, Final=2016/12/16 11:39:56.765
2016/12/16 11:39:56 - Kitchen - El procesamiento terminó luego de 17 segundos.

en el resultado en una de las lineas arroja la siguiente linea, pero si existe y esta vacia.

2016/12/16 11:39:56 - ERROR: directorio temporal - No se puede continuar porque el directorio temporal :/home/wichi/diaguita/etl_temp/ no existe o no está vacío.

desde ya muchas gracias

sbaisi · 19 Diciembre, 2016 13:23

Hola Leo, fijate que cuando pones los parámetros para llamar el etl, en el parámetro carga_directorioTemporal te quedaron dos puntos de mas b[/b] antes de la ruta
-param=“carga_directorioTemporal=:/home/wichi/diaguita/etl_temp” \

tendrías que ponerlo como

-param=“carga_directorioTemporal=/home/wichi/diaguita/etl_temp” \

Saludos,
Sabrina.

lgara · 19 Diciembre, 2016 15:24

Hola sabrina, gracias por tu respuesta. ahora arrojo otro error, te adjunto el log

Saludos

log_diaguita20161219.txt (353 KB)

lgara · 21 Diciembre, 2016 15:31

Solucione el error comentando en el script de carga_dsa del diaguita, la función podar_area(), como me recomendaron.

Tengo otras 2 consultas más.

en cuando al SIU-Pilaga, tenemos 2 servidores, en el cual en uno está el de producción ejercicio actual, y en el otro tenemos los ejercicios anteriores.
En las configuraciones de instalaciones, tenemos que crear instalación por cada ejercicio?
la otra consulta, se trata en que en las instalaciones donde se solicitan datos para la conexión a las BD de los sistemas SIU, en la base de datos de wichi, en la tabla parametro_instalacion, se almacenan estos datos como texto plano. está bien que se guarden las claves de esta forma?

saludos

marianom · 21 Diciembre, 2016 16:14

Hola Leo: respecto a tus consultas

1- Para ejercicios anteriores, podes crear una instalación e ir modificando el nombre de la base para cada carga.

Luego para la base del ejercicio actual, podes utilizar la instalación anterior modificando el host y base tambien que correspondan o hacer una nueva directamente. Lo que te resulte más cómodo.

2- Asi es, se están guardando asi. Seguramente lo cambiemos en próximas versiones.

saludos!