Problema al ejecutar los ETL Diaguita en SIU-Wichi 6.0.0

Buenos dias, estamos teniendo problemas al intentar ejercutar los etl de diaguita en modo consola con Kitchen,
Diaguita V2.2.5

./kitchen.sh \
  -file="/usr/local/siu/etl/carga_de_datos/diaguita/principal_carga_diaguita.kjb" \
  -param="base_wichi_clave=******" \
  -param="base_wichi_host=localhost" \
  -param="base_wichi_nombre=siu_wichi" \
  -param="base_wichi_puerto=*****" \
  -param="base_wichi_usuario=*********" \
  -param="carga_comentario=primer importacion diaguida" \
  -param="carga_directorioTemporal=:/home/wichi/diaguita/etl_temp" \
  -param="carga_instalacion=4-0301"

este es el resultado que me arroja

11:39:37,137 INFO  [KarafInstance] 
*******************************************************************************
*** Karaf Instance Number: 2 at /usr/local/pentaho/data-integration/./syste ***
***   m/karaf/caches/default/data-1                                         ***
*** Karaf Port:8803                                                         ***
*** OSGI Service Port:9052                                                  ***
*******************************************************************************
11:39:37,139 INFO  [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled
dic 16, 2016 11:39:38 AM org.apache.karaf.main.Main$KarafLockCallback lockAquired
INFORMACIÓN: Lock acquired. Setting startlevel to 100
2016/12/16 11:39:39 - Kitchen - Comienzo de la ejecución.
2016/12/16 11:39:42 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
dic 16, 2016 11:39:48 AM org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess
INFORMACIÓN: New Caching Service registered
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/launcher/../lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/pentaho/data-integration/plugins/pentaho-big-data-plugin/lib/slf4j-log4j12-1.7.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2016/12/16 11:39:55 - principal_carga_diaguita - Ejecución del trabajo comenzada
2016/12/16 11:39:55 - principal_carga_diaguita - Entrada de comienzo [loguear inicio]
2016/12/16 11:39:55 - INFO - Comenzando el proceso de carga de datos de Diaguita.
2016/12/16 11:39:55 - principal_carga_diaguita - Entrada de comienzo [buscar_instalacion]
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [parametro inst presente?]
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [verificar conexión]
2016/12/16 11:39:55 - buscar_instalacion - Entrada de comienzo [buscar_instalacion]
2016/12/16 11:39:55 - buscar_instalacion - Loading transformation from XML file [file:///usr/local/siu/etl/carga_de_datos/general/instalacion/buscar_instalacion.ktr]
2016/12/16 11:39:55 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - buscar_instalacion - Iniciado despacho de la transformación [buscar_instalacion]
2016/12/16 11:39:56 - Set Variables.0 - Setting environment variables...
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_host to value [*******]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_puerto to value [****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_usuario to value [*****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_clave to value [*****]
2016/12/16 11:39:56 - Set Variables.0 - Set variable base_fuente_nombre to value [diaguita]
2016/12/16 11:39:56 - Set Variables 2.0 - Setting environment variables...
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable instalacion_id to value [4]
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable instalacion_desc to value [SIU-Diaguita]
2016/12/16 11:39:56 - Set Variables 2.0 - Set variable fuente_dato_desc to value [SIU-Diaguita]
2016/12/16 11:39:56 - obtiene_parametros.0 - Finished reading query, closing connection.
2016/12/16 11:39:56 - valida_instalacion.0 - Finished reading query, closing connection.
2016/12/16 11:39:56 - Set Variables.0 - Finished after 1 rows.
2016/12/16 11:39:56 - Set Variables.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=1, AC=0, ER=0)
2016/12/16 11:39:56 - Set Variables 2.0 - Finished after 1 rows.
2016/12/16 11:39:56 - Set Variables 2.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=1, AC=0, ER=0)
2016/12/16 11:39:56 - Detect empty stream con parametro_instalacion.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=0, AC=0, ER=0)
2016/12/16 11:39:56 - Detect empty stream con d_instalacion.0 - Procesamiento finalizado (EN=0, SA=0, LE=1, ES=0, AC=0, ER=0)
2016/12/16 11:39:56 - valida_instalacion.0 - Procesamiento finalizado (EN=1, SA=0, LE=0, ES=2, AC=0, ER=0)
2016/12/16 11:39:56 - obtiene_parametros.0 - Procesamiento finalizado (EN=1, SA=0, LE=0, ES=2, AC=0, ER=0)
2016/12/16 11:39:56 - buscar_instalacion - Entrada de comienzo [loguear conexión]
2016/12/16 11:39:56 - INFO - Se encontró exitosamente la instalación "4-0301" (SIU-Diaguita) para la fuente de datos 7, con base de datos en *****:*****/diaguita .
2016/12/16 11:39:56 - buscar_instalacion - Entrada de comienzo [Instalación encontrada]
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [Instalación encontrada] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [loguear conexión] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [verificar conexión] (resultado=[true])
2016/12/16 11:39:56 - buscar_instalacion - Finalizó la entrada de trabajo [parametro inst presente?] (resultado=[true])
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Set variables]
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Extracción]
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [loguear comienzo]
2016/12/16 11:39:56 - INFO - Comienza la extracción de datos de Diaguita.
2016/12/16 11:39:56 - INFO - Probando la conexión a la base Diaguita (diaguita).
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [probar conexión]
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [loguear3]
2016/12/16 11:39:56 - INFO - La conexión la la base Diaguita (diaguita) funciona correctamente.
2016/12/16 11:39:56 - INFO - Preparando directorios.
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [Preparar directorios]
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [temporal existe?]
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [Write To Log]
2016/12/16 11:39:56 - ERROR: directorio temporal - No se puede continuar porque el directorio temporal :/home/wichi/diaguita/etl_temp/ no existe o no está vacío.
2016/12/16 11:39:56 - preparar_directorios - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [Write To Log] (resultado=[false])
2016/12/16 11:39:56 - preparar_directorios - Finalizó la entrada de trabajo [temporal existe?] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [Preparar directorios] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [loguear3] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [probar conexión] (resultado=[false])
2016/12/16 11:39:56 - principal_extraccion_diaguita - Finalizó la entrada de trabajo [loguear comienzo] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [loguear errores]
2016/12/16 11:39:56 - ERROR - Finalizó con errores el proceso de carga de datos de Diaguita.
2016/12/16 11:39:56 - principal_carga_diaguita - Entrada de comienzo [Abortar trabajo]
2016/12/16 11:39:56 - Abortar trabajo - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Abortando trabajo.
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Abortar trabajo] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [loguear errores] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Extracción] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [Set variables] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [buscar_instalacion] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Finalizó la entrada de trabajo [loguear inicio] (resultado=[false])
2016/12/16 11:39:56 - principal_carga_diaguita - Ejecución del trabajo finalizada
2016/12/16 11:39:56 - Kitchen - ¡Finalizado!
2016/12/16 11:39:56 - Kitchen - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Finalizado con errores
2016/12/16 11:39:56 - Kitchen - Comienzo=2016/12/16 11:39:39.426, Final=2016/12/16 11:39:56.765
2016/12/16 11:39:56 - Kitchen - El procesamiento terminó luego de 17 segundos.

en el resultado en una de las lineas arroja la siguiente linea, pero si existe y esta vacia.

2016/12/16 11:39:56 - ERROR: directorio temporal - No se puede continuar porque el directorio temporal :/home/wichi/diaguita/etl_temp/ no existe o no está vacío.

desde ya muchas gracias

Hola Leo, fijate que cuando pones los parámetros para llamar el etl, en el parámetro carga_directorioTemporal te quedaron dos puntos de mas b[/b] antes de la ruta
-param=“carga_directorioTemporal=:/home/wichi/diaguita/etl_temp” \

tendrías que ponerlo como

-param=“carga_directorioTemporal=/home/wichi/diaguita/etl_temp” \

Saludos,
Sabrina.

Hola sabrina, gracias por tu respuesta. ahora arrojo otro error, te adjunto el log

Saludos

log_diaguita20161219.txt (353 KB)

Solucione el error comentando en el script de carga_dsa del diaguita, la función podar_area(), como me recomendaron.

Tengo otras 2 consultas más.

• en cuando al SIU-Pilaga, tenemos 2 servidores, en el cual en uno está el de producción ejercicio actual, y en el otro tenemos los ejercicios anteriores.
  En las configuraciones de instalaciones, tenemos que crear instalación por cada ejercicio?

• la otra consulta, se trata en que en las instalaciones donde se solicitan datos para la conexión a las BD de los sistemas SIU, en la base de datos de wichi, en la tabla parametro_instalacion, se almacenan estos datos como texto plano. está bien que se guarden las claves de esta forma?

saludos

Hola Leo: respecto a tus consultas

1- Para ejercicios anteriores, podes crear una instalación e ir modificando el nombre de la base para cada carga.

Luego para la base del ejercicio actual, podes utilizar la instalación anterior modificando el host y base tambien que correspondan o hacer una nueva directamente. Lo que te resulte más cómodo.

2- Asi es, se están guardando asi. Seguramente lo cambiemos en próximas versiones.

saludos!