Error en carga de datos iniciales Guarani, archivo LT_Carreras.txt

SIU-Wichi Técnicos Pentaho
1

Hola,

Estoy cargando datos de Guarani, y me detiene el proceso al intentar cargar LT_Carreras.tx
Aca copio la salida de pantalla:

INFO 19-05 22:08:43,926 - INFO - La conexión a la base siu_wichi (siu_wichi) funciona correctamente y la versión de los procesos de ETL es adecuada.

INFO 19-05 22:08:43,928 - asignar_y_probar_conexion - Entrada de comienzo [Conexión probada]
INFO 19-05 22:08:43,930 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [Conexión probada] (resultado=[true])
INFO 19-05 22:08:43,930 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [AVISO OK] (resultado=[true])
INFO 19-05 22:08:43,930 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [verificar versión param] (resultado=[true])
INFO 19-05 22:08:43,931 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [Verificar versión?] (resultado=[true])
INFO 19-05 22:08:43,931 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [base accesible?] (resultado=[true])
INFO 19-05 22:08:43,931 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [AVISO parámetros] (resultado=[true])
INFO 19-05 22:08:43,931 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [permitir jndi?] (resultado=[true])
INFO 19-05 22:08:43,931 - asignar_y_probar_conexion - Finalizó la entrada de trabajo [asignar_parametros_conexion] (resultado=[true])
INFO 19-05 22:08:43,935 - cargar_datos_tmp_compartidos - Entrada de comienzo [gua_dsa_lt_carreras_load]
INFO 19-05 22:08:43,936 - gua_dsa_lt_carreras_load - Loading transformation from XML file [file:///srv/pentaho/etl/carga_de_datos/guarani/importacion_guarani_tmp/dsa_guarani_tmp_lt_carreras_load.ktr]
INFO 19-05 22:08:43,965 - dsa_guarani_tmp_lt_carreras_load - Iniciado despacho de la transformación [dsa_guarani_tmp_lt_carreras_load]
INFO 19-05 22:08:43,982 - carga tabla gua_dsa_lt_carreras - Connected to database [siu_dsa] (commit=0)
INFO 19-05 22:08:44,004 - LT_Carreras.txt - Opening file: file:///srv/pentaho/cubos_guarani/fcad/rendimiento/LT_Carreras.txt
ERROR 19-05 22:08:44,006 - LT_Carreras.txt - Couldn’t open file #1 : file:///srv/pentaho/cubos_guarani/fcad/rendimiento/LT_Carreras.txt → org.pentaho.di.core.exception.KettleFileException:

DOS format was specified but only a single line feed character was found, not 2

INFO 19-05 22:08:44,007 - LT_Carreras.txt - Procesamiento finalizado (EN=0, SA=0, LE=0, ES=0, AC=1, ER=1)
ERROR 19-05 22:08:44,007 - dsa_guarani_tmp_lt_carreras_load - ¡Errores detectados!
INFO 19-05 22:08:44,007 - dsa_guarani_tmp_lt_carreras_load - dsa_guarani_tmp_lt_carreras_load
ERROR 19-05 22:08:44,007 - dsa_guarani_tmp_lt_carreras_load - ¡Errores detectados!
INFO 19-05 22:08:44,008 - dsa_guarani_tmp_lt_carreras_load - dsa_guarani_tmp_lt_carreras_load
INFO 19-05 22:08:44,071 - cargar_datos_tmp_compartidos - Entrada de comienzo [Error]
ERROR 19-05 22:08:44,072 - Error - El proceso se abortó al producirse un error
INFO 19-05 22:08:44,073 - cargar_datos_tmp_compartidos - Finalizó la entrada de trabajo [Error] (resultado=[false])
INFO 19-05 22:08:44,073 - cargar_datos_tmp_compartidos - Finalizó la entrada de trabajo [gua_dsa_lt_carreras_load] (resultado=[false])
INFO 19-05 22:08:44,073 - cargar_datos_tmp_compartidos - Finalizó la entrada de trabajo [asignar_y_probar_conexion] (resultado=[false])
INFO 19-05 22:08:44,077 - principal_carga_guarani - Entrada de comienzo [Write To Log 5]
INFO 19-05 22:08:44,078 - [ERROR] - Carga de datos txt compartidos - La carga de los txt compartidos falló.

INFO 19-05 22:08:44,079 - principal_carga_guarani - Finalizó la entrada de trabajo [Write To Log 5] (resultado=[false])
INFO 19-05 22:08:44,080 - principal_carga_guarani - Finalizó la entrada de trabajo [cargar_txt_compartidos] (resultado=[false])
INFO 19-05 22:08:44,080 - principal_carga_guarani - Finalizó la entrada de trabajo [copiar_dimensiones_dw_a_dsa] (resultado=[false])
INFO 19-05 22:08:44,080 - principal_carga_guarani - Finalizó la entrada de trabajo [ejecucion_compartidos] (resultado=[false])
INFO 19-05 22:08:44,080 - principal_carga_guarani - Finalizó la entrada de trabajo [asignar_y_probar_conexion] (resultado=[false])
INFO 19-05 22:08:44,081 - principal_carga_guarani - Ejecución del trabajo finalizada
INFO 19-05 22:08:44,081 - Kitchen - ¡Finalizado!
ERROR 19-05 22:08:44,081 - Kitchen - Finalizado con errores
INFO 19-05 22:08:44,082 - Kitchen - Comienzo=2016/05/19 22:08:42.545, Final=2016/05/19 22:08:44.082
INFO 19-05 22:08:44,082 - Kitchen - El procesamiento terminó luego de 1 segundos.

Pense que es por tema Encoding. Ejecute el script para converitr a UTF-8 y luego re-intente la carga. Pero se mantiene el mensaje.

Alguna pista que puede estar pasando?

Fabian.

2

Hola Fabián. Esto es con datos de Guaraní 2, cierto? En ese caso por favor carganos una solicitud en el GDS, si es posible adjuntando los txt. Lo primero que haríamos es probar si nos funciona y revisar el formato de los archivos.

3

Buenos dias Sebastian,

Ingrese la Solicitud número 20269 con los txt adjuntos.

Fabian.

4

Hola Fabián, como comentó Sebastian, se probó hacer una carga con Wichi 5.5.0 de los datos y se cargaron sin error. Previamente se convirtieron a UTF-8. Te habrá faltado hacer la conversión (ver https://docs.google.com/document/d/1c1CGBlhjP5VggXwIqnfwFiNVrak19W6gFsV-ZNO24Qk/edit#heading=h.21pj4tuwvtkg)? Otra posibilidad es que esté mal el parámetro rutatxt.

saludos

5

Buenos días,
Yo lo cambio siempre a “mixed mode” y cargan bien.
Saludos

6

Hola Melisa, gracias por el aporte.

Decime, como seria el comando de carga, para indicar modo mixto?

El job de carga unificado que estoy ejecutando para la lectura de los txt es:
-file=“caega_de_datos/guarani/principal_carga_guarani.kjb”
-param=“base_usuario=postgres”
-param=“base_clave=xxxx”
-param=“base-nombre=siu_wichi”
…

Como estas agregando/definiendo este parametro que mencionas?

Saludos.
Fabian.

7

Perdón por la demora!
Hay que cambiar dentro del kettle las propiedades del archivo de texto. Esto se debe hacer con todos los archivos txt.

https://lh3.googleusercontent.com/jAZWND8IaFouYNN8PJZXpteJ2sHvyopvHGwswDiVivYMjOgQOGgBI5RzQYlnXtMqDZAiHk49XVh00wxXD_4q9QckkrhdQvn84rSmkFyLt7sCFx3OVDzcepUda-X6j6Edj0gLl23GbGFJcH1qXcIJP9rudsLn6YwdcTeZ2OgXHUAbdYttI-RJvEyLWsaHxhZDUkF2zdp_dAZbshr1jM8lqnjaptBWVixZLbPbu09IKLEqTQ_TPTkWSECPXwyZTu3H73i9ywwXLgZB1Gd1fj2WIZVtasU1W4km-CExrcpUOzuu2NuuEWrFnZ3JdsTJ4QIVmrZn0V_7pOe9LcpsvMshbg7739MaxFwt5OtEuHVv3rUoY0cWymihsBvxYi3tvo9DSMgiwN033n41BqUKoRaXbUXyW3UUVo8n9j-T0co95vEVpkCzgnNcshbKGfxPdpsDPCzF0NB7cIgMiB0CitCkUTWLxZe23E6OiJU3ppWQu90GG_UxQHCzhAfPitl2d-H99_85B6eX7AmcdY6rEC913id33dzbFBkNvtuBCHeh7VjMm0E1Ju8JkwfAAPW68agQFd1MRXNx2vMe-HXKmMO36ilW0ETmVw=w1226-h890-no

Saludos

8

Hola Melisa, como estas?

Muchas gracias por tus respuestas. Entonces hay que setear las propiedades del txt en Kettle para que los cargue bien.

Fabian.

9

Hola Fabián: por favor contanos si con eso te funciona.

saludos, Mariano

10

Hola mariano,

Les cuento que reinstale Pentaho 4.8 y Wichi 5.5.0 sobre un nuevo equipo con Ubuntu Server 16.04 y Java 7.

Al momento de carga de datos txt guarani, me surgio un error al leer el LT_Departamentos.txt que generado desde SIU_Guarani 2.7 sin datos. Esto porque en la Facultad no tenemos definidos Departamentos.

Este mensaje de error era similar al presentado con el archivo LT_Carreras.txt. Edite el archivo para darle un EndOfLine y guarde.
Reintente la carga y no tuve mas inconvenientes.

Les agradezco las respuestas brindadas.

Fabian.