Autor Tema: Sobre error al cargar Diaguita (SIU Wichi 6.3.0)  (Leído 32 veces)

0 Usuarios y 1 Visitante están viendo este tema.

Elian

  • Jr. Member
  • **
  • Mensajes: 52
    • Ver Perfil
  • Institución: Universidad Nacional de Moreno
  • Nombre y apellido: Elián Pinzás
  • Utilizo algun sistéma del SIU: Sí
Sobre error al cargar Diaguita (SIU Wichi 6.3.0)
« : septiembre 11, 2017, 03:18:49 pm »
Hola, tratando de hacer la carga del cubo nuevo del Diaguita (Wichi 6.3.0) me aparecio un error en esta query (<path_etl>/carga_de_datos/diaguita/extraccion):

SELECT
   p.persona AS id_proveedor,
   p.razon_social,
   p.nombre_fantasia,
   p.email,
   p.cbu,
   (SELECT coalesce(pc2.numero,'') AS cuit FROM diaguita.anx_personas_x_documentos pc2 WHERE p.persona=pc2.persona AND pc2.tipo_de_documento_de_identidad in ('CUIT', 'CUIL') ORDER BY 1 desc LIMIT 1),
   (SELECT coalesce(d.calle,'') || ' ' || coalesce(d.numero,'') || ' ' || coalesce(d.piso,'') || ' ' || coalesce(d.departamento,'') || ' ' || coalesce(d.unidad,'')  AS descripcion_domicilio
   FROM diaguita.anx_domicilios d WHERE d.domicilio=max(pd.domicilio)),
   (SELECT l.nombre  AS nombre_localidad FROM diaguita.anx_localidades l, diaguita.anx_domicilios d2
   WHERE d2.localidad=l.localidad AND d2.domicilio=max(pd.domicilio))   
FROM diaguita.anx_personas p
FULL OUTER JOIN diaguita.anx_personas_domicilios pd
ON pd.persona=p.persona
GROUP BY 1, 6;

Aparentemente el problema está en los nombres de los campos. Cambiándole el lugar a los "AS..." continúa la carga:

SELECT
   p.persona AS id_proveedor,
   p.razon_social,
   p.nombre_fantasia,
   p.email,
   p.cbu,
   (SELECT coalesce(pc2.numero,'') FROM diaguita.anx_personas_x_documentos pc2 WHERE p.persona=pc2.persona AND pc2.tipo_de_documento_de_identidad in ('CUIT', 'CUIL') ORDER BY 1 desc LIMIT 1)AS cuit,
   (SELECT coalesce(d.calle,'') || ' ' || coalesce(d.numero,'') || ' ' || coalesce(d.piso,'') || ' ' || coalesce(d.departamento,'') || ' ' || coalesce(d.unidad,'')
   FROM diaguita.anx_domicilios d WHERE d.domicilio=max(pd.domicilio)) AS descripcion_domicilio,
   (SELECT l.nombre FROM diaguita.anx_localidades l, diaguita.anx_domicilios d2
   WHERE d2.localidad=l.localidad AND d2.domicilio=max(pd.domicilio)) AS nombre_localidad
FROM diaguita.anx_personas p
FULL OUTER JOIN diaguita.anx_personas_domicilios pd
ON pd.persona=p.persona
GROUP BY 1, 6;

Después del cambio el script siguió avanzando ¿puede ser un problema local o está relacionado a la query?
Desde ya, muchas gracias.
Saludos, Elián.

Elian

  • Jr. Member
  • **
  • Mensajes: 52
    • Ver Perfil
  • Institución: Universidad Nacional de Moreno
  • Nombre y apellido: Elián Pinzás
  • Utilizo algun sistéma del SIU: Sí
Re:Sobre error al cargar Diaguita (SIU Wichi 6.3.0)
« Respuesta #1 : septiembre 11, 2017, 04:32:48 pm »
Hola, después de lo comentado antes el proceso siguió hasta que indicó otro error: en copiar_dimensiones_dsa_dw, referido a la copia de una tabla:
Código: [Seleccionar]
2017/09/11 12:40:18 - carga_datos_compras - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Ocurrió un error al ejecutar esta entrada de trabajo:
2017/09/11 12:40:18 - carga_datos_compras - Couldn't execute SQL: INSERT INTO diaguita.d_lugar_entrega SELECT * FROM diaguita_dsa.d_lugar_entrega
2017/09/11 12:40:18 - carga_datos_compras -
2017/09/11 12:40:18 - carga_datos_compras - ERROR: column "fecha_hasta" is of type date but expression is of type integer
2017/09/11 12:40:18 - carga_datos_compras -   Hint: You will need to rewrite or cast the expression.
2017/09/11 12:40:18 - carga_datos_compras -   Position: 45
2017/09/11 12:40:18 - principal_importacion_diaguita_dw - Entrada de comienzo [error de compras]
2017/09/11 12:40:18 - [ERROR]: Carga a dw de Compras - Se produjo un error en la carga de las Dimensiones y FT de compras.
2017/09/11 12:40:18 - principal_importacion_diaguita_dw - Entrada de comienzo [ERROR (4)]
2017/09/11 12:40:18 - ERROR (4) - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Se aborta el proceso de importación de pilagá

Aparentemente había un problema que quedó de la creación de los esquemas y tablas. Lo resolví eliminando los esquemas de Diaguita de la base de datos, volviendo a ejecutar el script de creación para Diaguita y, finalmente, volviendo a correr la carga.

Saludos, Elián.

sbaisi

  • Moderador Global
  • *****
  • Mensajes: 168
    • Ver Perfil
  • Institución: SIU
  • Nombre y apellido: Sabrina Baisi
  • Utilizo algun sistéma del SIU: Sí
Re:Sobre error al cargar Diaguita (SIU Wichi 6.3.0)
« Respuesta #2 : septiembre 13, 2017, 09:29:02 am »
Hola Elian, que versión de diaguita tienen?
Saludos,
Sabrina.

Elian

  • Jr. Member
  • **
  • Mensajes: 52
    • Ver Perfil
  • Institución: Universidad Nacional de Moreno
  • Nombre y apellido: Elián Pinzás
  • Utilizo algun sistéma del SIU: Sí
Re:Sobre error al cargar Diaguita (SIU Wichi 6.3.0)
« Respuesta #3 : septiembre 13, 2017, 10:46:00 am »
Hola Sabrina. Actualmente tenemos la 2.4.2. El lunes (cuando envié el primer mensaje) teníamos la 2.3.4. Hicimos la migración ese día (por razones totalmente ajenas a esto).
Igualmente me gustaría aclarar algo sobre el primer error: el mensaje en el log era igual a este:

2017/09/13 10:19:17 - d_proveedor - Loading transformation from XML file [file:///usr/local/wichi_6.3.0/etl/carga_de_datos/diaguita/extraccion/d_proveedor.ktr]
2017/09/13 10:19:17 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2017/09/13 10:19:17 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2017/09/13 10:19:17 - cfgbuilder - Warning: The configuration parameter [org] is not supported by the default configuration builder for scheme: sftp
2017/09/13 10:19:17 - d_proveedor - Iniciado despacho de la transformación [d_proveedor]
org.pentaho.di.core.exception.KettleStepException:
Field [cuit] couldn't be found in the input stream!
        at org.pentaho.di.trans.steps.textfileoutput.TextFileOutput.processRow(TextFileOutput.java:138)
        at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
        at java.lang.Thread.run(Thread.java:745)
2017/09/13 10:19:18 - d_proveedor.txt.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Error inesperado
2017/09/13 10:19:18 - d_proveedor.txt.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : org.pentaho.di.core.exception.KettleStepException:
2017/09/13 10:19:18 - d_proveedor.txt.0 - Field [cuit] couldn't be found in the input stream!
2017/09/13 10:19:18 - d_proveedor.txt.0 -
2017/09/13 10:19:18 - d_proveedor.txt.0 -       at org.pentaho.di.trans.steps.textfileoutput.TextFileOutput.processRow(TextFileOutput.java:138)
2017/09/13 10:19:18 - d_proveedor.txt.0 -       at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2017/09/13 10:19:18 - d_proveedor.txt.0 -       at java.lang.Thread.run(Thread.java:745)
child index = 2, logging object : org.pentaho.di.core.logging.LoggingObject@6cafae75 parent=22d1fe6d-71a7-4f2d-841a-4d13ab659142
2017/09/13 10:19:18 - d_proveedor - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : ¡Errores detectados!

A partir de ahí revisé el archivo d_proveedor.ktr con el Spoon. Ese archivo hace una consulta SQL y vuelca los datos a un txt. El problema era que la consulta generaba registros con campos sin nombre. Cuando el siguiente paso quería volcar los registros al archivo txt no encontraba los campos (porque no tenían nombre definido). Al cambiarle el "AS..." de lugar los campos salieron con nombre y el proceso continuó exitosamente.

Me equivoqué al decir que la query provocó un error. La query funcionaba bien. Lo que falló fue el siguiente paso (el volcado de datos al txt).

Espero haber aclarado un poco.
Muchas gracias.
Saludos, Elián.

sbaisi

  • Moderador Global
  • *****
  • Mensajes: 168
    • Ver Perfil
  • Institución: SIU
  • Nombre y apellido: Sabrina Baisi
  • Utilizo algun sistéma del SIU: Sí
Re:Sobre error al cargar Diaguita (SIU Wichi 6.3.0)
« Respuesta #4 : septiembre 13, 2017, 11:34:38 am »
Se entendió perfecto. Lo vamos a revisar.
Muchas Gracias!

 

Comunidad SIU