Error ETL Kolla

SIU-Wichi Técnicos Pentaho
1

Durante los procesos ETl en la carga del Kolla, el mismo se detiene por lo siguiente:

1_2_1_2_importación kolla_dsa - Starting entry [1_2_1_2_1_dimensiones tmp->dsa]
2016/02/17 11:54:41 - 1_2_1_2_1_carga_dsa - Starting entry [d_encuesta]
2016/02/17 11:54:42 - d_encuesta - Loading transformation from XML file [file:///home/miguel/pentaho/MIgracion_Wichi5.4_a_5.5/SIU-Wichi_5.5.0/etl/carga_de_datos/kolla/importacion/kolla_dsa/encuesta.ktr]
2016/02/17 11:54:42 - carga_dsa_encuesta - Iniciado despacho de la transformación [carga_dsa_encuesta]
2016/02/17 11:54:43 - Table input encuesta.0 - Finished reading query, closing connection.
2016/02/17 11:54:43 - Table input encuesta.0 - Procesamiento finalizado (I=18, O=0, R=0, W=18, U=0, E=0
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Error desconocido
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Error inserting ‘unknown’ row in dimension [kolla_dsa.d_encuesta] : insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Couldn’t execute SQL: insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.checkDimZero(DimensionLookup.java:1675)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.processRow(DimensionLookup.java:206)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at java.lang.Thread.run(Thread.java:745)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Couldn’t execute SQL: insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 -
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1505)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1453)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.checkDimZero(DimensionLookup.java:1673)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - … 3 more
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Caused by: org.postgresql.util.PSQLException: ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2101)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1834)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:255)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:510)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:372)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:364)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1479)
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - … 5 more
2016/02/17 11:54:43 - carga_dsa_encuesta - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Errores detectados!
2016/02/17 11:54:43 - Búsqueda/Actualización en encuesta.0 - Procesamiento finalizado (I=0, O=0, R=1, W=0, U=0, E=1
2016/02/17 11:54:43 - carga_dsa_encuesta - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Errores detectados!
2016/02/17 11:54:43 - 1_2_1_2_1_carga_dsa - Starting entry [loguear error]
2016/02/17 11:54:43 - carga_dsa_encuesta - Transformación detectada
2016/02/17 11:54:43 - carga_dsa_encuesta - Transformación está matando los otros pasos!
2016/02/17 11:54:44 - ERROR - Se produjo un error al cargar las dimensiones en DSA
2016/02/17 11:54:44 - 1_2_1_2_1_carga_dsa - Finished job entry [loguear error] (result=[false])
2016/02/17 11:54:44 - 1_2_1_2_1_carga_dsa - Finished job entry [d_encuesta] (result=[false])
2016/02/17 11:54:44 - 1_2_1_2_importación kolla_dsa - Starting entry [loguear error]
2016/02/17 11:54:46 - ERROR - Finalizó con errores el proceso de importación kolla_dsa.
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [loguear error] (result=[false])
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [1_2_1_2_1_dimensiones tmp->dsa] (result=[false])
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [dimensiones dw->dsa] (result=[false])
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [setear_parametros] (result=[false])
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [asignar y probar conexión] (result=[false])
2016/02/17 11:54:46 - 1_2_1_2_importación kolla_dsa - Finished job entry [loguear inicio] (result=[false])
2016/02/17 11:54:46 - 1_2_1_importacion_kolla - Starting entry [loguear errores]
2016/02/17 11:54:49 - INFO - Finalizaron con error las etapas de importación de datos de Kolla.
2016/02/17 11:54:49 - 1_2_1_importacion_kolla - Finished job entry [loguear errores] (result=[false])
2016/02/17 11:54:49 - 1_2_1_importacion_kolla - Finished job entry [1_2_1_2_dsa] (result=[false])
2016/02/17 11:54:49 - 1_2_1_importacion_kolla - Finished job entry [1_2_1_1_tmp] (result=[false])
2016/02/17 11:54:49 - 1_2_1_importacion_kolla - Finished job entry [asignar_y_probar_conexion] (result=[false])
2016/02/17 11:54:49 - 1_2_1_importacion_kolla - Finished job entry [loguear inicio] (result=[false])
2016/02/17 11:54:49 - 1_2_principal_importacion_kolla - Starting entry [loguear errores]
2016/02/17 11:54:51 - ERROR - Finalizó con errores el proceso de importación de datos de Kolla.
2016/02/17 11:54:51 - 1_2_principal_importacion_kolla - Starting entry [Abortar trabajo]
2016/02/17 11:54:53 - Abortar trabajo - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Aborting job.
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [Abortar trabajo] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [loguear errores] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [1_2_1_Importación] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [loguear (1_2 2)] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [Desempaquetado] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [Set variables] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [Crear subdirectorio] (result=[false])
2016/02/17 11:54:53 - 1_2_principal_importacion_kolla - Finished job entry [loguear (1_2 1)] (result=[false])
2016/02/17 11:54:53 - carga_kolla - Starting entry [loguear errores (1 Error)]
2016/02/17 11:54:56 - ERROR - (1 Error) Finalizó con errores el proceso de carga de datos de Kolla.
2016/02/17 11:54:56 - carga_kolla - Starting entry [Abortar trabajo]
2016/02/17 11:54:58 - Abortar trabajo - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Aborting job.
2016/02/17 11:54:58 - carga_kolla - Finished job entry [Abortar trabajo] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [loguear errores (1 Error)] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [1_2_Importación] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [loguear(1 2)] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [1_1_Extracción] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [Set variables] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [buscar_instalacion] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Finished job entry [loguear(1 1)] (result=[false])
2016/02/17 11:54:58 - carga_kolla - Job execution finished
2016/02/17 11:54:58 - Spoon - Trabajo ha terminado.
2016/02/17 12:07:00 - Spoon - Iniciando trabajo…
2016/02/17 12:07:00 - Spoon - Trabajo ha terminado.

2

Hola Miguel: tendrias que chequear si están cargados los parámetros de la tabla public.parametro_instalacion

saludos, Mariano

3

Hola Mariano, estuvimos en el medio una migración de bases de datos, revise la tabla que me dijiste y creo que esta todo en orden en orden, volvi a ejecutar los ETL y me da el mismo error, adjunto imágenes.

2016/02/25 09:51:43 - INFO - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Finalizó correctamente la importación kolla_tmp
2016/02/25 09:51:45 - INFO - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : 1_2_1_2_Comienza el proceso de importación kolla_dsa.
2016/02/25 09:51:47 - INFO - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Probando la conexión a la base siu_wichi con parámetros de conexión.
2016/02/25 09:51:50 - INFO - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : La conexión a la base siu_wichi (siu_wichi) funciona correctamente y la versión de los procesos de ETL es adecuada.
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Error desconocido
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - Error inserting ‘unknown’ row in dimension [kolla_dsa.d_encuesta] : insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - Couldn’t execute SQL: insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.checkDimZero(DimensionLookup.java:1675)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.processRow(DimensionLookup.java:206)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at java.lang.Thread.run(Thread.java:745)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - Couldn’t execute SQL: insert into kolla_dsa.d_encuesta(encuesta_id, version) values (0, 1)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 -
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1505)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1453)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.trans.steps.dimensionlookup.DimensionLookup.checkDimZero(DimensionLookup.java:1673)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - … 3 more
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - Caused by: org.postgresql.util.PSQLException: ERROR: el valor null para la columna «instalacion_id» viola la restricción not null
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2101)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1834)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:255)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:510)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:372)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:364)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - at org.pentaho.di.core.database.Database.execStatement(Database.java:1479)
2016/02/25 09:51:59 - Búsqueda/Actualización en encuesta.0 - … 5 more
2016/02/25 09:51:59 - carga_dsa_encuesta - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Errores detectados!
2016/02/25 09:51:59 - carga_dsa_encuesta - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Errores detectados!
2016/02/25 09:52:01 - ERROR - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Se produjo un error al cargar las dimensiones en DSA
2016/02/25 09:52:03 - ERROR - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Finalizó con errores el proceso de importación kolla_dsa.
2016/02/25 09:52:05 - INFO - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Finalizaron con error las etapas de importación de datos de Kolla.
2016/02/25 09:52:07 - ERROR - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Finalizó con errores el proceso de importación de datos de Kolla.
2016/02/25 09:52:10 - Abortar trabajo - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Aborting job.
2016/02/25 09:52:12 - ERROR - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : (1 Error) Finalizó con errores el proceso de carga de datos de Kolla.
2016/02/25 09:52:14 - Abortar trabajo - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Aborting job.

Saludos, Miguel

tabla public.parametro_instalacion.png

tabla public.parametro_instalacion.png

4

Hola Miguel:
Si realizaron la migración de wichi version 5.4.0 a 5.5.0 tienen que haber corrido el 3.sql (ubicado en carpeta SIU-Wichi_5.5.0/elt/migraciones_base_datos/540_550)

– kolla

INSERT INTO kolla.d_encuesta (encuesta_id, instalacion_id, encuesta_codigo, encuesta_desc, habilitacion, encuesta_periodo, unidad_gestion_desc)
VALUES (-1, -1, -1, ‘VALOR INVALIDO’, ‘0’, ‘VALOR INVALIDO’, ‘VALOR INVALIDO’);
INSERT INTO kolla.d_encuesta (encuesta_id, instalacion_id, encuesta_codigo, encuesta_desc, habilitacion, encuesta_periodo, unidad_gestion_desc)
VALUES (0, -1, -1, ‘VACIO / NULO’, ‘0’, ‘VACIO / NULO’, ‘VACIO / NULO’);

Por favor podrás chequear si la tabla contiene esos valores.

saludos!
Mariano

5

Hola Mariano, revise lo que me pediste y volvi a ejecutar el 3.sql y avanzo el ETL. Ahora tengo un problema de memoria, aparentemente del PDI.

2016/02/29 09:59:57 - 1_2_1_2_1_carga_dsa - Starting entry [d_pregunta_respuesta]
2016/02/29 10:00:00 - d_pregunta_respuesta - Loading transformation from XML file [file:///home/miguel/pentaho/SIU-Wichi_5.5.0/etl/carga_de_datos/kolla/importacion/kolla_dsa/pregunta_respuesta.ktr]
2016/02/29 10:00:00 - carga_dsa_pregunta_respuesta - Iniciado despacho de la transformación [carga_dsa_pregunta_respuesta]
2016/02/29 10:00:53 - Table input pregunta_respuesta.0 - Finished reading query, closing connection.
2016/02/29 10:00:53 - Table input pregunta_respuesta.0 - Procesamiento finalizado (I=15920, O=0, R=0, W=15920, U=0, E=0
2016/02/29 10:03:04 - Búsqueda/Actualización en pregunta_respuesta.0 - Procesamiento finalizado (I=15920, O=15229, R=15920, W=15920, U=0, E=0
2016/02/29 10:03:04 - 1_2_1_2_1_carga_dsa - Starting entry [Dimensiones cargadas]
2016/02/29 10:03:04 - 1_2_1_2_1_carga_dsa - Finished job entry [Dimensiones cargadas] (result=[true])
2016/02/29 10:03:04 - 1_2_1_2_1_carga_dsa - Finished job entry [d_pregunta_respuesta] (result=[true])
2016/02/29 10:03:04 - 1_2_1_2_1_carga_dsa - Finished job entry [d_encuesta] (result=[true])
2016/02/29 10:03:04 - 1_2_1_2_importación kolla_dsa - Starting entry [loguear2]
2016/02/29 10:03:06 - INFO - Finalizó correctamente la carga de dimensiones.
2016/02/29 10:03:06 - INFO - Se continúa con la carga de hechos.
2016/02/29 10:03:06 - 1_2_1_2_importación kolla_dsa - Starting entry [1_2_1_2_2_hechos]
2016/02/29 10:03:11 - 1_2_1_2_2_carga_dsa - Starting entry [borra_erroneos]
2016/02/29 10:03:12 - borra_erroneos - Loading transformation from XML file [file:///home/miguel/pentaho/SIU-Wichi_5.5.0/etl/carga_de_datos/kolla/importacion/kolla_dsa/borra_erroneos.ktr]
2016/02/29 10:03:12 - borra_erroneos - Iniciado despacho de la transformación [borra_erroneos]
2016/02/29 10:03:14 - borra registros erroneos…0 - Terminado la lectura de la consulta, cerrando conexión.
2016/02/29 10:03:14 - borra registros erroneos…0 - Procesamiento finalizado (I=0, O=0, R=0, W=1, U=0, E=0
2016/02/29 10:03:14 - 1_2_1_2_2_carga_dsa - Starting entry [ft_encuesta(inserta registros)]
2016/02/29 10:03:17 - ft_encuesta(inserta registros) - Loading transformation from XML file [file:///home/miguel/pentaho/SIU-Wichi_5.5.0/etl/carga_de_datos/kolla/importacion/kolla_dsa/inserta_registros.ktr]
2016/02/29 10:03:18 - inserta_registros - Iniciado despacho de la transformación [inserta_registros]
2016/02/29 10:03:22 - agrega registros vacios en la ft.0 - Terminado la lectura de la consulta, cerrando conexión.
2016/02/29 10:03:22 - agrega registros vacios en la ft.0 - Procesamiento finalizado (I=0, O=0, R=0, W=1, U=0, E=0
2016/02/29 10:03:22 - 1_2_1_2_2_carga_dsa - Starting entry [ft_encuesta(actualiza registros)]
2016/02/29 10:03:23 - ft_encuesta(actualiza registros) - Loading transformation from XML file [file:///home/miguel/pentaho/SIU-Wichi_5.5.0/etl/carga_de_datos/kolla/importacion/kolla_dsa/actualiza_registros.ktr]
2016/02/29 10:03:24 - actualiza_registros - Iniciado despacho de la transformación [actualiza_registros]
2016/02/29 10:27:45 - obtiene texto de sql UPDATE.0 - linenr 50000
2016/02/29 10:33:15 - Execute row SQL script.0 - linenr 50000
2016/02/29 10:46:27 - obtiene texto de sql UPDATE.0 - Finished reading query, closing connection.
2016/02/29 10:46:27 - obtiene texto de sql UPDATE.0 - Procesamiento finalizado (I=83617, O=0, R=0, W=83617, U=0, E=0
2016/02/29 10:51:38 - Execute row SQL script.0 - Finished reading query, closing connection.
2016/02/29 10:51:38 - Execute row SQL script.0 - Procesamiento finalizado (I=0, O=0, R=83617, W=83617, U=0, E=0
2016/02/29 10:51:38 - 1_2_1_2_2_carga_dsa - Starting entry [Success]
2016/02/29 10:51:41 - 1_2_1_2_2_carga_dsa - Finished job entry [Success] (result=[true])
2016/02/29 10:51:41 - 1_2_1_2_2_carga_dsa - Finished job entry [ft_encuesta(actualiza registros)] (result=[true])
2016/02/29 10:51:41 - 1_2_1_2_2_carga_dsa - Finished job entry [ft_encuesta(inserta registros)] (result=[true])
2016/02/29 10:51:41 - 1_2_1_2_2_carga_dsa - Finished job entry [borra_erroneos] (result=[true])
2016/02/29 10:51:41 - 1_2_1_2_importación kolla_dsa - Starting entry [loguear fin]
2016/02/29 10:51:45 - INFO - Finalizó correctamente la carga de hechos.
2016/02/29 10:51:45 - INFO - Finalizó correctamente el proceso de importación kolla_dsa.
2016/02/29 10:51:45 - 1_2_1_2_importación kolla_dsa - Starting entry [Success]
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [Success] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [loguear fin] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [1_2_1_2_2_hechos] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [loguear2] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [1_2_1_2_1_dimensiones tmp->dsa] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [dimensiones dw->dsa] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [setear_parametros] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [asignar y probar conexión] (result=[true])
2016/02/29 10:51:51 - 1_2_1_2_importación kolla_dsa - Finished job entry [loguear inicio] (result=[true])
2016/02/29 10:51:51 - 1_2_1_importacion_kolla - Starting entry [1_2_1_3_dw]
2016/02/29 10:51:59 - 1_2_1_3_principal_importacion_kolla_dw - Starting entry [asignar_y_probar_conexion]
Exception in thread “asignar_y_probar_conexion UUID: a1b00483-c7a8-4b89-a04d-260d1ec6142a” java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.TimeZone.clone(TimeZone.java:805)
at sun.util.calendar.ZoneInfo.clone(ZoneInfo.java:744)
at org.pentaho.di.core.row.value.ValueMetaBase.clone(ValueMetaBase.java:279)
at org.pentaho.di.core.row.value.ValueMetaBase.clone(ValueMetaBase.java:80)
at org.pentaho.di.core.row.value.ValueMetaFactory.cloneValueMeta(ValueMetaFactory.java:73)
at org.pentaho.di.core.row.value.ValueMetaFactory.cloneValueMeta(ValueMetaFactory.java:65)
at org.pentaho.di.core.row.RowMeta.clone(RowMeta.java:67)
at org.pentaho.di.core.row.RowMeta.clone(RowMeta.java:50)
at org.pentaho.di.core.RowMetaAndData.clone(RowMetaAndData.java:58)
at org.pentaho.di.core.Result.clone(Result.java:204)
at org.pentaho.di.job.Job.execute(Job.java:657)

Acá se rompe 1_2_1_3_principal_importacion_kolla_dw. primero probe con el spoon y esto ultimo con el kitchen, cambie los parametros de memoria para ambos casos, el máximo que me permitió fue 1024 porque mi sistema es de 32 bits.

Tengo los txt; la tabla ft_encuesta pesa 71,8 megas, no se si es grande o es lo normal para este caso.

Gracias!!

6

Hola Miguel:
Por favor probar de aumentar mas la memoria de spoon o kitchen y/o probar desde otra maquina mas potente.

saludos, Mariano