Error al ejecutar script_mig_personas

javierluna261 · 23 Octubre, 2019 14:13

Buen día!

Ejecutando el script el “script_mig_personas” me daba los sgtes. errores:

2019/10/22 09:19:03 - Spoon - Iniciando trabajo…
2019/10/22 09:19:03 - script_ mig_personas - Ejecución del trabajo comenzada
2019/10/22 09:19:03 - script_ mig_personas - Entrada de comienzo [Crea mig_personas]
2019/10/22 09:19:03 - Crea mig_personas - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : Ocurrió un error al ejecutar esta entrada de trabajo:
2019/10/22 09:19:03 - Crea mig_personas - Couldn’t execute SQL: SET search_path = ${pg_esquema} ;
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - DROP SEQUENCE IF EXISTS ext.mig_personas_seq;
2019/10/22 09:19:03 - Crea mig_personas - CREATE SEQUENCE ext.mig_personas_seq START 1;
2019/10/22 09:19:03 - Crea mig_personas - GRANT SELECT, UPDATE ON SEQUENCE ext.mig_personas_seq TO PUBLIC;
2019/10/22 09:19:03 - Crea mig_personas - SELECT SETVAL(‘ext.mig_personas_seq’, (SELECT max(persona) FROM mdp_personas));
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - DROP TABLE IF EXISTS ext.mig_personas;
2019/10/22 09:19:03 - Crea mig_personas - CREATE TABLE ext.mig_personas
2019/10/22 09:19:03 - Crea mig_personas - (
2019/10/22 09:19:03 - Crea mig_personas - persona integer NOT NULL DEFAULT nextval((‘ext.mig_personas_seq’::text)::regclass),
2019/10/22 09:19:03 - Crea mig_personas - apellido varchar(60) NOT NULL,
2019/10/22 09:19:03 - Crea mig_personas - nombres varchar(60) NOT NULL,
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - pais_documento smallint NOT NULL DEFAULT 54,
2019/10/22 09:19:03 - Crea mig_personas - tipo_documento smallint NOT NULL DEFAULT 0 ,
2019/10/22 09:19:03 - Crea mig_personas - nro_documento varchar(15) NOT NULL,
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - cuit_cuil varchar(15),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - usuario varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - clave varchar(255),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - sexo char(1) NOT NULL,
2019/10/22 09:19:03 - Crea mig_personas - fecha_nacimiento date NOT NULL,
2019/10/22 09:19:03 - Crea mig_personas - localidad_nacimiento integer,
2019/10/22 09:19:03 - Crea mig_personas - localidad_nacim_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - partido_nacim_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - provincia_nacim_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - nacionalidad smallint NOT NULL DEFAULT 1,
2019/10/22 09:19:03 - Crea mig_personas - turno_preferido_cursada integer NULL,
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - fecha_ingreso_pais date,
2019/10/22 09:19:03 - Crea mig_personas - pais_origen integer,
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - nivel_estudio integer ,
2019/10/22 09:19:03 - Crea mig_personas - institucion integer,
2019/10/22 09:19:03 - Crea mig_personas - institucion_otra varchar(255),
2019/10/22 09:19:03 - Crea mig_personas - colegio integer,
2019/10/22 09:19:03 - Crea mig_personas - colegio_otro varchar(255),
2019/10/22 09:19:03 - Crea mig_personas - anio_ingreso smallint,
2019/10/22 09:19:03 - Crea mig_personas - anio_egreso smallint,
2019/10/22 09:19:03 - Crea mig_personas - fecha_ingreso date,
2019/10/22 09:19:03 - Crea mig_personas - fecha_egreso date,
2019/10/22 09:19:03 - Crea mig_personas - titulo integer,
2019/10/22 09:19:03 - Crea mig_personas - titulo_otro varchar(255),
2019/10/22 09:19:03 - Crea mig_personas - estado char(1),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - apellido_p varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - nombres_p varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - apellido_m varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - nombres_m varchar(60),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - email varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - celular_compania smallint,
2019/10/22 09:19:03 - Crea mig_personas - telefono_codigo_area_cel varchar(6),
2019/10/22 09:19:03 - Crea mig_personas - telefono_numero_cel varchar(20),
2019/10/22 09:19:03 - Crea mig_personas - telefono_codigo_area_fijo varchar(6),
2019/10/22 09:19:03 - Crea mig_personas - telefono_numero_fijo varchar(20),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - localidad Integer,
2019/10/22 09:19:03 - Crea mig_personas - localidad_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - partido_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - provincia_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - codigo_postal Varchar(15),
2019/10/22 09:19:03 - Crea mig_personas - barrio Varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - calle Varchar(50),
2019/10/22 09:19:03 - Crea mig_personas - numero Varchar(10),
2019/10/22 09:19:03 - Crea mig_personas - piso Varchar(3),
2019/10/22 09:19:03 - Crea mig_personas - departamento Varchar(5),
2019/10/22 09:19:03 - Crea mig_personas - unidad Varchar(5) ,
2019/10/22 09:19:03 - Crea mig_personas - estado_civil smallint,
2019/10/22 09:19:03 - Crea mig_personas - cantidad_hijos integer,
2019/10/22 09:19:03 - Crea mig_personas - cobertura_salud integer,
2019/10/22 09:19:03 - Crea mig_personas - observaciones_salud varchar(255),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - trabajo_existe integer,
2019/10/22 09:19:03 - Crea mig_personas - trabajo_hora_sem integer,
2019/10/22 09:19:03 - Crea mig_personas - trabajo_tarea_descripcion varchar(255),
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - proc_localidad_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - proc_partido_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - proc_provincia_nombre varchar(100),
2019/10/22 09:19:03 - Crea mig_personas - proc_codigo_postal Varchar(15),
2019/10/22 09:19:03 - Crea mig_personas - proc_barrio Varchar(60),
2019/10/22 09:19:03 - Crea mig_personas - proc_calle Varchar(50),
2019/10/22 09:19:03 - Crea mig_personas - proc_numero Varchar(10),
2019/10/22 09:19:03 - Crea mig_personas - proc_piso Varchar(3),
2019/10/22 09:19:03 - Crea mig_personas - proc_departamento Varchar(5),
2019/10/22 09:19:03 - Crea mig_personas - proc_unidad Varchar(5)
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - )
2019/10/22 09:19:03 - Crea mig_personas - WITH (OIDS=FALSE);
2019/10/22 09:19:03 - Crea mig_personas - ALTER TABLE ext.mig_personas OWNER TO postgres;
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - ALTER TABLE ext.mig_personas
2019/10/22 09:19:03 - Crea mig_personas - ADD CONSTRAINT pk_mig_personas PRIMARY KEY (pais_documento, tipo_documento, nro_documento);
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - GRANT ALL ON ext.mig_personas TO public;
2019/10/22 09:19:03 - Crea mig_personas -
2019/10/22 09:19:03 - Crea mig_personas - ERROR: error de sintaxis en o cerca de «$»
Position: 19
2019/10/22 09:19:03 - script_ mig_personas - Finalizó la entrada de trabajo [Crea mig_personas] (resultado=[false])
2019/10/22 09:19:03 - script_ mig_personas - Ejecución del trabajo finalizada
2019/10/22 09:19:03 - Spoon - Trabajo ha terminado.

Me daba error en la linea 19 (SET search_path = ${pg_esquema}) y le puse el esquema “negocio” (SET search_path = negocio) y se ejecuta bien el “Crea mig_personas” pero ahora me da error en el “UpLoad de mig_personas” el cual es el sgte.:

2019/10/23 10:55:23 - Spoon - Iniciando trabajo…
2019/10/23 10:55:23 - script_ mig_personas - Ejecución del trabajo comenzada
2019/10/23 10:55:23 - script_ mig_personas - Entrada de comienzo [Crea mig_personas]
2019/10/23 10:55:23 - script_ mig_personas - Entrada de comienzo [UpLoad de mig_personas]
2019/10/23 10:55:23 - UpLoad de mig_personas - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : Unable to run job script_ mig_personas. The UpLoad de mig_personas has an error. The transformation path file:///D:/Cursos SIU/Migración/Version 3.17.1/01_Schema/01_Personas/upload_mig_personas.ktr is invalid, and will not run successfully.
2019/10/23 10:55:23 - UpLoad de mig_personas - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : org.pentaho.di.core.exception.KettleXMLException:
2019/10/23 10:55:23 - UpLoad de mig_personas - The transformation path file:///D:/Cursos SIU/Migración/Version 3.17.1/01_Schema/01_Personas/upload_mig_personas.ktr is invalid, and will not run successfully.
2019/10/23 10:55:23 - UpLoad de mig_personas -
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.trans.TransMeta.(TransMeta.java:2788)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryTrans.java:1311)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.execute(JobEntryTrans.java:709)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:686)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:827)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:827)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:498)
2019/10/23 10:55:23 - UpLoad de mig_personas - at org.pentaho.di.job.Job.run(Job.java:384)
2019/10/23 10:55:23 - script_ mig_personas - Finalizó la entrada de trabajo [UpLoad de mig_personas] (resultado=[false])
2019/10/23 10:55:23 - script_ mig_personas - Finalizó la entrada de trabajo [Crea mig_personas] (resultado=[false])
2019/10/23 10:55:23 - script_ mig_personas - Ejecución del trabajo finalizada
2019/10/23 10:55:23 - Spoon - Trabajo ha terminado.
2019/10/23 10:57:28 - Spoon - Spoon
2019/10/23 10:57:39 - Spoon - Spoon
2019/10/23 10:57:47 - Spoon - Spoon

Como puedo solucionarlo???

system · 23 Octubre, 2019 17:22

Hola Javier
¿Viste este posteo? tenés que configurar el esquema, que es negocio.

javierluna261 · 24 Octubre, 2019 13:23

Hola Emilse!

Si ya lo vi a ese posteo y configure el esquema negocio y ahora da otro error distinto al de antes de configurar el esquema negocio, leiste lo que escribi? por ahi si subo una imagen tambien

Este es el error:

2019/10/24 10:19:26 - Carte - Installing timer to purge stale objects after 1440 minutes.
2019/10/24 10:19:43 - Spoon - Iniciando trabajo…
2019/10/24 10:19:43 - script_ mig_personas - Ejecución del trabajo comenzada
2019/10/24 10:19:43 - script_ mig_personas - Entrada de comienzo [Crea mig_personas]
2019/10/24 10:19:44 - script_ mig_personas - Entrada de comienzo [UpLoad de mig_personas]
2019/10/24 10:19:44 - UpLoad de mig_personas - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : Unable to run job script_ mig_personas. The UpLoad de mig_personas has an error. The transformation path file:///D:/Cursos SIU/Migración/Version 3.17.1/01_Schema/01_Personas/upload_mig_personas.ktr is invalid, and will not run successfully.
2019/10/24 10:19:44 - UpLoad de mig_personas - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : org.pentaho.di.core.exception.KettleXMLException:
2019/10/24 10:19:44 - UpLoad de mig_personas - The transformation path file:///D:/Cursos SIU/Migración/Version 3.17.1/01_Schema/01_Personas/upload_mig_personas.ktr is invalid, and will not run successfully.
2019/10/24 10:19:44 - UpLoad de mig_personas -
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.trans.TransMeta.(TransMeta.java:2788)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryTrans.java:1311)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.execute(JobEntryTrans.java:709)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:686)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:827)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:827)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:498)
2019/10/24 10:19:44 - UpLoad de mig_personas - at org.pentaho.di.job.Job.run(Job.java:384)
2019/10/24 10:19:44 - script_ mig_personas - Finalizó la entrada de trabajo [UpLoad de mig_personas] (resultado=[false])
2019/10/24 10:19:44 - script_ mig_personas - Finalizó la entrada de trabajo [Crea mig_personas] (resultado=[false])
2019/10/24 10:19:44 - script_ mig_personas - Ejecución del trabajo finalizada
2019/10/24 10:19:44 - Spoon - Trabajo ha terminado.

javierluna261 · 24 Octubre, 2019 13:44

Subo de nuevo la imagen por si no se entiende la anterior

system · 24 Octubre, 2019 13:57

Buenos días, tenes configurada la variable pg_esquema en la variables?Saludos.

javierluna261 · 24 Octubre, 2019 15:11

No encontré donde configurar la variable pg_esquema en ninguna de las “entradas de trabajo” del trabajo: “script_mig_personas” , yo intente editando las entradas: Start, Crea mig_personas, UpLoad de mig_personas y Exito pero en ninguno esta la opcion.

me podes indicar donde hacerlo x medio de capturas?

system · 24 Octubre, 2019 15:57

Te paso un link donde se explica como poner las variables, tal como pusiste las demás, solo que además tenes que agregar la de pg_esquemahttp://documentacion.siu.edu.ar/wiki/SIU-Guarani/version3.17.0/migracion/kettle/configuracion
Saludos.

javierluna261 · 25 Octubre, 2019 13:32

Buenisimo! Lo hice, edite las variables de entorno desde el Pentaho, probé y sigue le mismo error. Entonces edite el archivo properties y volvi a probar y persiste el error. Adjunto la imagen de las variables editadas
Que puedo hacer ahora?

system · 25 Octubre, 2019 15:50

Buenas Javier, validaste que los datos en el csv estén correctos?
La realidad es que quizás puede ser un error debido a que el entorno es de windows, cosa que en el SIU no tenemos para probar, porque en nuestras máquinas el error no se produce.

Saludos.

javierluna261 · 28 Octubre, 2019 11:35

Buen día Jose! Es necesario validar los datos del csv en éste paso? Es en éste trabajo en que sube los datos del csv o es en el paso siguiente en la transformación upload_mig_personas?

system · 28 Octubre, 2019 12:09

Javier, para poder ver si es el upload el que falla podes probarlo ejecutando ese paso solo. Y ver si los errores se generar solo en ese job.
Lo que también podes hacer cuando abras el upload, es ver de traer los registros del csv al que apunta. Te paso una captura de pantalla para que puedas entender visualmente lo que te explique más arriba.

Saludos.

javierluna261 · 28 Octubre, 2019 12:11

Igualmente ahora voy a instalar el pentaho y pgadmin en una de las pc del laboratorio que tienen Debian para probar desde un entorno Linux y ver si el problema es el entorno Windows

javierluna261 · 28 Octubre, 2019 12:14

Si, la captura que me envias es del paso siguiente. Yo estoy aun en el anterior. En el upload_mig_personas puedo visualizar correctamente los datos del csv apuntado

javierluna261 · 30 Octubre, 2019 13:43

Hola buen día!

Logre ir corrigiendo los errores que me tiraba y ejecute exitosamente el Crea mig_personas y el Upload mig_personas pero me hace un corte en 1000 registros (como se ve en la imagen) y el archivo csv tiene 2196 personas para migrar.

No logro encontrar donde cambiar ese limite de 1000, me podrían indicar donde lo hago?

system · 30 Octubre, 2019 13:51

Hola Javier. Eso que estás viendo es el commit que se está haciendo cada 1000 registros, no quiere decir que solo se han insertado mil.
Más abajo deberías tener más información de lo que comitea.
Igualmente una vez terminado de ejecutar el job entero, podés hacer la siguiente query para validar que todos tus registros estén en la base.


SELECT count(*)  FROM ext.mig_personas;

Saludos.