Migraciones de sistemas No-Guarani

Buenas tardes, estoy realizando pruebas para migrar datos al G3. En este caso se trata del posgrado y dado que el mismo no existía en G2 voy a realizar la migración de personas desde un csv.
Seguí los pasos hasta llegar a

Migración de Sistemas Externos a Guaraní 3
[b]Módulo: Personas
A continuación se detallarán los pasos necesarios para la migración del módulo Personas.
En este módulo se dan de alta los datos de los alumnos en las tablas de personas y datos censales.
Tablas: mdp_personas, mdp_personas_documentos, mdp_personas_extranjeros, mdp_personas_contactos, mdp_personas_allegados, mdp_configuracion, mdp_datos_censales, mdp_datos_personales, mdp_datos_salud, mdp_datos_economicos
Pre-Requisitos
Verificar correcta instalación del Kettle y conexión a la base de datos PostgreSql.
Pasos para la Migración

  1. Creación del archivo: mig_personas.csv[/b]

Ahora me pide guardarlo en

Directorio: Externos/01_Schema/CSV

y después realizar

2. Creación de tabla ext.mig_personas
Ejecutar trabajo: Externos/01_Schema/03_Personas/script_mig_personas.kjb

El tema es que no tengo idea dónde están el directorio Externos ni el trabajo Externos/01_Schema/03_Personas/script_mig_personas.kjb

Agradezco la ayuda que me puedan brindar.

Raúl
IUC - CEMIC

Buenos días Raul, te dejo el link de tu nodo donde podrás observar el directorio Externos y G2, desde allí podrás acceder a toda la rama correspondiente para poder llegar a las transformaciones.
https://colab.siu.edu.ar/svn/guarani3/nodos/cemic/migracion/trunk/3.15.1/

Saludos.

Gracias José

Hay algún instructivo detallado de como se sube el archivo csv y como obtener todos los componentes necesarios para migrar las personas ?
En Migración de Sistemas Externos a Guaraní 3/Módulo: Personas describe la operaciones pero no dice cómo hacer cada una detalladamente.

Me podrías recomendar algún tutorial ?

Gracias.
Raúl

Raúl los archivos csv los tenes que armar como figuran en <path_migracion>Externos/01_Schema/CSV/.csv.
Cada uno de los archivos tiene el encabezado con los datos que deberías tener en ellos.
A medida que comiences a correr uno a uno de los jobs y transformaciones se te ira creando el schema ext con la correspondiente tabla para agregar esos datos de csv a c/u de ellas.
En cada uno de los links de los módulos tenes también información de que valores van a tener los correspondientes archivos.

Cualquier otra duda, avisanos.
Saludos.

Gracias José.

El tema es que no sé cómo subir el archivo . Ya lo tengo armado, tengo instalado el Kettle/Pentaho pero necesito algún instructivo acerca de cómo usarlo.
Se entiende ? Además si bien comprendo que esta es la forma normalizada para comunicarse con ustedes, pierdo mucho tiempo. No hay algún otra forma ? p.ej.: WhatsApp o celular ?

Gracias
Raúl

Raúl, si es nuestra forma de comunicarnos ya que por día tenemos muchisimas consultas de distintas universidades.
Como te comentaba antes, el kettle se encarga de subir los csv a la tabla correspondiente, vos no tenes que subirla a ningún lugar. Podes arrancar abriendo el primer módulo y verás que te dice que tenés que correr tal archivo. Cuando lo tengas abierto, solo deberías darle play que el spoon se encarga solo de subir el archivo.
Para poder configurar el spoon antes te pido que por favor leas cada uno de los links que se encuentran aquí.
http://documentacion.siu.edu.ar/wiki/SIU-Guarani/version3.15.0/migracion/desde_sistemas_externos
Saludos.

Buenas tardes. Ya conseguí empezar a correr la migración de personas externas. Llegué a generar el esquema ext. No me deja continuar con el siguiente paso, me da este error.

2018/09/13 15:38:07 - Spoon - Iniciando trabajo…
2018/09/13 15:38:07 - script_ mig_personas - Start of job execution
2018/09/13 15:38:07 - script_ mig_personas - Starting entry [Crea mig_personas]
2018/09/13 15:38:07 - script_ mig_personas - Starting entry [UpLoad de mig_personas]
2018/09/13 15:38:07 - UpLoad de mig_personas - Loading transformation from XML file [file:///C:/Users/rmerino/Downloads/data-integration/upload_mig_personas.ktr]
2018/09/13 15:38:07 - UpLoad de mig_personas - ERROR (version 8.1.0.0-365, build 8.1.0.0-365 from 2018-04-30 09.42.24 by buildguy) : Unable to run job script_ mig_personas. The UpLoad de mig_personas has an error. The specified file ‘file:///C:/Users/rmerino/Downloads/data-integration/upload_mig_personas.ktr’ does not contain transformation XML.
2018/09/13 15:38:07 - UpLoad de mig_personas - ERROR (version 8.1.0.0-365, build 8.1.0.0-365 from 2018-04-30 09.42.24 by buildguy) : org.pentaho.di.core.exception.KettleXMLException:
2018/09/13 15:38:07 - UpLoad de mig_personas - The specified file ‘file:///C:/Users/rmerino/Downloads/data-integration/upload_mig_personas.ktr’ does not contain transformation XML.
2018/09/13 15:38:07 - UpLoad de mig_personas -
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.trans.TransMeta.(TransMeta.java:2799)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryTrans.java:1295)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.entries.trans.JobEntryTrans.execute(JobEntryTrans.java:704)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:676)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:817)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:817)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.Job.execute(Job.java:493)
2018/09/13 15:38:07 - UpLoad de mig_personas - at org.pentaho.di.job.Job.run(Job.java:380)

2018/09/13 15:38:07 - script_ mig_personas - Finished job entry [UpLoad de mig_personas] (result=[false])
2018/09/13 15:38:07 - script_ mig_personas - Finished job entry [Crea mig_personas] (result=[false])
2018/09/13 15:38:07 - script_ mig_personas - Job execution finished
2018/09/13 15:38:07 - Spoon - Trabajo ha terminado.

Agradezco ayuda.

Raúl.

Buenas tardes Raúl, este archivo existe en esa ubicación?
file:///C:/Users/rmerino/Down[color=rgb(34, 34, 34)][/size]loads/data-integration/upload_[color=rgb(34, 34, 34)]mig_personas.ktr
Por lo q veo en el log no lo está encontrando.

Sí, existe.

Gracias.

Fijate que dice :
The specified file ‘file:///C:/Users/rmerino/Downloads/data-integration/upload_mig_personas.ktr’ does not contain transformation XML.

Y no, que no existe upload_mig_personas.ktr

Gracias

Buen día José

Tuviste alguna novedad acerca de este tema ?

Muchas Gracias
Raúl

Buenas, nunca tuve un error de ese estilo.
Mi consulta es si tiene creado una carpeta aparte con los jobs y trasformaciones de pentaho?
Pudo tratar de abrir ese archivo desde el spoon directamente?
Con respecto a mi recomendación es porque el spoon es recomendable dejarlo solo con sus carpetas y tener bajado los archivos en otro path distinto, sino se generan este tipo de situaciones parecería.

Saludos.

Hola José

Yo los archivos que bajé o generé los tengo en la misma carpeta. Por lo pronto podrías decirme cuáles son los jobs y transformaciones que deben ir en otra carpeta,
y si hay que bajarlos de otro lado ?

Gracias
Raúl

José : El archivo upload_mig_personas.ktr se puede abrir solo, con el spoon sin problemas.
Te paso dos archivos por si te sirven para ver si hay algún error

Saludos
Raúl.


Archivos.rar (2.04 KB)

Buenas Raúl. Para poder utilizar los archivos es recomendable que uses la estructura de carpetas como está aquí.
https://colab.siu.edu.ar/svn/guarani3/nodos/cemic/migracion/trunk/3.15.1/Externos/

Los jobs o transformaciones poseen paths relativos para buscar otros archivos .sql que necesiten u otros jobs o transformaciones que poseen.

Este tipo de problemas no nos han sido nunca reportados, y tampoco he podido reproducirlos.
Es mejor si bajas por svn estos archivos y seguis la guía que te he pasado en msj anterios y dejas las carpetas tal como vienen.

Si haces svn co de esa url que te pase, no creo que tengas más este tipo de problemas.

Saludos.

Buen día José.

El SVN me tira el error que te adjunto

Es bastante urgente

Agradezco tu asistencia

Raúl


2018-09-17_12-09-15.jpg

2018-09-17_12-09-15.png

Que es lo que trataste hacer cuando te dio ese error ?
Deberías pararte en una carpeta vacía y ejecutar svn checkout ingresar la url y el user y password.

Saludos.

Buenos días :

Instalé los drivers de JDBC.con el programa DbSchema. Sin embargo no puedo conectarme desde el Spoon :

Alguna ayuda por favor ?


org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

Driver class ‘com.informix.jdbc.IfxDriver’ could not be found, make sure the ‘Informix’ driver (jar file) is installed.
com.informix.jdbc.IfxDriver

at org.pentaho.di.core.database.Database.normalConnect(Database.java:472)
at org.pentaho.di.core.database.Database.connect(Database.java:370)
at org.pentaho.di.core.database.Database.connect(Database.java:341)
at org.pentaho.di.core.database.Database.connect(Database.java:331)
at org.pentaho.di.ui.core.database.dialog.XulDatabaseExplorerController.createDatabaseNodes(XulDatabaseExplorerController.java:380)
at org.pentaho.di.ui.core.database.dialog.XulDatabaseExplorerController.init(XulDatabaseExplorerController.java:130)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.initialize(AbstractXulDomContainer.java:141)
at org.pentaho.ui.xul.swt.SwtXulRunner$1.run(SwtXulRunner.java:67)
at org.eclipse.swt.widgets.Synchronizer.syncExec(Unknown Source)
at org.eclipse.swt.widgets.Display.syncExec(Unknown Source)
at org.pentaho.ui.xul.swt.SwtXulRunner.initialize(SwtXulRunner.java:64)
at org.pentaho.di.ui.core.database.dialog.XulDatabaseExplorerDialog.open(XulDatabaseExplorerDialog.java:92)
at org.pentaho.di.ui.core.database.dialog.DataOverrideHandler.explore(DataOverrideHandler.java:84)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.ui.xul.impl.AbstractXulDomContainer.invoke(AbstractXulDomContainer.java:313)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:157)
at org.pentaho.ui.xul.impl.AbstractXulComponent.invoke(AbstractXulComponent.java:141)
at org.pentaho.ui.xul.swt.tags.SwtButton.access$500(SwtButton.java:43)
at org.pentaho.ui.xul.swt.tags.SwtButton$4.widgetSelected(SwtButton.java:137)
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.eclipse.jface.window.Window.runEventLoop(Window.java:820)
at org.eclipse.jface.window.Window.open(Window.java:796)
at org.pentaho.di.ui.xul.KettleDialog.show(KettleDialog.java:80)
at org.pentaho.di.ui.xul.KettleDialog.show(KettleDialog.java:47)
at org.pentaho.di.ui.core.database.dialog.XulDatabaseDialog.open(XulDatabaseDialog.java:118)
at org.pentaho.di.ui.core.database.dialog.DatabaseDialog.open(DatabaseDialog.java:60)
at org.pentaho.di.ui.spoon.delegates.SpoonDBDelegate.newConnection(SpoonDBDelegate.java:494)
at org.pentaho.di.ui.spoon.delegates.SpoonDBDelegate.newConnection(SpoonDBDelegate.java:481)
at org.pentaho.di.ui.spoon.Spoon.doubleClickedInTree(Spoon.java:3122)
at org.pentaho.di.ui.spoon.Spoon.doubleClickedInTree(Spoon.java:3092)
at org.pentaho.di.ui.spoon.Spoon.access$2200(Spoon.java:369)
at org.pentaho.di.ui.spoon.Spoon$29.widgetDefaultSelected(Spoon.java:6229)
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1375)
at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:8104)
at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9466)
at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:701)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.pentaho.commons.launcher.Launcher.main(Launcher.java:92)

Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
Driver class ‘com.informix.jdbc.IfxDriver’ could not be found, make sure the ‘Informix’ driver (jar file) is installed.
com.informix.jdbc.IfxDriver

at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:515)
at org.pentaho.di.core.database.Database.normalConnect(Database.java:456)
... 59 more

Caused by: java.lang.ClassNotFoundException: com.informix.jdbc.IfxDriver
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:490)
… 60 more

Nose si estás en linux o en windows. Supongo que debe ser lo mismo.
Lo que hacemos es meter el .jar dentro de la carpeta lib donde esta el spoon.
Si no lo tenés te lo envió por acá. Cambiale la extensión a .jar, yo la cambie porque sino no me dejaba adjuntar el archivo.

Saludos.


ifxjdbc.zip (709 KB)

Gracias ¡ Conectado !