MPF - Migración Pervasive a PostgreSQL

Llamo Silvia Acuña, que tenian un archivo con 400 errores, este archivo lo produjo el migrador en pervasive.
Quedamos que me enviaba un mail con el archivo para analizarlo y darle una rta concreta.

-------- Original Message --------
Subject: RV: Prueba de Migración Pervasive a Postgres
Date: Mon, 31 Aug 2009 15:02:04 -0300
From: ACUNA, Silvia SAcuna@mpf.gov.ar
To: ejaure@siu.edu.ar

Aquí va el archivo que te comenté por telefono.

Silvia

PD; la versión del postgreSQL es 1.8.4 Me esta diciendo la responsable del base de datos, si no es mejor en luegar de tener los errores cuando importa por linea de comando, que gnere un DTS para comprar las bases migradas desde pervasive a postgre con postgre, le dije que documentara la propuesta asi se las mandaba a Uds.

Silvia:
Buenos días, te paso el archivo log que generó el migrador.
Encontró algunos errores de datos y de tipo de datos. Me interesaría que me comentes si es común encontrarlos y si ya tienen algún procedimiento para solucionarlos.
El documento que me pasaste no indica en qué momento se deben controlar estos errores, por las dudas no voy a continuar con la prueba.
Me interesaría que me comentes qué te parece y me des el OK para continuar.

Un beso,
Sol


-------- Original Message --------
Subject: Re: RV: Prueba de Migración Pervasive a Postgres
Date: Mon, 31 Aug 2009 16:16:42 -0300
From: Emiliano Gastón Jaureguiber ejaure@siu.edu.ar
Organization: Consorcio SIU
To: ACUNA, Silvia SAcuna@mpf.gov.ar
References: 7E5C454CC7B4CB4A8FFF12E9C800F2B801DBD709@tango.mpf.gov.ar

Silvia, te adjunto 4 archivos (resultado de procesar el que me enviastes vos), a continuación te detallo lo que tendrias que hacer para verificar la migración.

  1. sin_dats.txt: en este archivo estan todos los errores que se produjeron por no existir los correspondientes .dat. A simple vista note que estan duplicados estos errores, por lo cual te pediria que verifiques que realmente no existen estos .dat
  2. sin_permiso_acceso.txt: el usuario que se esta utilizando para acceder a este .dat no tiene permisos para poder accederlo, probar con darle mas permisos al usuario que realiza la migración.
  3. error_datos.txt: estos 3 registros te pediria que los verifiques porque son los únicos errores de datos.
  4. migracion_ok.txt: en este archivo se listan la cantidad de registros que se migreron de cada .dat.

Con repespecto a la versión de postgresql es 8.4?

Saludos


Archivo que no pude subir en mensaje anterior


-------- Original Message --------
Subject: RE: RV: Prueba de Migración Pervasive a Postgres
Date: Mon, 31 Aug 2009 20:49:42 -0300
From: ACUNA, Silvia SAcuna@mpf.gov.ar
To: Emiliano Gastón Jaureguiber ejaure@siu.edu.ar

Gracias por tu help Emiliano

Con respecto a lo que me mandas, en el ítem 2, el usuario que mencionas es en pervasive, cuando miro las puertas de permisos, no encuentro ninguna que este relacionada con la migración,… de todos modos se trata de las tablas que contienen el log de transacciones, no creo que esté pensado que éstas tablas sean migradas, de ahí me parece que esta dando ese mensaje de error.

Con respecto al ítem 3, al mirar las tablas que se trata veo que es la tabla que contiene los bloqueos de cargos de planta, que estimo tampoco es necesario migrarlas, espero tu confirmación.

De todos modos estos errores, dan cuenta de aquello que no se va a migrar que por lo que veo en principio en nuestro caso no se trataría de problemas sustantivos, por lo cual en principio voy a dar el OK para que prueben ahora con la importación y me manden los mensajes de error que surjan en ese manomento.

Aguardo a que me confirmes y si es la 8.4 versión en castellano la que estamos usando.

Saludos,

Silvia

-------- Original Message --------
Subject: Re: RV: Prueba de Migración Pervasive a Postgres
Date: Tue, 01 Sep 2009 10:55:51 -0300
From: Emiliano Gastón Jaureguiber ejaure@siu.edu.ar
Organization: Consorcio SIU
To: ACUNA, Silvia SAcuna@mpf.gov.ar
References: 7E5C454CC7B4CB4A8FFF12E9C800F2B801DBD7AB@tango.mpf.gov.ar

Silvia, me parece bien entonces que des el OK para que continuen, igualmente te recomiendo que documenten todos los pasos que se hagan (como asumir que no son necesarios los bloqueos de planta) para cuando hagan la migración de producción no tengan dudas sobre que acciones tomar ante estos errores.

Saludos

-------- Original Message --------
Subject: RE: RV: Prueba de Migración Pervasive a Postgres
Date: Tue, 1 Sep 2009 11:45:24 -0300
From: ACUNA, Silvia SAcuna@mpf.gov.ar
To: Emiliano Gastón Jaureguiber ejaure@siu.edu.ar

Esto es lo que me comenta la responsable de Base de Datos, y como notarás está previsto lo de documentar J

Cuando tengamos los errores que de la importación te los paso si necesito algun help.

Nos mantenemos en contacto.

Silvia

Hoy debería actualizar la versión en mi máquina, como me explicaste ayer.

Y también voy a probar lo que te comentaba por teléfono:

1° Ejecuto el script Migracion_Pampa.sql

2° Ejecuto el script Pampa_Tablas.sql

3° Ejecuto el script Pampa_Indices.sql (hasta acá las tablas quedan vacías y listas para ser utilizadas en postgres).

4° Modifico el script Pampa_Tablas.sql para generar las mismas tablas, con el prefijo “Migra_” y que admita datos nulos.

5° Ejecuto el script Pampa_Tablas_Migracion.sql

6° Edito el script Pampa_Copy.sql para que los datos vayan a las tablas que admiten nulos (con el prefijo “Migra_”).

7° Analizamos los datos de las tablas con el prefijo “Migra_” para depurar los datos de Pervasive, antes de hacer la verdadera migración.

8° Una vez depurados los datos, volveríamos a generar todos los archivos de vuelta y cargar los datos reales en las tablas.

En el paso 6 también se podrían pasar los datos con un DTS, pero esto llevaría más tiempo porque no tenemos nada programado.

Podríamos reprogramar el “borra y migra” que estamos utilizando para la explotación de datos del Pampa, para que pase los datos de Pervasive a Postgres. Pero después me gustaría que nos reunamos para ver si estos DTS que creó la gente de tu oficina en ese DTS migra todas las tablas o parte de ellas.

Comienzo la prueba hoy, tal vez no esté todo listo para hoy mismo. Pero te mantengo al tanto de los resultados y vamos viendo cómo seguimos.

Más que nada porque me quiero tomar el tiempo de documentar bien las cosas y empezar a definir un procedimiento “estándar” para este tipo de migraciones.

Estoy muy contenta porque siento que estamos avanzando!

Un beso,

Sol