Error al correr la ETL

[cjimenez]

Hola! Como estan? Espero que bien! (No se si este tema corresponde a Datawarehouse)

Les escribo ya que nos encontramos un error que no nos habia aparecido y no sabemos la causa que lo origino, estamos trabajando en un ambiente de TST y decidimos agregar campos a la dimensión de d_alumno para agregarlos en nuestro cubo personalizado, no sabemos si esto pudo ser la posible causa del siguiente error, este es el error:

2023/02/06 22:06:09 - Escribir en siu_dsa.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : An error occurred intialising this step:
2023/02/06 22:06:09 - Escribir en siu_dsa.0 - Couldn't execute SQL: TRUNCATE TABLE guarani3_dsa."dim table name"
2023/02/06 22:06:09 - Escribir en siu_dsa.0 -
2023/02/06 22:06:09 - Escribir en siu_dsa.0 - ERROR: relation "guarani3_dsa.dim table name" does not exist
2023/02/06 22:06:09 - Escribir en siu_dsa.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Error initializing step [Escribir en siu_dsa]
2023/02/06 22:06:09 - copiar_dimension_dw_a_dsa - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Step [Escribir en siu_dsa.0] failed to initialize!
2023/02/06 22:06:09 - Leer de siu_dw.0 - Finished reading query, closing connection.
2023/02/06 22:06:09 - copiar dimension dw a dsa - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Unable to prepare for execution of the transformation
2023/02/06 22:06:09 - copiar dimension dw a dsa - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : org.pentaho.di.core.exception.KettleException:
2023/02/06 22:06:09 - copiar dimension dw a dsa - We failed to initialize at least one step.  Execution can not begin!
2023/02/06 22:06:09 - copiar dimension dw a dsa -
2023/02/06 22:06:09 - copiar dimension dw a dsa -
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.trans.Trans.prepareExecution(Trans.java:1142)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.trans.Trans.execute(Trans.java:612)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.entries.trans.JobEntryTrans.execute(JobEntryTrans.java:1097)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.Job.execute(Job.java:723)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.Job.execute(Job.java:864)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.Job.execute(Job.java:864)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.Job.execute(Job.java:608)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at org.pentaho.di.job.entries.job.JobEntryJobRunner.run(JobEntryJobRunner.java:69)
2023/02/06 22:06:09 - copiar dimension dw a dsa -       at java.lang.Thread.run(Thread.java:745)
2023/02/06 22:06:09 - copiar_dimensiones - Starting entry [Aborta proceso]

Si conocen como podemos arreglarlo o si necesitan algun otro tipo de dato estoy atento, muchas gracias!

[sbaisi]

Buenas tardes! los campos los tenes que agregar tanto en guarani3.d_alumno como en guarani3_dsa.d_alumno, creo que te falta agregarlos en esta ultima.
Saludos,
Sabrina

[cjimenez]

Hola Sabrina! Gracias por la respuesta voy a intentarlo y te comento los resultados! Saludos y gracias nuevamente!

[cjimenez]

Hola Sabrina! Te escribo nuevamente porque surgieron más dudas.

Nosotros el esquema de guarani3_dsa lo limpiamos ya que conseguimos esta información en la documentación.

En el apartado de 8.3.1. Limpieza de datos innecesarios:
https://docs.google.com/document/d/1cpFsuof0g_6eljzs6oeRwIhAWOs-tveGDQPszH26ilY/edit#heading=h.ew258x75plsd

Segun entendimos estos datos se cargan cada vez que se corre la ETL, entonces la duda es, ya que tenemos ese error el cual no permite que corra correctamente la ETLlas tablas no se cargan, estó implica que los cambios que hagamos en las dimensiones se deben hacer modificando la ETL de carga principal de wichi? Si no es asi que puedo hacer para solucionar el error? Muchas gracias por todo y estoy atento a cualquier información extra que pueda aportar. Saludos!

[sbaisi]

Buen día, si agregan un campo nuevo a alguna dimension, por ejemplo d_persona en el esquema guarani3, también deben agregarlo en d_persona del esquema guarani3_dsa, porque el proceso copia las tablas del esquema guarani3 al guarani3_dsa para luego poder actualizarlas sin tener problemas de consistencia ante un fallo. Lo mismo para si agregan directamente dimensiones nuevas por ejemplo d_tablanueva en el esquema guarani3 deben agregarla en guarani3_dsa.
Tanto si agregan un campo en una dimensión existente o una nueva tabla de dimensión o un campo en las FTs tienen que incorporarlo en el ETL para q ese campo/tabla se cargue con datos.

[cjimenez]

Hola Sabrina! Gracias por la respuesta! Ya entendi mejor, estuve buscando el paso donde la tabla guarani3_dsa se crea y no la consegui me puedes decir en que job/transformacion se hace este paso si lo tienes a mano? Muchas gracias nuevamente!

[sbaisi]

Hola Carlos, el ETL de creación es distinto al de carga, por lo que deberías crearlas directo en la base para no perder los datos que tengas si haces una base nueva.
Igualmente te paso la ubicación de la creación por si te interesa verla --> /etl/creacion_base_datos dentro tenes la carpeta correspondiente a cada sistema SIU.
Saludos,
Sabrina