Gracias!!!
Hola, estoy haciendo la conexion con Siu.mapuche pero el long me tira el siguiente error, lo adjunto.
Puede ser error de parametros?.
Gracias!!!
pentaho.txt (31.8 KB)
Hola Pablo! ese error es por el uso de un tablero o el cubo, no por la importacion de datos. No tenes registros de la importacion en ese log, tal vez no se este conectando.
Si queres que lo veamos en conjunto programamos una meet.
Saludos,
Sabrina.
Gracias!!
Hola,
Pude hacer la conexion a Mapuche(tenia error con el usuario), y me tira error en la tabla d_antiguedad cuando quiere extraer los datos (adjunto el pentaho.txt, en la linea 318 - JSON Input.0 - No se encuentra información con la ruta [$…legajo].)
Los datos q si se extrajeron son (salvo d_antiguedad y d_dependencia_desemp.txt ):
/home/wichi/mapuche/txt_ascii$ ls -lh
total 80K
-rw-r–r-- 1 pentaho pentaho 302 sep 6 00:22 d_agrupamiento.txt
-rw-r–r-- 1 pentaho pentaho 0 sep 6 00:22 d_antiguedad.txt
-rw-r–r-- 1 pentaho pentaho 1,3K sep 6 00:22 d_caracter.txt
-rw-r–r-- 1 pentaho pentaho 1,1K sep 6 00:22 d_categorias_cargo.txt
-rw-r–r-- 1 pentaho pentaho 4,4K sep 6 00:22 d_concepto.txt
-rw-r–r-- 1 pentaho pentaho 123 sep 6 00:22 d_dedicacion.txt
-rw-r–r-- 1 pentaho pentaho 0 sep 6 00:22 d_dependencia_desemp.txt
-rw-r–r-- 1 pentaho pentaho 318 sep 6 00:22 d_dependencia_desig.txt
-rw-r–r-- 1 pentaho pentaho 66 sep 6 00:22 d_escalafon.txt
-rw-r–r-- 1 pentaho pentaho 186 sep 6 00:22 d_estado_civil.txt
-rw-r–r-- 1 pentaho pentaho 1,5K sep 6 00:22 d_finalidad_funcion.txt
-rw-r–r-- 1 pentaho pentaho 78 sep 6 00:22 d_grupo_presupuestario.txt
-rw-r–r-- 1 pentaho pentaho 149 sep 6 00:22 d_liquidacion.txt
-rw-r–r-- 1 pentaho pentaho 392 sep 6 00:22 d_nivel_estudio.txt
-rw-r–r-- 1 pentaho pentaho 40 sep 6 00:22 d_regional.txt
-rw-r–r-- 1 pentaho pentaho 21K sep 6 00:22 d_titulo.txt
Q podria ser?
Muchas gracias!!
pentaho.txt (59.2 KB)
Buen día Pablo! el problema seguramente lo tengamos en la url de configuración al rest de mapuche.
Tendrías que revisar el archivo variables_iniciales.txt que esta en <path_etl>/etl/carga_de_datos/mapuche/
Existen tres variables dentro de ese archivo que corresponden al rest de mapuche → url_mapuche|usuario_mapuche|clave_usuario_mapuche|
Lo que podes hacer para probarlo es copiar lo que tenes en el parametro url_mapuche y pegarlo en un navegador (chrome, mozilla, cualquiera), y ahi debería salir un popup y pedirte los otros dos parámetros que son el usuario y la contraseña.
Avisame si lo pudiste resolver, sino podemos coordinar un meet.
Saludos,
Sabrina.
Hola,
Siempre me pude conectar (adjunto imagen web_mapuche.jpg)
copio como esta el archivo variables_iniciales.txt :
base_wichi_host|base_wichi_puerto|base_wichi_nombre|base_wichi_usuario|base_wichi_clave|cantidad_legajos|carga_directorioTemporal|carga_instalacion|url_mapuche|usuario_mapuche|clave_usuario_mapuche|performance_commit_size|carga_comentario
xxx.xxx.x.xxx|5432|siu_wichi|postgres|postgres|50000|/home/wichi/mapuche|4-13|http://xxx.xxx.x.xxx/siu/mapuche3/|usuario|contraseña|10000|
muchas gracias!!
Hola Pablo! quedo mal la url del rest, te corrijo el campo en negrita:
base_wichi_host|base_wichi_puerto|base_wichi_nombre|base_wichi_usuario|base_wichi_clave|cantidad_legajos|carga_directorioTemporal|carga_instalacion|url_mapuche|usuario_mapuche|clave_usuario_mapuche|performance_commit_size|carga_comentario
xxx.xxx.x.xxx|5432|siu_wichi|postgres|postgres|50000|/home/wichi/mapuche|4-13|[b]http://xxx.xxx.x.xxx/siu/mapuche3/rest/antiguedades[/b]|usuario|contraseña|10000|
Hola,
Gracias, esta url (|http://xxx.xxx.x.xxx/siu/mapuche3), me la dieron los chicos de mapuche, al poner la que me enviaste (|http://xxx.xxx.x.xxx/siu/mapuche3/rest/antiguedades), no se loguea (adjunto imagen error_login.jpg). Se queda en la misma web.
gracias!!!
Tendrias que revisarlo con la gente de mapuche que te brindo los datos entonces.
Chequear ql usuario y contraseña del rest que te pasaron.
Muchas gracias!!!
No tenia permisos, ahora ya pude importar los datos a Wichi.
Hola,
Se pueden importar dos periodos por ejemplo: 06 - 20021(este lo importe bien) y 07-2021 (este me tira “Error en la Importacion de datos en ETL”),
Muchas gracias!!
Hola Pablo! que sistema estas cargando?
Pedon desde Mapuche.
La base de datos mapuche tiene datos de un solo periodo , va a cargar el periodo que tengas en la base de datos. El proceso lo toma de la base, vos no necesitas ponerlo en ningun lado. Si necesitas cargar datos de periodos anteriores al que esta en curso, deben buscar el backup de la base de datos del mes que queres cargar y apuntar el mapuche a esa base y el wichi a esa base.
Saludos,
Sabrina.
ok!
Eso es lo que hicimos importamos el periodo 06-2021, y despues actualizaron la base(mismo nombre de la base) para tomar 07-2021.
Se tienen q limpiar los datos anteriores?. No pueden haber 2 periodos?
Tendria q limpiar las tablas temporales:
select 'TRUNCATE TABLE ’ || table_schema || ‘.’ || table_name || ‘;’ as linea
from information_schema.tables i
where i.table_schema in(
‘mapuche_tmp’, ‘mapuche_dsa’
)
order by table_schema, table_name
gracias!!
En wichi no tenes que hacer nada si la base sigue siendo la misma.
Te cuento a modo informativo, en la base de mapuche, lo que ellos hacen al finalizar el mes es hacer un cierre de mes, en ese momento se limpian algunas tablas, por ej dh21, y se pasan solo algunos datos a las tablas historicas. Luego empiezan a cargar el mes en curso. Pero para vos todo eso es transparente, vos solo necesitas la conexión a la base y se cargan los datos del periodo actual.
En wichi el proceso genera una tabla FT para cada nuevo periodo, no hace falta borrar nada.
Viendo el pentaho.log, hay una clave duplicada:
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Error inserting row into table [ft_cargos] with values: [202107], [2021], [7], [317], [1217], [1528], [8], [0], [070200875’295], [2021/05/01 00:00:00.000], [null], [16]$2021/09/08 10:02:17 - dsa_ft_cargos.0 -
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Error inserting/updating row
2021/09/08 10:02:17 - dsa_ft_cargos.0 - ERROR: llave duplicada viola restricción de unicidad «ft_cargos_pk»
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Detail: Ya existe la llave (periodo_id, persona_id, nro_cargo)=(202107, 317, 1528).
2021/09/08 10:02:17 - dsa_ft_cargos.0 -
2021/09/08 10:02:17 - dsa_ft_cargos.0 -
2021/09/08 10:02:17 - dsa_ft_cargos.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:377)
2021/09/08 10:02:17 - dsa_ft_cargos.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:118)
2021/09/08 10:02:17 - dsa_ft_cargos.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2021/09/08 10:02:17 - dsa_ft_cargos.0 - at java.lang.Thread.run(Thread.java:745)
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Error inserting/updating row
2021/09/08 10:02:17 - dsa_ft_cargos.0 - ERROR: llave duplicada viola restricción de unicidad «ft_cargos_pk»
2021/09/08 10:02:17 - dsa_ft_cargos.0 - Detail: Ya existe la llave (periodo_id, persona_id, nro_cargo)=(202107, 317, 1528).
En la base esta (tabla mapuche_dsa.ft_cargos):
202106 2021 6 317 1217 1528 8 16 “070200875’295” 2 1 1 1 0 1 5 1 0 1 1 “2021-05-01” 0 0 1 1 28092.38 40562.64 47175.95 “2021-09-07”
202106 2021 6 317 1118 1118 6 32 “070200875’295” 2 63 0 1 0 1 2 4 0 1 1 “2020-03-01” 0 0 1 1 232558.02 319680.26 371865.11 “2021-09-07”
Esto podria ser por lo q tira error.
Gracias!!
En el error tenes el periodo 202107 y el las tablas 202106, o sea que no es ese el problema.
Esta restricción da el error → Ya existe la llave (periodo_id, persona_id, nro_cargo)=(202107, 317, 1528).
Para ver que puede estar pasando realiza los siguientes pasos:
1- Obtener legajo_codigo
SELECT legajo_codigo FROM mapuche_dsa.d_persona where persona_id = 317;
2 - Reemplazar el valor obtenido en la siguiente consulta
SELECT * FROM mapuche_tmp.ft_cargos where legajo_id = ‘REEMPLAZAR’;
Enviame por favor el resultado de esa consulta
SELECT legajo_codigo FROM mapuche_dsa.d_persona where persona_id = 317;
– legajo_codigo
– “4”
SELECT * FROM mapuche_tmp.ft_cargos where legajo_id = ‘4’;
– 202107 “1528” “4” “7” “070200875’295” “21” “0” “0” “SIN” “D00” “0” “1” 10.00 4 “100” “000.00” 1 1 17747.38 27079.29 33692.60 “CABA” “2021-05-01” “1217” “D”
– 202107 “1118” “4” “5” “070200875’295” “8” “0” “SIN” “S02” “0” “1” 40.00 1 “100” “000.00” 1 1 147308.23 213415.97 265600.82 “CABA” “2020-03-01” “1118” “S”
Bien, con el cargo 1528 tenes un solo registro. Por lo tanto esta duplicando cuando joinea con las dimensiones.
Por favor ejecuta este query y enviame el resultado:
SELECT ft_cargos.periodo_info as periodo_id,
substring(periodo_info::TEXT FROM 1 for 4)::integer as anio_id,
substring(periodo_info::TEXT FROM 5 for 2)::integer as mes_id,
persona_id,
nro_cargo_base::integer,
cargo_id::integer as nro_cargo,
d_dependenciadesig.dependenciadesign_id as dependenciadesigncargo_id,
d_dependenciadesemp.dependenciadesemp_id,
ft_cargos.nudo,
ft_cargos.fecha_alta,
ft_cargos.fecha_baja,
d_categoriascargo.categoria_id,
d_agrupamiento.agrupamiento_id,
d_subrogancia.subrogancia_id,
cc2.categoria_id as categoria_subrogada_id,
d_tipoplantacaracter.plantacarac_id,
d_asociado.asociado_id,
d_estadodelcargo.estadodelcargo_id,
d_hsdedicacion.hsdedicacion_id,
a2.antiguedad_id as antiguedadenescalafon,
d_porcreduchoraria.porcentaje_id as porcreduccionhoraria_id,
d_porctrabajado.porcentaje_id as porctrabajado_id,
ft_cargos.cant_cargos_liq,
ft_cargos.cant_cargos_activos,
ft_cargos.importe_neto,
ft_cargos.importe_bruto,
ft_cargos.importe_gasto_total,
d_regional.regional_id,
d_licencia.licencia_id,
current_date as fechacarga
FROM
mapuche_tmp.ft_cargos
left outer join mapuche_dsa.d_persona on (d_persona.legajo_codigo = ft_cargos.legajo_id)
left outer join mapuche_dsa.d_dependenciadesig on (mapuche_dsa.d_dependenciadesig.instalacion_id=${instalacion_id} AND ft_cargos.dependencia_desig_id = d_dependenciadesig.dependenciadesign_codigo AND d_dependenciadesig.vigente = ‘Y’)
left outer join mapuche_dsa.d_dependenciadesemp on (ft_cargos.dependencia_desemp_id = d_dependenciadesemp.dependenciadesemp_codigo AND d_dependenciadesemp.vigente = ‘Y’)
left outer join mapuche_dsa.d_categoriascargo on (d_categoriascargo.categoria_codigo = ft_cargos.categoria_id AND d_categoriascargo.vigente = ‘Y’)
left outer join mapuche_dsa.d_categoriascargo cc2 on (cc2.categoria_codigo = ft_cargos.categoria_subrogada_id AND cc2.vigente = ‘Y’)
left outer join mapuche_dsa.d_agrupamiento on (d_agrupamiento.agrupamiento_codigo = ft_cargos.agrupamiento_id AND d_agrupamiento.vigente = ‘Y’)
left outer join mapuche_dsa.d_subrogancia on (d_subrogancia.subrogancia_codigo = ft_cargos.subrogancia_id AND d_subrogancia.vigente = ‘Y’)
left outer join mapuche_dsa.d_tipoplantacaracter on (d_tipoplantacaracter.caracter_codigo = ft_cargos.caracter_id AND d_tipoplantacaracter.vigente = ‘Y’)
left outer join mapuche_dsa.d_asociado on (d_asociado.asociado_codigo = ft_cargos.asociado_id AND d_asociado.vigente = ‘Y’)
left outer join mapuche_dsa.d_estadodelcargo on (d_estadodelcargo.estadodelcargo_codigo = ft_cargos.estado_del_cargo_id AND d_estadodelcargo.vigente = ‘Y’)
left outer join mapuche_dsa.d_hsdedicacion on (d_hsdedicacion.horas = ft_cargos.cant_hs_dedicacion AND d_hsdedicacion.vigente = ‘Y’)
left outer join mapuche_dsa.d_antiguedad a2 on (a2.anios = ft_cargos.antiguedad_en_escalafon AND a2.vigente = ‘Y’)
left outer join mapuche_dsa.d_porcreduchoraria on (d_porcreduchoraria.porcentaje_codigo = ft_cargos.porcentaje_reduccion_horaria AND d_porcreduchoraria.vigente = ‘Y’)
left outer join mapuche_dsa.d_porctrabajado on ( ft_cargos.porcentaje_trabajado_en_el_mes = d_porctrabajado.porcentaje_codigo AND d_porctrabajado.vigente = ‘Y’)
left outer join mapuche_dsa.d_regional on (d_regional.regional_codigo = ft_cargos.regional AND d_regional.vigente = ‘Y’)
left outer join mapuche_dsa.d_licencia on (d_licencia.licencia_codigo = ft_cargos.licencia_codigo AND d_licencia.vigente = ‘Y’)
where persona_id = 317 and cargo_id::integer =1528