en teoria lo unico que tiene que hacer docker cuando vos realizas el deploy es ir y chequear si hay alguna version nueva de la imagen (osea otro SHA) no mas que eso.
En mi maquina localmente suele tardar tambien, no se si sea por la conexion, porque realiza chequeos extra por sobre un run comun o por que alguna de las configuraciones de CPU en los yml influya en como se comporta.
Podrias usar algo asi quizas… que seria una especie de proxy cache, el tema es que quizas no sea la conexion el problema sino el proceso en si o la maquina.
Yo cuando hago un stack deploy tengo unos 20 o 30 sgs hasta que el contenedor esta corriendo correctamente.
Tenes descomentada esta seccion en la configuracion de traefik?