Buenas tardes Mariana!
Primero y principal disculpa la demora con la respuesta.
Teniendo en cuenta que la antigua versión trabaja con Postgres 9.6 y la nueva con 11 , esto nos podría traer alguna dificultad, o sólo actualizando este programa y purgando el anterior estaría solucionado?En cuanto a esto no es del todo cierto, todavía estamos aceptando Postgres 9.6 para la versión 3.7 (el instalador valida que este entre estas versiones), lo ideal es que ya vayan migrando al Postgres 11, pero en si no tendrías inconveniente en la actualización.
Segundo caso, generando una instalación de 0 en nueva VM, instalamos versión 3.7.0 migrandole la base 3.5.0 , sería esto posible?En este punto ya supongo que en tu nueva VM ya tenes instalado el Postgres 11 y ya levantaste tu base de versión 3.5.8 en el mismo, es completamente posible y no habría inconveniente.
Tercer caso, ya teniendo instalada la versión 3.7.0 y colocarle la base de la versión 3.5.8....Esto ya no seria posible, si o si tu base tiene que pasar por la conversión, ya que de ser así estaría desfasada tu versión de código con tu versión de base, ambas siempre tienen que coincidir.
Todo va a depender de la manera en que vos lo vayas a encarar dependiendo de tus tiempos y recursos.
Cualquier consulta no dudes en escribir nuevamente, saludos!