Adam Olivier, Médecin généraliste à Granville