Gransee opstod i middelalderen ved skæringspunktet mellem de to vigtigste handelsveje gennem Mark Brandenburg. Dels vejen mellem Mecklenburg-Strelitz og Brandenburg og dels vejen mellem Uckermark og Ruppiner Land.

I året 1262 fik Gransee tildelt stadsret af markgreve Johann von Brandenburg.

Byen fik en befæstningsring, som i en lang periode blev anset for at være den sikreste i Mark Brandenburg.

Den middelalderlige bystruktur blev bevaret gennem flere århundreder. Den gamle bydel, der nu om dage fremstår nænsomt renoveret, opstod efter den katastrofale brand i år 1711.

En stor del af den middelalderlige bebyggelse var blevet offer for flammerne. De fleste bondebyhuse og den forenklede bygrundplan stammer fra genopbygningsperioden.

Først i det 19. århundrede voksede byen som følge af gründertidens byggeboom ud over den middelalderlige bygrænse.

I dag er byen et yndet mål for historieinteresserede turister, som søger fred og ro.