Centro di riferimento per la visita al Lahemaa Rahvuspark, Palmse si vista per la tenuta nobiliare di Sagadi, dove nel XIII secolo si insediarono monache cistercensi provenienti dall'isola svedese di Gotland. Passato nel XVII secolo alla famiglia von der Pahlen, il castello andò incontro a un lento declino a partire dal 1923, dal quale si è salvato grazie all'istituzione del parco nel 1971.
Nel mese di giugno il complesso diventa il palcoscenico del festival di Viru Säru, con spettacoli di musica e danze popolari.