La jeune Rosie Churchill a quitté sa famille pour échapper aux relations conflictuelles. Elle a trouvé une chambre à louer dans le vieux manoir délabré d'une station balnéaire. Ce lieu est fascinant, les diverses générations y ayant laissé leur empreinte. Rosie découvre notamment que les murs de Castaway ont été le théâtre d'un scandale, au tout début du XXe siècle. A cette époque, le manoir était habité par les Bray, une famille riche mais aux personnalités tourmentées et complexes. Rosie se passionne pour cette histoire, et en particulier pour l'été 1924, qui a bouleversé de nombreuses vies. Elle ne s'attendait pas à ce que ce soit également son cas, des générations plus tard...
