Heemstede ontstond rond het Kasteel Heemstede dat rond 1286 werd gebouwd met uitzicht op de rivier het Spaarne. Vóór 1296 schonk Floris V, graaf van Holland, Heemstede als leengoed aan Reinier van Holy. In de 14e eeuw ontstond er een dorp in de buurt van het kasteel, dat in deze periode verschillende keren werd verwoest en herbouwd. Een bewoner van dit kasteel was Adriaan Pauw, die het in 1620 kocht. In 1653 splitste Bennebroek zich af van Heemstede en werd een apart leengoed.
