Down House war die Heimat des berühmten britischen Naturforschers Charles Darwin, der vor allem für seine Evolutionstheorie bekannt ist. Darin lebte in der zweiten Hälfte des 19. Nach seinem Tod wurde das Haus vermietet und in eine Mädchenschule umgewandelt, bevor es in ein Museum umgewandelt wurde. Im späten 20. Jahrhundert wurde es von English Heritage erworben und in seinem früheren Glanz restauriert, bevor es der Öffentlichkeit zugänglich gemacht wurde.
Charles Darwin begann seine Ausbildung mit einem Medizinstudium an der University of Edinburgh, erkannte aber schnell, dass der Beruf nichts für ihn war. Später wurde er am Christ’s College der Universität Cambridge eingeschrieben, wo er mehr daran interessiert zu sein schien, verschiedene Insekten- und Pflanzenexemplare zu sammeln, als Theologie zu studieren. 1931 brach er an Bord eines Schiffes namens HMS Beagle zu einer fünfjährigen Reise auf. Während dieser Reise begann Darwin, Ideen zu entwickeln, die später zu seiner Evolutionstheorie führten.
Nach seiner Rückkehr begann Darwin daran zu arbeiten, sein Werk zu vollenden, das zu dieser Zeit allgemein als radikal galt. Im Januar 1839 heiratete er seine Cousine Emma Wedgwood. Die beiden lebten einige Jahre in London. Als sich ihre Familie in ihrem kleinen Zuhause jedoch eingeengt fühlte, begannen sie, nach geeigneten Vorkehrungen zu suchen.
1842 zogen Darwin und seine Familie nach Down House. In einem kleinen Dorf in Kent gelegen, schien Down House das perfekte Haus für die Familie Darwin zu sein. Es lag in einer ländlichen Gegend abseits der meisten Hauptstraßen und bot Darwin einen ruhigen Ort zum Schreiben und Studieren von Naturexemplaren. In Down House schrieb Darwin das berühmte Buch Über die Entstehung der Arten durch natürliche Auslese, das 1859 veröffentlicht wurde.
Während sie in Down House lebten, hatten Emma und Darwin acht weitere Kinder, zusätzlich zu den beiden, die sie bereits hatten. Leider überlebten nur sieben der Darwin-Kinder ihre Kindheit. Darwin glaubte oft, dass Inzucht eine Rolle beim Tod seiner anderen drei Kinder spielte.
Charles Darwin starb 1882 in Down House. Seine Frau Emma starb 1896. Nach ihrem Tod mietete ihr Sohn George das Haus bis 1906. 1907 wurde dort ein Internat für Mädchen eröffnet, das jedoch später auf ein größeres Anwesen verlegt wurde 1922. An ihre Stelle trat eine weniger erfolgreiche Mädchenschule, die jedoch nur wenige Jahre später geschlossen wurde. Down House wurde 1927 von der British Association for the Advancement of Science gekauft und 1929 als Museum eröffnet.
1996 erwarb English Heritage, eine englische historische Gesellschaft, Down House. Das Haus und das Grundstück wurden dann restauriert und 1998 für Touristen und Wissenschaftsinteressierte wiedereröffnet. Heute können Besucher des Hauses, geführt von einem sprechenden Multimediagerät, durch das Haus wandern. Die meisten Zimmer wurden so restauriert, wie sie die Familie Darwin bewohnte, aber einige der Schlafzimmer im Obergeschoss enthalten auch wissenschaftliche Exponate. Besucher können auch die Gärten erkunden und eine Sammlung von Darwins Originalnotizbüchern sehen.