Dvergsøya er nærmest delt i to av et smalt eid. det virker som om øya ikke har hatt fast bosetting før tidlig på 1800-tallet, da den driftige smeden Notto Kitelsen slår seg ned og begynner å opparbeide jorda. David Vogt fikk den kjente arkitekten Arnstein Arneberg (som også tegnet Oslo Rådhus) til å tegne sin sommervilla på sydspissen av øya. Denne er fortsatt bevart.