Torpet ligger på Fallviks ägor.
Kvarnsveden ligger ca 500 m sydöst om Stora Fallvik. Och ca 4 km från Söderö. Huset ligger vid Kvarnsjön.
Namnet kommer troligen från sjön Kvarnsjön.
Namnet sved kommer från att nyodlingar uppfördes genom svedjebruk.
Namnet Kvarnsjön kom troligen från,att det i bäcken eller ån mellan sjön och Åländern, fanns en kvarn förr i tiden.
Stugan finns första gången nämnd i Mantalslängden 1816. Den kallas då Qvarnstugan, och förste boenden är
Skogvaktaren Kronstrand med familj. Skogvaktare bodde här till 1837, men sedan bodde de i Lilla Fallvik.
Sista brukarna av torpet var Karl och Hedda Andersson, som flyttade 1947.