Kunagi oli siin Vaemla rüütlimõis. Valge kivimaja on omaaegse mõisa hoonetest üks väheseid, mis tänaseni püsti ja kasutusel. 19. sajandi keskel ehitati see mõisa heinaküüniks, hiljem oli siin jahuveski.
Nõukogude perioodil asus hoones villatööstus, mis ühismajandite lagunemise ajaks 1990ndate algul vaid villavahetuspunktiks oli hääbunud. Aastast 1992 tegutseb siin pereettevõte Hiiu Vill. Villatöötlemise masinad on enam kui 120 aastat vanad Poola masinad, neid on remonditud ja parandatud, uuendatud ja need töötavad jätkuvalt. Kui kunagi ammustel aegadel pani masinad tööle kohalik aurumasin, siis täna töötavad need elektriga. Kogu ettevõtet võib nüüd vaadata kui töötavat muuseumi, kus lausa hommikust õhtuni masinad ei huuga, aga kui on villa ja huvilisi, pole probleemi.