Hvitsten er et hyggelig kyststed med mye fint, gammelt trehusmiljø. De to sjøbodene fra 1700-tallet, setter et visuelt særpreg på "sentrum". Tilhørende brygge som er fin å hoppe/stupe fra, inngår i badestranden med langgrunne og fin gresslette. Hvitsten seilforening holder til i den ene sjøboden og har grupper for jolleseiling, padling og seilbrett.

Aller mest er kanskje Hvitsten kjent for familien Olsen, skipsrederfamilien, som har tilhold stedet gjennom generasjoner. Fred. Olsen  familien benytter Nedre Lysedahl like opp for torget og badestranden til sommerbolig og deler av virksomheten har fortsatt tilhold i den gamle skolen. Rundt i Hvitsten er det plassert over 30 store gallionsfigurer i bronse laget av kjente norske billedhoggere. Disse var montert i baugen på lastebåter og cruiseskip på 1950 og 60-tallet tilhørende rederiet.

Kunstnerstedet Hvitsten har vært bosted og ferieparadis for Nicolai Wergeland, Edvard Munch, Th. Kittelsen, Christian Krogh, Hans Jæger og Lasson-døtrene Oda og Bokken. Theodor Kittelsen kjøpte seg hus i Hvitsten 1892 og hadde en meget produktiv periode mens han bodde her. Edvard Munch kjøpte eiendommen Ramme, nord for Hvitsten i 1911. Sigrid Undset har bodd i Hvitsten. Hun tok Emmerstadbukta noe lengere sør som modell for Hestviken i hennes roman "Olav Audunsøn i Hestviken".

Like bak kirken i Hvitsten - innerst på parkeringsplassen - nede ved elva – eller gjennom urnelunden, starter skiløypen som kjøres opp med scooter når det er litt godt med snø. Løypen er bratt i starten fram til den kommer inn på rundløype Sekkebekk-Strand. Det er egen parkeringsplass ved innkjøringen til Hvitsten mot betaling (ca. 200 meter fra kirken) eller en kan starte turen ved Hvitsten grendehus/barnehage og parkere her.