Blickfang Varbergs ist die auf einem Felsen am Meer thronende Festung, zwischen deren Mauern ein im 14. Jh. erbautes Schloss steht. Es ist heute ein Museum, zu dessen Attraktionen die Moorleiche des Bockstenmannes gehört. Am Hafen fällt das orientalisch anmutende Kaltbadehaus von 1903 auf.