Tyskerne var raske til å sikre seg Varden til utkikkspunkt da de kom i 1940. De bygde en etasje oppe på tårnet hvor de anla en marinesignalstajon. 5-6 meter øst for tårnet ble det bygd en stor bunker med radiosamband. Bunkeren er gravd ned, og en av antennesjaktene som stakk opp er brukt til fundament for flaggstangen som står der i dag. Forøvrig var hele området rundt Varden inngjerdet med piggtråd under krigen, og 50 m vest for Vardetårnet ble det satt opp en Freya varslingsradar.
Her bilde fra 1943 hvor påbygget på toppen er svært godt synlig. Det er tyskerne selv i brakkene der oppe som har tatt bildet.
