Jarlen, Skjalm Hvide, der har givet hotellet sit navn, var stamfader til en af middelalderens mægtigste stormandsslægter i Danmark. Han døde omkring år 1113. Skjalm Hvides stjerne stod højt hos kongemagten. I det han altid formåede at holde styr på de besiddelser kongen havde betroet ham.

Han var gift med Signe Asbjørnsdatter. Blandt Skjalm Hvides sønner var Asser Rig, der igen var far til Absalon og Esbern Snare. Derudover blev Erik Ejegods søn, Knud Lavard, opfostret hos Skjalm Hvide. Skjalm Hvide var også stamfar til to jyske stormænd, der begge hed Stig Andersen med tilnavnet Marsk (Marsk Stig).

Skjalm Hvide blev stamfader til den mægtigste danske stormandsæt i middelalderen. Den benævnes "Hvide-ætten", uagtet at "Hvide" kun var et personligt tilnavn.

Hviderne ejede store jordarealer, blandt andet områder omkring Jørlunde. Slægten har finansieret udsmykningen af kirken i Jørlunde med de enestående og smukke kalkmalerier.