Skromni feudałowie szwabscy. Hohenzollernowie nie mogą poszczycić się bardzo starą metryką pochodzenia. Legenda przypisała im za przodka żyjącego ok. 800 r. hrabiego Tassilo. Pierwsi znani z imienia Hohenzollernowie wystąpili jednak w źródłach zdecydowanie później. Byli nimi Burchard i Wezil von Zolorin, odnotowani w 1061 r. w kronice mnicha benedyktyńskiego Bertholda z Reichenau. Zolorin to zniekształcona nazwa zamku Zollern, zwanego też Hohenzollern, który zbudowano w Szwabii na górze Zollernberg (855 m). Od niego właśnie wzięła się nazwa dynastii przyszłych królów Prus i cesarzy niemieckich.
Hohenzollernowie pięli się po szczeblach kariery bardzo powoli, stojąc wiernie po stronie kolejnych władców Niemiec. W latach 1127–34 wspierali cesarza Lotara III w walkach z Hohenstaufami. Po objęciu przez nich tronu w 1138 r. hrabiowie z Zollern związali się ze swymi dotychczasowymi wrogami.
Burgrabiowie norymberscy. Upragniony awans i wybicie się z szarej masy feudałów szwabskich zawdzięczali Hohenzollernowie hrabiemu Fryderykowi IV (zm. 1200/01 r.). Gorliwa służba w stronnictwie cesarza Fryderyka I Barbarossy umożliwiła mu zawarcie związku małżeńskiego z Zofią von Raabs, córką Konrada II burgrabiego Norymbergi. Kiedy ten zmarł, nie zostawiając męskiego potomka, hrabia Zollern objął po teściu w 1192 r. godność burgrabiego w Norymberdze jako Fryderyk I. Jego synowie: Fryderyk II (zm. ok. 1255 r.) i Konrad I (zm. 1260/61 r.) podzielili się posiadłościami ojca, dając początek dwom liniom dynastii: szwabskiej (Hohenzollern-Sigmaringen) i frankońskiej.