Zbudowany tuż przed bitwą pod Grunwaldem zamek w Bytowie należał do najnowocześniejszych i najlepiej uzbrojonych w tych okolicach. Broniły go mury trzymetrowej grubości, wielkie bombardy na kamienne kule i siedem mniejszych dział. Poprowadzone w murach telefony akustyczne pozwalały wydawać komendy na odległość. Krzyżacy jednak nie pobyli tu długo.
Po wojnie trzynastoletniej (1454–1466) zamek przeszedł we władanie książąt zachodniopomorskich – Gryfitów. Za ich czasów dobudowano nie tylko renesansowy Dom Książęcy, ale także Dom Wdów. Nazwa stąd, że jego pierwszą mieszkanką była księżna Zofia, wdowa po księciu Franciszku I, potem zamieszkała tam Anna de Croy. Ich portrety można obejrzeć w miejscowym muzeum. Zamek mocno ucierpiał podczas potopu szwedzkiego. Padła wówczas baszta prochowa. Odbudowano ją dopiero w czasach współczesnych.
Skąpiec i idiota
Baszta wschodnia przez wieki nosiła nazwę: wieża idioty. W XV w. bytowski komtur, którego imię historia litościwie zapomniała, stracił w bitwie ukochanego konia, czarnego ogiera bojowego. Kazał zabrać go z pola bitwy i pochował przy wschodniej wieży. Odwiedzał grób każdego dnia, a potem przeprowadził się do wieży. W końcu zwariował, sam zaczął rżeć i wierzgać jak koń. Knechci śmiali się za jego plecami, bo otwarta drwina groziła ścięciem. Jeden z nich wpadł na wyrafinowany pomysł. Też zaczął udawać ogromny żal po stracie konia, czym zyskał przywileje, a dodatkowo poniżył szefa. Zaproponował mu bowiem, by basztę nazwać Rossgartenturm – wieżą końskiego ogrodu. Zaśmiewało się całe miasto, bo słowo Ross ma dwa znaczenia: rumak, ale potocznie też: idiota. Nazwa: wieża idioty, jak zaczęto ją w skrócie nazywać, przetrwała nawet w XVII-wiecznym planie zamku. Po II wojnie źle ją przetłumaczono i wyszła wieża różana.