Jak wiemy, pierwszej próby chrystianizacji Prus podjął się w 997 r. św. Wojciech. Potem było jeszcze kilka nieudanych wypraw. Ponieważ jednak Polacy nic nie wskórali, a Prusowie i Litwini często najeżdżali ich ziemie, Konrad Mazowiecki sprowadził do Polski w 1226 r. specjalistów. Dla zakonników w zbrojach i z czarnymi krzyżami na płaszczach, których właśnie wygnano z Węgier, gdzie nawracali Połowców, była to doskonała możliwość wykazania się w walce z pogaństwem i budowy własnej potęgi.
Według „Kroniki ziemi pruskiej” – napisanej w początkach XIV w. przez kapłana zakonu Piotra z Duisburga – pierwszą siedzibą Zakonu Krzyżackiego na terenie ziem polskich był Vogelsang. Ten gród na lewym brzegu Wisły, naprzeciwko Torunia, podarował krzyżakom Konrad Mazowiecki. Z niego w 1231 r. ruszyło za Wisłę, ku Prusom, siedmiu rycerzy kierowanych przez Hermana Balka, którzy zakładali kolejne miasta, osady i warownie. Ich lokacja na prawie chełmińskim umożliwiała ściągnięcie osadników z Niemiec, ale też dawała mieszczanom niezależność i samorządność.
W ciągu 150 lat powstał wieloetniczny, zarządzany przez zakonników, twór państwowy z licznymi ośrodkami miejskimi, z 480 tys. mieszkańców (200 tys. było pochodzenia niemieckiego, 140 tys. słowiańskiego i tyle samo pruskiego). Przez cały XIII w. do kamienno-ceglanych warowni i zamków zjeżdżało rycerstwo z całej Europy, by wziąć udział w kolejnych rejzach przeciwko poganom.
W 1237 r. krzyżacy połączyli się z Zakonem Inflanckim, przejmując ich ziemie na Łotwie i w Estonii.