Niepiśmienny biedak. Jego życie było spełnieniem amerykańskiego snu: dziecko biednych farmerów awansowało na najwyższe stanowisko w państwie. Historia oceniła go jednak bardzo surowo. Millard Fillmore uchodzi za prezydenta, który nie sprostał wyzwaniom swoich czasów. Urodził się w styczniu 1800 r. na niewielkiej farmie w stanie Nowy Jork. Był najstarszym z ośmiorga dzieci Nathaniela i Phoebe Fillmore’ów. Kiedy miejscowy sukiennik zaproponował im 30 dol., aby oddali mu Millarda jako pomocnika, zgodzili się, licząc, że syn zdobędzie w ten sposób zawód. Fillmore opowiadał później, że zmuszano go do pracy od rana do wieczora, a jego położenie nie różniło się wiele od sytuacji niewolnika. Po miesiącach harówki wykupił się od sukiennika i wrócił na rodzinną farmę.
Pisać i czytać nauczył się bardzo późno, pierwszy podręcznik zobaczył na oczy dopiero w wieku 17 lat, ale potem spędzał każdą wolną chwilę nad książkami. Jego ambicja zwróciła uwagę starszej o dwa lata nauczycielki Abigail Powers, która pożyczała mu książki i zachęcała do tego, by został prawnikiem. Oboje zbliżyli się do siebie i zaręczyli w 1819 r. Para wzięła ślub w 1826 r. Tymczasem Fillmore’owi dopisało szczęście. Napotkał na swojej drodze miejscowego sędziego, Waltera Wooda, który zatrudnił go w charakterze sekretarza w swojej kancelarii. Po jakimś czasie przeniósł się do Buffalo, gdzie w 1823 r. zdał egzamin prawniczy i mógł rozpocząć swoją praktykę.
Antymason. Pierwsze polityczne kroki stawiał jako członek Partii Antymasońskiej – duża część opinii publicznej traktowała wolnomularzy jako źródło wszelkiego zła. To z jej ramienia wybrano Fillmore’a do legislatury stanu Nowy Jork. Miał wszelkie zadatki na polityka: był wysoki, postawny i składnie się wysławiał.