Na rogu nowojorskiej Madison Avenue i Trzydziestej Szóstej ulicy, przecznicę od obecnej siedziby polskiego konsulatu, mieści się kompleks budynków z różnych epok, niedawno połączonych według projektu Renzo Piano. Niegdyś stał tam pierwszy prywatny zelektryfikowany dom mieszkalny w Nowym Jorku, rezydencja jednego z najbogatszych i najpotężniejszych finansistów Stanów Zjednoczonych. Po jego śmierci, w latach 20. XX w. dom zburzono, żeby powiększyć wciąż rozrastającą się bibliotekę właściciela. Już na początku wieku z trudem mieściła imponujące zbiory starodruków, rękopisów i inkunabułów (w tym aż trzy egzemplarze Biblii Gutenberga), szkiców (m.in. Leonarda da Vinci, Michała Anioła, Dürera), a także jeden z największych na świecie zbiorów pieczęci cylindrycznych z Mezopotamii. W latach 1902–06 w nieco bombastycznym, ale obowiązującym wówczas stylu Beaux-Arts obok domu wzniesiono osobny budynek biblioteki. Szacuje się, że w ciągu ostatnich 20 lat życia kolekcjoner wydał na swoje zbiory ok. 60 mln dol., czyli ok. 900 mln dzisiejszych.
Były to imponujące kwoty, ale John Pierpont Morgan – dla przyjaciół po prostu Pierpont, a na nowojorskich ulicach znany jako Jowisz – nie mógł narzekać na brak pieniędzy. Był człowiekiem instytucją, najpotężniejszym bankierem w kraju i współwłaścicielem U.S. Steel, pierwszej korporacji na świecie o wartości ponad miliarda ówczesnych dolarów, czyli dwukrotnie więcej niż cały ówczesny budżet Stanów Zjednoczonych. Zazwyczaj inwestował z zyskiem, np. współfinansując wynalazki Edisona i pomagając mu stworzyć General Electric (przez jakiś czas łożył także na Nicola Teslę, ale uznał, że biznes nie rokuje), choć zdarzało mu się też podejmować błędne decyzje, np. inwestycje w linie żeglugi transoceanicznej (White Star Line, która zwodowała „Titanica”, należała pośrednio do Morgana, a on sam miał bilet na dziewiczy rejs transatlantyku).