Строителството на Белия дом във Вашингтон, D.C., започва през 1792г. През 1800 г. президентът Джон Адамс е първият президент, който влиза в Изпълнителното имение и оттогава е рехабилитиран, реновиран и възстановяван многократно. Белият дом е признат по целия свят като дом на президента на Америка и символ на американския народ. Но подобно на нацията, която представлява, първото имение на Америка е изпълнено с неочаквани изненади.
По време на Война от 1812г, САЩ изгориха сградите на Парламента в Онтарио, Канада. Така през 1814 г. Британската армия отмъщава от подпалвайки голяма част от Вашингтон, включително Белия дом. Вътрешността на президентската структура беше разрушена, а външните стени бяха овъглени зле. След пожара президентът Джеймс Мадисън живее в Октагонова къща, която по-късно служи като щаб на Американския институт на архитектите (AIA). Президент Джеймс Монро се премества в частично реконструирания Бял дом през октомври 1817г.
На Бъдни вечер 1929 г., малко след като САЩ изпаднаха в дълбока икономическа депресия, в Западното крило на Белия дом избухна електрически пожар. Огънят изкорми изпълнителните служби. Конгресът одобри спешни средства за ремонт, а президентът Хърбърт Хувър и неговият персонал се преместиха на 14 април 1930 г.
Когато архитектът Пиер Чарлз Л'Енфант изготвя първоначалните планове за Вашингтон, D.C., той призова за сложен и огромен президентски дворец. Визията на L'Enfant беше отхвърлена и архитектите Джеймс Хобан и Бенджамин Хенри Латробе проектираха много по-малък, по-скромен дом. Все пак Белият дом беше велик за своето време и най-големият досега в новата нация. По-големите домове не са строени чак след Гражданската война и възхода на Имения от позлатена епоха. Най-големият дом в Съединените щати е този от този период, Biltmore в Ашевил, Северна Каролина, завършен през 1895 година.
Крайъгълният камък на Белия дом е положен през 1792 г., но къща в Ирландия може би е била моделът за неговия дизайн. Имението в новата американска столица е построено с помощта на рисунки на родения в Ирландия Джеймс Хобан, който е учил в Дъблин. Историците смятат, че Хобан е базирал дизайна на Белия дом на местна резиденция в Дъблин, Къщата Ленстър, домът на грузинския херцог в грузински стил. Къщата Ленстър в Ирландия сега е седалище на ирландския парламент, но преди това вероятно вдъхнови Белия дом.
Белият дом е преустроен многократно. През началото на 1800 г. президентът Томас Джеферсън работи с родения в Британия архитект Бенджамин Хенри Латроуб върху няколко допълнения, включително колонадите на Източното и Западното крило. През 1824 г. архитектът Джеймс Хобан ръководи добавянето на неокласическа "веранда" въз основа на планове, които Latrobe е изготвил. Елиптичният южен портик изглежда огледало Шато де Растиняк, елегантна къща, построена през 1817 г. в Югозападна Франция.
Земята, която стана Вашингтон, D.C., е придобита от Вирджиния и Мериленд, където се практикува робството. Историческите доклади за заплати документират това много от работниците, наети за изграждането на Белия дом, бяха афро-американци- някои свободни и някои роби. Работейки редом с бели работници, афроамериканците режат пясъчник в кариерата в Аква, Вирджиния. Те също изкопаха фундаментите за Белия дом, изградиха основите и изстреляха тухли за вътрешните стени.
Белият дом не би могъл да бъде завършен без европейски занаятчии и имигранти. Шотландските каменоделци издигнаха стените на пясъчника. Занаятчиите от Шотландия също издълбаха украшенията от роза и гирлянди над северния вход и шарките, разположени под фронтоните на прозореца. Ирландските и италианските имигранти вършеха тухли и мазилки. По-късно италианските занаятчии издълбаха декоративните каменни зидове върху портиците на Белия дом.
Президентът Джордж Вашингтон избра плана на Джеймс Хобан, но смяташе, че той е твърде малък и прост за президент. Под надзора на Вашингтон планът на Хобан беше разширен и Белият дом получи голяма приемна, елегантни пиластри, качулки за прозорци и каменни тампони от дъбови листа и цветя. Но Вашингтон никога не е живял в Белия дом. През 1800 г., когато Белият дом беше почти завършен, вторият президент на Америка, Джон Адамс се преместиха. Съпругата на Адамс Абигейл се оплакаха от недовършеното състояние на президентския дом.
Първоначалните строители на Белия дом не обмисляха възможността за президент с увреждане. Белият дом не се превърна в инвалидна количка достъпен до Франклин Делано Рузвелт встъпи в длъжност през 1933г. Президентът Рузвелт живееше с парализа поради полиомиелит, така че Белият дом бе преустроен, за да се настани в неговата инвалидна количка. Франклин Рузвелт също добави отопляем закрит басейн, за да помогне за терапията му. През 1970 г. плувният басейн е покрит и се използва като зала за брифинг в пресата.
След 150 години дървените подпорни греди и външните носещи стени на Белия дом бяха слаби. Инженерите обявиха сградата за опасна и казаха, че тя ще се срути, ако не бъде ремонтирана. През 1948 г. президентът Труман е изкопал вътрешните помещения, за да могат да се монтират нови стоманени носещи греди. По време на реконструкцията труманите живееха от другата страна на улицата в Блеър Хаус.
Белият дом е наречен много имена. Доли Медисън, съпруга на Президентът Джеймс Медисън, нарече го „замъкът на президента“. Белият дом беше наричан още „Дворецът на президента“ „Президентската къща“ и „Изпълнителното имение“. Името "Белият дом" стана официално едва 1901 г., когато Президент Теодор Рузвелт официално го прие.
Създаването на годни за консумация Бял дом се превърна в коледна традиция и предизвикателство за официалния готвач на сладкиши и екип от пекари в Белия дом. През 2002 г. темата беше „Всички същества големи и малки“ и с 80 килограма джинджифил, 50 килограма шоколад и 20 килограма марципан Белият дом беше наречен най-доброто коледно сладкарство всякога.
Белият дом е изграден от пясъчник в сив цвят от кариера в Акия, Вирджиния. Северният и южният портик са изградени с червен пясъчник Сенека от Мериленд. Стените от пясъчник не бяха боядисани в бяло, докато Белият дом не беше реконструиран след британските пожари. Нужни са 570 галона бяла боя, за да покрие целия Бели дом. Първото използвано покритие е направено от оризово лепило, казеин и олово.