Thomas Whaley, de origine scoțiană-irlandez, sa născut pe 05 octombrie 1823 în New York City, al șaptelea copil într-o familie de zece. După preluarea relații de afaceri de succes ale tatălui său, Whaley a părăsit New York, la 1 ianuarie, 1849. În timpul goana dupa aur din California, a ajuns în San Francisco, unde a angajat în afaceri. Apoi el a plecat și a ajuns în San Diego, în septembrie 1851. După ce a trăit în San Diego, timp de doi ani, sa întors la Whaley New York să se căsătorească Anna Eloise Delaunay pe 14 august, 1853. Împreună au început o viață nouă în California, San sosirea în Diego pe 7 decembrie, 1853. La 22 august 1857 a Whaleys mutat în casa lor fin construit, acum cunoscut sub numele de Casa Whaley. Thomas Whaley Thomas si Anna Whaley a avut șase copii, Francis Hinton, Anna Amelia, Thomas Whaley Jr, George, violet, și Corinne Lillian. Francis a fost primul, născut la 28 decembrie 1854 și a fost numit dupa un partener de afaceri. Thomas Whaley Jr. sa nascut la 18 august, 1856. El a suferit de la Scarlet Fever la 18 luni și a murit pe 29 ianuarie, 1858 in Casa Whaley în Orașul Vechi. Anna a dat naștere la Anna Amelia Whaley la 27.06.1858.