Samual blev gift med Harriett Howard den 31 jul. 1803 i Cambridge, Middlesex, Massachusetts, USA. Harriett (datter af Samuel Howard og Anna Lillie) blev født den 27 mar. 1782 i Boston, Suffolk, Massachusetts, USA; døde den 28 jul. 1847 i Cambridge, Middlesex, Massachusetts, USA; blev begravet i Mount Auburn Cemetery, Cambridge, Middlesex, Massachusetts, USA. [Gruppeskema] [Familietavle]

1. Maria D. Fay blev født den 6 jun. 1820 i Cambridge, Middlesex, Massachusetts, USA; døde den 15 feb. 1890.
2. Eliza Davis Fay blev født den 6 mar. 1825 i Cambridge, Middlesex, Massachusetts, USA; døde i 1885 i Burlington.
3. Joseph Story Fay blev født i 1810 i Boston, Suffolk, Massachusetts, USA; og døde.
4. Charles Fay blev født den 21 jul. 1808 i Cambridge, Middlesex, Massachusetts, USA; døde i okt. 1888 i Chicago, Cook, Illinois, USA.
5. Richard Fay blev født den 15 jun. 1806 i Cambridge, Middlesex, Massachusetts, USA; og døde.
6. Harriet H. Fay blev født den 22 apr. 1810 i Cambridge, Middlesex, Massachusetts, USA; døde den 29 mar. 1885.
7. Samuel Howard Fay blev født den 21 jul. 1804 i Cambridge, Middlesex, Massachusetts, USA; døde den 16 aug. 1847 i Brooklyn, , New York, USA.