Nathaniel blev gift med Adelia Ellsworth den 18 dec. 1855 i Berkshire, Franklin, Vermont, USA. Adelia (datter af Dr William Clemant Ellsworth og Pamelia Searle) blev født den 25 dec. 1839 i Berkshire, Franklin, Vermont, USA; døde den 26 nov. 1895 i St Albans, Franklin, Vermont, USA. [Gruppeskema] [Familietavle]

1. Warren Chaffee blev født den 7 aug. 1859 i Berkshire, Franklin, Vermont, USA; døde den 17 maj 1935 i Sheldon, Franklin, Vermont, USA; blev begravet i 1935 i Enosburg, Franklin, Vermont, USA.
2. Elmer Ellsworth Chaffee blev født den 21 jan. 1870 i Albany, Washington, Vermont; og døde.
3. William Clement Chaffee blev født den 10 jan. 1862 i Berkshire, Franklin, Vermont, USA; og døde.
4. Chaffee blev født den 10 jan. 1861 i Berkshire, Franklin, Vermont, USA; og døde.
5. Frances Helen Chaffee blev født den 31 aug. 1857 i Berkshire, Franklin, Vermont, USA; og døde.
6. Willia H. Chaffee blev født den 9 aug. 1859 i Berkshire, Franklin, Vermont, USA; og døde.
7. Marcia Chaffee blev født den 29 jul. 1873 i Enosburg Falls, Franklin, Vermont, USA; døde den 10 jun. 1892 i Montréal, Montréal (Urban Agglomeration), Quebec, Canada.
8. Walter Scott Chaffee blev født den 14 jul. 1864 i Berkshire, Franklin, Vermont, USA; og døde.
9. Ella Chaffee blev født den 28 jul. 1873 i Enosburgh, Washington, Vermont; og døde.