Joseph blev gift med Lucy Luca Haynes den 25 okt. 1796 i Fairfax, Franklin, Vermont, USA. Lucy blev født den 20 sep. 1777 i Hoosick, Rensselaer, New York, USA; døde den 22 jan. 1846 i Franklin, Vermont, USA. [Gruppeskema] [Familietavle]

Familie/Ægtefælle/Partner: Ukendt. [Gruppeskema] [Familietavle]

1. Rensselaer Ellsworth blev født den 18 apr. 1805 i Fletcher, Franklin, Vermont, USA.
2. Maria Mary Ellsworth blev født i 1803 i New York, USA; døde i 1880.
3. Seymour Ellsworth blev født den 10 mar. 1814 i Fletcher, Franklin, Vermont, USA; døde den 22 okt. 1852 i Vermont, USA.
4. Sarah Jane Ellsworth blev født den 18 apr. 1807 i Fletcher, Franklin, Vermont, USA; døde i 1880 i Fletcher, Franklin, Vermont, USA.
5. Aaron Haynes Ellsworth blev født den 11 aug. 1798 i Litchfield, Herkimer, New York, USA; døde den 22 maj 1886 i Underhill, Chittenden, Vermont, USA.
6. Orsamous Ellsworth blev født den 31 jul. 1809 i Fletcher, Franklin, Vermont, USA; døde den 7 nov. 1886.
7. Prosper Ellsworth blev født den 17 feb. 1816 i Fletcher, Franklin, Vermont, USA; døde den 27 okt. 1882.
8. Prosper Ellsworth blev født den 17 feb. 1816 i Fletcher, Franklin, Vermont, USA; døde den 27 okt. 1882.