Joel blev gift med Amy Delphia Sanford den 2 maj 1876 i Menasha, Winnebago, Wisconsin, USA. Amy (datter af Burritt Fisher Sanford og Sarah Margaret Ann Hart) blev født den 11 mar. 1855 i Plover, Portage, Wisconsin, USA; døde den 30 apr. 1909 i Philadelphia, Pennsylvania, USA; blev begravet i Cabot, Washington, Vermont, USA. [Gruppeskema] [Familietavle]

1. Carl Clifford Harvey blev født den 31 jan. 1886 i Plover, Portage, Wisconsin, USA; døde den 17 okt. 1977 i Middletown, Middlesex, Connecticut, USA.
2. Ira Harvey blev født den 25 jan. 1880 i Plover, Portage, Wisconsin, USA; døde den 11 feb. 1880.
3. Alice Luella Harvey blev født den 12 apr. 1888 i Plover, Portage, Wisconsin, USA; døde den 4 feb. 1945.
4. Josephine Grace Harvey blev født den 8 okt. 1880 i Plover, Portage, Wisconsin, USA; døde den 8 feb. 1924 i Santa Clara, Santa Clara, California, USA; blev begravet i Berkeley, Alameda, California, USA.