Harvey blev gift med Nancy Permelia Tanner den 18 jun. 1857. Nancy (datter af John Babcock Tanner og Esther Straight) blev født den 29 dec. 1839 i Scio, Allegany, New York, USA; døde den 8 jul. 1911 i Hartford, Van Buren, Michigan, USA. [Gruppeskema] [Familietavle]