James blev gift med Margaret Adams den 26 jun. 1759 i Claverack, Columbia, New York, USA. Margaret (datter af James Adams) blev født den 19 nov. 1743 i Voluntown, New London, Connecticut, USA; døde den 21 maj 1821 i Charleston, Montgomery, New York, USA; blev begravet i Claverack Dutch Reformed Churchyard, Claverack, Columbia, New York, United States. [Gruppeskema] [Familietavle]

1. William Robison blev født i 1764 i Fonda, Montgomery, New York, USA; døde i maj 1813 i Cobleskill, Schoharie, New York, USA.
2. James Robison, Jr blev født i 1761 i Fonda, Montgomery, New York, USA; døde i 1855 i Morgan, Illinois, USA.
3. Culbert Robison blev født i 1762 i Fonda, Montgomery, New York, USA; døde i 1850 i Morgan, Illinois, USA.
4. Susan Robison blev født i 1766 i Fonda, Montgomery, New York, USA; og døde.
5. Cyrus Robison blev født i 1769 i Charleston, Montgomery, New York, USA; døde den 18 jul. 1852 i New York, USA.
6. Joseph Robison blev født den 26 jun. 1768 i Charleston, Montgomery, New York, USA; døde den 9 jun. 1839 i Palermo, Oswego, New York, USA; blev begravet i Pine Plains Cemetery, Clay, Onondaga, New York, USA.