Мать, Маргарет, эмигрантка из Шотландии, преподавала в школе для жителей небогатой части Манхеттена. Отец, Амрам Духовны, также родом из Нью-Йорка (Бруклина), еврей российского происхождения, публицист и автор нескольких книг. Родители развелись, когда Дэвиду было 11 лет. Брат — Дэниел, сестра — Лори.