你文中这句“应考虑对方的意图来回答这个はい或いいえ。”就已经是很好的答案了。
具体来讲的话,这个问句根据语气,可以有两个意思。
如果是“他不是男人,对吗?”这个意思,那就该回答“对,他不是男人。”
如果是“他难道不是个男人吗?”(反问表肯定=他就是个男人呀)这个意思,那就该回答“不,他不是男人。”
私は学生です。彼も学生です。
如果并成一句,就成了 私は学生で、彼も学生です。
没有查过专业的语法书,但个人觉得题主例句中的で和我举得例子是同一个作用,中顿。
在这里,完全可以在で的后面加一个逗号,以更加突出中顿。