他说爱我，说为了我可以跟他老婆离婚(为什么他说爱我)

我们都是有婚姻的人。他一直说爱我，说为了我回去跟他老婆离婚。我爱上了他，可无法越过婚姻道德的坎把自己给他。每次独处的时候他都对我发出邀请，我拒绝他也不放手，甚至用强的也想跟我发生关系，可到最后都会顾及我的感受放开我。我是那么的深信他也是真的爱我的，等我结束婚姻后就可以名正言顺的在一起了。可现在他回去了以后却很少给我消息了。微信也只有他找我时才能聊天。电话也只能他打给我。很想主动跟他联系。却很怕跟主动跟他联系了被她老婆发现怕坏他们的感情。我想我是不是错了？是不是该放手了？