Отношения с родителями мужа после развода.

Хочу попросить совета в непростой, лично, по моему мнению, ситуации.
Коротко история. Вышла замуж за разведенного мужчину (не уводила и не разводила. все произошло до меня), в том браке ребенок. 
С ребенком общался-помогал. Я, начитавшись советов психологов, всячески способствовала и одобряла общение.

Просил нашего общего, после долгих раздумий я решилась. Будучи на пятом месяце у нас начались проблемы. Бывшая жена всячески старалась его вернуть, он начал метаться. Потерпев еще два месяца и сделав все, что бы сохранить нашу семью, я поняла – нет смысла, ЕМУ не нужна НАША семья.
Я ушла, уехала в другой город. А вскоре он вернулся к ней.
С тех пор, мы не общаемся. О нашем ребенке он и слышать не хочет и не видел его НИ РАЗУ, об остальном и не говорю. Ни помощи, ни чего. Я не прошу и не буду – захочет, сам поможет. А нет… Настаивать не буду. Я работать пошла, когда сыну и 10 месяцев не исполнилось. Вместе с ребенком, не на кого его было и есть оставлять.
Но не в этом дело.
И вот теперь дилемма. Бывшие свекры хотят общения с внуком, моим сыном. 
То есть я иногда езжу в тот город, там у меня самая близкая подруга живет. Останавливаюсь у нее. Но свекры хотят, чтобы мы у них останавливались. И чтобы ребенок у них жил. 
Но бывший муж и его первая жена против этого. К тому же, мне самой эта ситуация неприятна. Я не пытаюсь его вернуть, умер - значить умер. Но общение со свекрами
создает непростую для меня ситуацию. И боюсь, что мой ребенок со временем начнет комплексовать по этому поводу. 
Хотелось бы получить советы людей, кто был или есть в подобной ситуации.
Не хочу обижать бывших свекров тем, что не хочу с ними общаться. Они хорошие люди и не виноваты, что вот так вот у нас сложилось. Но и общение с ними мне в тягость. Тем более, бывший муж не желает знать о ребенке и вообще, отказался от него.