Спор о разводе

У меня двое детей 2 и 4 года. Когда родился первый ребенок, мы жили у мужа с его родителями, потом у моей мамы. Потом со своими родственниками я разругалась и снова переехали к нему жить. Затем родился второй ребенок, он был еще маленький, муж уговорил снять квартиру, сняли, жили вдвоем, детей я плстоянно навещала. Сейчас с мужем будем разводиться, он и свекровь говорят, что детей мне никто не отдаст, т.к. я за ними не ухаживала. На самом ли деле их могут оставить отцу?