Права на ребенка

1. При Вашей смерти
2. По суду
3. При вашем личном желании.

1 вариант - органы опеки будут контролировать где будет проживать ребенок с бабушкой или с отцом в любом случае без контроля ребенок не останется.
2 случай при подаче иска от "отца" суд должен будет проводить разбирательства. Судимости они в минус "отцу" , вам в минус могут пойти отсутствие работы, жилья ну и нормальных условий проживания ребенка. Хронические заболевания (алкоголизм,наркомания, психиатрические расстройства) при их наличии.
3 случай - не ваш вариант, но так тоже бывает по обоюдному согласию.

Вероятно есть еще варианты но не думаю. Все это возможно если он официально признан отцом,а не просто у ребенка его фамилия. Если отцом не признан то ему еще предстоит пройти процедуру установления отцовства.