Нужно после добавления/удаления элемента, изменять размеры всего окна.
Добавили - увеличилось, убрали - уменьшилось.
И не через resize(), а что бы оно само рассчитывало, так как элемент может быть любых размеров.

Блин! Вопрос снят.
Виджеты добавлялись на QScrollArea и ясное дело само окно не меня своего размера.