Я проблемы не понял, из документации:
Цитата
Qt::WA_TranslucentBackground = 120
Указывает, что виджет должен иметь полупрозрачный фон, т.е., любые непрозрачные области виджетов будут полупрозрачными, поскольку виджет имеет альфа-канал. Установка этого флага приведен к установке WA_NoSystemBackground.
В Windows виджету необходимо также установить флаг окна Qt::FramelessWindowHint. Этот флаг устанавливает или сбрасывает автор виджета.
т.е.
setAttribute(Qt::WA_TranslucentBackground);
setWindowFlags(Qt::Window | Qt::FramelessWindowHint);
либо
setAttribute(Qt::WA_TranslucentBackground);
setWindowFlags(windowFlags () | Qt::FramelessWindowHint); // Установить флажёк Qt::FramelessWindowHint
либо
setAttribute(Qt::WA_TranslucentBackground);
setWindowFlags(windowFlags () & ~Qt::FramelessWindowHint); // Сбросить флажёк Qt::FramelessWindowHint
либо
setAttribute(Qt::WA_TranslucentBackground);
setWindowFlags(windowFlags () ^ Qt::FramelessWindowHint); // Инвертировать флажёк Qt::FramelessWindowHint
Обращай внимание на название функции, Flag
s - во множественном числе, т.е. функци принимает все необходимые флажки для окна, а не один единственный.