Есть готовый класс, в котором используется вывод отладочной информации с помощью qDebug()<<"отладка";
Можно ли в конструкторе этого класса как-то переопределить куда будет направлен вывод? т.к. qInstallMsgHandler можно использовать один раз то даже теряюсь в догадках...

Если внимательно посмотреть на qDebug, то он определяется вот так:

Q_CORE_EXPORT_INLINE QDebug qDebug() { return QDebug(QtDebugMsg); }

Тебе ничего не мешает переопределить qDebug в твоем классе, с перенаправлением вывода куда тебе нужно.
Просто внимательно посмотри на конструкторы QDebug...