Надо написать программу (на Qt, возможно с использованием WinAPI), которая бы запускала другое GUI приложение, и управляла бы им (нажимала на кнопки, и т.д.) Такое возможно? Куда копать?)

Вроде бы средствами Qt это нельзя сделать. Похожая тема уже пробегала на форуме.

Копать в сторону AutoIt или AutoHotkey - быстрее результат получится.

в WinAPI делается относительно несложно, если ID контролов не динамические