Скорее всего там что то вроде алгоритма брезенхэма. Только учтите, что нужно помножить все это на ширину кисти, тип линии, сглаживание и блендинг. Так что не думаю что есть простой способ узнать.
Если вы хотите проверять позицию курсора мыши, то вам проще будет переопределить mousePress/ReleaseEvent.
Если сделать маску, то рисуйте например QPainter::CompositionMode_DestinationOut сначала opaque прямоугольник, а потом прозрачной кистью линию, получится маска(не проверял, мысленный эксперимент
) .
В общем задача сложная, возможно вашу задачу можно решить по другому?