Что надо определить в своем классе, чтобы можно было его добавить в QSet?

Класс должен позволять присваивать значение своему экземпляру, т.е. быть 'assignable data type', реализовывать оператор ==() и должна быть определена глобальная функция qHash(), принимающая экземпляр твоего класса и возвращающая хэш.
http://doc-snapshot.qt-project.org/qt5-5.4/qset.html