можно ли задать в QTreeWidget собственную функцию сортировки(так как при сортировке надо учитывать не только текст итемов)?

можно создать дополнительный скрытый столбец, по значениям которого и будет сортироваться.

Вроде бы можно:
http://lists.trolltech.com/qt4-preview-fee...ead00499-0.html

Вот еще ссылка http://www.prog.org.ru/index.php?topic=5437.msg24406.

виртуальный operator < какраз то что надо.