Стоит задача написать кросплатформенное GUI приложение, в котором будут считаться сложные формулы и рисоваться таблицы, графики и может быть понадобится 3D. Сложные формулы это чистый С++, но вот насчет GUI и прочего в принципе вроде подходит Qt, но я не совсем уверен, так как незнаком с этой библиотекой. Да и говорят она громоздкая очень и есть какие-то трудности при использовании с boost.

Может посоветуете еще что-нибудь на эту тему? Наверняка ведь есть еще какие-то библиотеки, которые можно использовать в моих целях...

Непонятно, что ты подразумеваешь под словом громоздкая?
Если то, что она весит после сборки ~2 Gb, то это ерунда. Другое мне ничего в голову не приходит.

В ней есть как возможность рисования графиков так и возможность работы с 3D, причем с хорошей и удобной документацией.

Для графиков можно попробовать испрользовать MathGL, но она вроде только для графиков. Для GUI всеравно прийдется что-то выбирать. Так как я работал и работаю с Qt, то порекомендовал бы именно ее.

Громоздкость - понятие очень неопределённое. Какие критерии?
А на счёт трудностей с boost-ом - не разу не слышал. Какого хоть плана-то. Даже представить не могу.

Вот как я понима одна из проблем: Qt + wchar_t + VS2005

НЕ только из-за того, что она весит много ее еще собирать долго.

А как насчет wxWidgets или GTK+? Может еще какие GUI библиотеки?

Это не проблема совместимости Qt & boost, а проблема несовместимости библиотек собранных с разными настройками компилятора.
Лечится аккуратным сведением настроек, что и проделал Flex Ferrum.
В случае, если пересобрать что-то с нужными настройками не удаётся, а альтернатив нет, можно нарисовать переходник, который будет нечувствителен к этим настройкам (например, в описанном случае, можно сделать переходник, собранный с настройками boost-а, который бы принимал wchar_t*, и конвертировал их в wstring)

2 hitcher
C GTK я бы не советовал связываться под виндой. Я как-то пробовал, остались довольно тяжёлые впечатления.
Можно wx, fltk - вроде хвалят.
Хотя мне кажется, что Qt таки на сегодня рулит по документированнисти, дизайну, и простате разработки.
Кстати, посмотри Qwt - специально заточенный под графики набор классов.

Tonal, ViGOur, спасибо за информацию, остановлюсь на Qt посмотрим что выйдет из этого.