Со второго раза тоже не подключается? При первом подключении жаба может задавать вопросы и в результате такая ошибка возникает, но со второго раза нормально.
Безопасность в жабе настроена?

Есть еще варианты:
1) обновить, в 3.3 есть NoVNC, работает без проблем
2) через консольку поднять VNC )