Конденсаторы желательны.
Микросхема является линейным стабилизатором, и не греться она не может (все линейные стабилизаторы имеют низкий КПД и потому греются). При указанных параметрах на микросхеме выделяется до 1.5Вт тепла, при том что максимальная рассеиваемая мощность в этом корпусе меньше 1Вт.
Решения два:
1 использовать эту же микросхему, только большего размера, тогда температура корпуса станет поменьше. В маг. Радио есть 7812С и отечественный аналог КР142ЕН8Б, выглядят так
2 использовать импульсный стабилизатор. Преимущество - почти не греется, недостаток - дороже и больше размерами. Обычно это схема размером с половину спичечного коробка. Существуют так же микросборки 10х12х8 мм, но цена не радует
http://radio18.ru/product/124276
