В 1757 році містечко купив Павло Старинський, який і заклав в Ярмолинцях костел та кляштор монахів-бернардинів. Будівництво костелу було розпочате в 1793 році, та завершене в 1862 році, коштом Орловських. Католицька парафія діяла в місті з 1850 року.

Фасад храму прикрашають шість високих напівколон. По обидва боки від входу в нішах стоять статуї святих Апостолів Петра та Павла. У верхній частині фасаду на рівні другого поверху знаходиться балкон. Храм не має традиційних для костелів шатрових веж. Бокові стіни прикрашають високі арочні вікна. Споруда хоч і не вражає розмірами, зате має величний та пишний вигляд.

Після повернення комуністів в 1944 році, храм перетворили у кінотеатр, потім у будинок культури. В 1989 році костел повернули мирянам. Храм відремонтували. Зараз це діючий храм римо-католицької громади. Костел Апостолів Петра та Павла історико-архітектурна пам'ятка місцевого значення.