Храм Воздвижения Креста Господня был построен середине XVII века, около 1658 года, на месте прежнего, возведенного в древнем кремле города Романова, ныне именуемого Тутаевым. Около 1283 г. была заложена соборная церковь во имя Воздвижения Креста Господня на левом берегу реки, «супротив Борисоглебской стороны». Первым строителем Кремля был угличский князь благоверный Роман Владимирович Святой.
Первоначально соборный храм был деревянным, как и окружавшие его стены кремля. Высокий земляной вал с двух сторон, крутые берега Волги и прилегающего оврага, надвратные и угловые башни составляли мощь крепости, защищали собор.
Смута XV века, разгоревшаяся из-за споров о великом княжении между князем московским
Василием Темным и его сродниками
Василием Косым и
Дмитрием Шемякой, прошлась и по Ярославскому княжеству. Тогда же видимо и был разрушен и романовский детинец.
Ныне существующий Каменный соборный храм был воздвигнут на месте утраченного древнего деревянного храма во имя Воздвижения Креста Господнего. Уже к 1658 году каменный Крестовоздвиженский собор имел две шатровни, колокольню, паперть и престолы во имя Введения Богородицы во храм и во имя иконы Смоленской Богоматери.
Как и Воскресенский собор на Борисоглебской стороне, Крестовоздвиженский на Романовской становился средоточием духовной жизни города Романова. Собор отличался несколько меньшими размерами и меньшей насыщенностью декора фасадов.
Вплотную придвинутые к крепостному валу восточный и северный фасады декорированы скупо, а выходящий к городу юго-восточный придел, украшен с изяществом и пышностью.
Четырёхстолпный храм без подклета увенчан пятью мощными луковичными главами. Спокойный массив основного объёма здания в верхних частях заканчивает сложный рисунок пяти глав и трёх шатров, отличающихся разнообразием очертаний и вместе с тем чёткостью ритмической организации.
С трёх сторон храм окружали невысокие галереи-паперти и два придела, завершённые декоративными шатрами, с шатровой колокольней середины ХVII века. Прясла стен собора, расчленённые простыми гладкими лопатками и полуциркульными окнами, завершали красиво прорисованные полукружия закомар. Впоследствии закомары были включены в четырёхскатную кровлю, покрывшую храм.
В 1992 году собор возвращен Русской Православной Церкви, а с 2000 года он является действующим храмом и обрел своего настоятеля - игумена Антония.