開元寺始建于東魏興和二年（540年），寺內(nèi)現(xiàn)存主要建筑為三門樓、天王殿、須彌塔、鐘樓和法船殿遺址。其主殿在后，鐘樓、須彌塔于殿前左右對峙的布局則是唐代佛教寺院建筑布局的典型實例，在我國建筑史上占有重要地位。2006年由國務院公布為全國重點文物保護單位。

三門樓位于寺院最南端，建于唐如意年間（692年），是出入開元寺必經(jīng)之路口。整座建筑雄壯豪放，體現(xiàn)了盛唐時期的建筑風格。令人稱奇的是，在三門樓的石柱上鐫刻有佛經(jīng)、佛像、供養(yǎng)人像、贊語和題名等，具有較高的歷史、藝術、科學價值。

須彌塔位于法船殿遺址前西側(cè)，始建于唐貞觀十年（636年）。高42.5米，是一座磚石結(jié)構(gòu)九級密檐式方塔。第一層正面辟拱券門，門楣上端嵌“須彌峭立”石額。二層以上塔身漸收，并于正面開一方形小窗，頂端塔剎，磚砌剎座，中間雕仰蓮，金屬剎桿，裝四寶珠。形式古樸，穩(wěn)重端莊，外形與西安大雁塔相似。雖經(jīng)明代大修，仍保持明顯的唐塔風格。2005年，對塔進行了加固和局部維修，此次維修在塔剎寶珠內(nèi)發(fā)現(xiàn)金銀器、玉器、銅器、瑪瑙、絲、絹、經(jīng)書等各類文物千余件。

鐘樓與須彌塔相對而立，是一座平面呈正方形歇山頂式二層樓閣建筑，面闊進深皆為三間，四周有臺明環(huán)繞，在結(jié)構(gòu)上保持著早期建筑古樸莊重的風格，是我國現(xiàn)存唯一的一座唐代鐘樓。鐘樓上懸鐘一口，造型古樸，亦為唐代遺物。

2000年，將五代時期成德軍節(jié)度使安重榮紀功殘碑移至開元寺內(nèi)保存。該碑出土于城內(nèi)府前街，其巨型赑屃碑座長8.4米，寬3.2米，高2.6米，殘重107噸，實屬罕見，堪稱“國內(nèi)第一”。