Основу здания составляет огромный белокаменный четверик с глубокими нишами на боковых стенах, усиливавшими сцепление здания с насыпью валов (остаток вала сохранился к югу от Золотых ворот - Козлов вал). Проем ворот необычайно высок (уровень земли во время их постройки был ниже современного на 1,5-1,7 м). Его свод поддерживают арки, опирающиеся на плоские лопатки. Большая высота проезда, ослаблявшая обороноспособность сооружения, свидетельствует о замысле зодчих сочетать в одном здании функции торжественной триумфальной арки, вводившей на главную улицу северной столицы, и узла обороны города. На половине высоты проезда сделана арочная перемычка, к которой примыкали тяжелые створы дубовых ворот (сохранились огромные кованые петли и гнездо от засова). Они были окованы золоченой медью, поэтому и все сооружение получило название Золотых ворот. На уровне перемычки в большие квадратные гнезда были заложены мощные балки оборонительного настила, с которого воины могли обстреливать противника из луков, лить вар, спускать камни. На настил попадали по каменной лестнице в толще южной стены через арочный выход, видный в пролете ворот. Выше лестница шла на огражденную зубцами бруствера верхнюю боевую площадку с небольшой Ризоположенской церковью.

Подобные Золотым белокаменные Серебряные ворота стояли на противоположном восточном конце крепости. Они отмечали главную ось городского ансамбля – продольную улицу. Остальные семь ворот-башен города были деревянные.