相传吐蕃第七代君主止贡赞普曾在此修建王宫,称之为“香波孜阿”城堡,距今有2000多年的历史,后来藏传佛教觉囊派创始人笃补巴大师(1292-1361)亲临此地。发现紫金山显现出香巴拉神宫之幻影,预言其高徒聂温贡嘎贝(1285-1379)将来此建寺布道。1904年,第二次英国侵藏战争期间,英军攻占了紫金寺的后山头。噶西拉木的英军突然出现在紫金寺前发动攻击,同时后山的英军也向下冲向紫金寺。英军通过密集的炮火摧毁了紫金寺。
江孜县紫金寺位于西藏自治区日喀则地区江孜县紫金乡,附近标志性建筑有白居寺、帕拉庄园、札德日、拉孜尼姑寺等;