นักโบราณคดีสันนิษฐานกันว่า น่าจะสร้างหลังเจดีย์พระบรมธาตุเล็กน้อยไม่ก่อนนี้แน่ ก็คงอยู่ในราว พ.ศ. 1800 ถึง 1900 คนที่สร้างก็คงจะเป็นผู้มีบารมีหรือกลุ่มคนจำนวนมากจึงสร้างเจดีย์ขนาดใหญ่อย่างนี้ได้ อาจจะเป็นพวกชาวลังกาที่เป็นทั้งภิกษุและฆราวาส ทั้งช่างฝีมือบางส่วนเป็นชาวลังกา ร่วมกับคนท้องถิ่นทำการก่อสร้าง เพราะงานสถาปัตยกรรมเป็นแบบอย่างลังกา ซึ่งชาวท้องถิ่นนครแต่เดิมไม่ได้สร้างเจดีย์รูปทรงอย่างนี้ อีกอย่างพุทธศาสนาที่เผยแผ่ขณะนั้นเป็นลัทธิลังกาวงศ์ มีความเฟื่องฟูเป็นอย่างมากในนครศรีธรรมราช (สุธรรม ชยันต์เกียรติ, 2566, น. 56-57)

ในตำนานหนึ่งที่เกี่ยวกับการสร้างเจดีย์นี้ เล่าว่า เมื่อครั้ง “พระเจ้าศรีธรรมาโศกราช” จะสร้างเจดีย์พระบรมธาตุ มีพวกยักษ์ (มากันเป็นพวกคงหลายตนแน่) เข้ามาท้าพระเจ้าศรีธรรมาโศกราชสร้างพระเจดีย์แข่งกัน มีกติกาว่าโครงสร้างเจดีย์ได้สวยกว่า และสร้างเสร็จก่อนจะเป็นผู้ชนะ แต่ก็มีกติกาว่า (เอาเปรียบอยู่แล้ว) หากทีมยักษ์แพ้ ก็จะไม่ขัดขวางการสร้างบ้านสร้างเมืองของพระเจ้าศรีธรรมาโศกราช รวมทั้งการสร้างพระบรมธาตุเพื่อเป็นหลักบ้านหลักเมืองด้วย แต่ถ้าพระเจ้าศรีธรรมาโศกราชสร้างแพ้ พวกยักษ์ก็จะจับพลเมืองและพระเจ้าศรีธรรมาโศกราชกินให้หมด เอาเป็นว่าถ้ายักษ์แพ้ก็จะจากไปเฉยๆ แต่ถ้าชนะกินอิ่มหลายมื้อเลยแหละ ผลการแข่งขันพระเจ้าศรีธรรมาโศกราชมีพระบุญญามารมีมากกว่า ประกอบกับอภินิหารแห่งพระบรมสารีริกธาตุของพระพุทธเจ้า รวมทั้งความร่วมแรงร่วมใจของชาวนครจึงสร้าง “เจดีย์พระบรมธาตุ” เสร็จเรียบร้อยก่อน แถมยังสวยงามกว่า ใหญ่โตกว่าเยอะ คะแนนชนะขาด ฝ่ายยักษ์เมื่อสร้างใกล้จะเสร็จ รู้ว่าตัวเองแพ้แน่นอนแล้ว (ไม่รู้ว่าใครเป็นกรรมการ) ก็เกิดโมโหโกรธา กระทืบเท้าดังสนั่นหวั่นไหว กระโดดถีบยอดเจดีย์หักกระเด็นไปไกลหลายสิบเส้น (ปัจจุบันยังมีกองอิฐกองอยู่บริเวณโรงพยาบาลนครคริสเตียน) พวกยักษ์เกิดความอับอายหลบลี้หนีหน้าไป ด้วยประการฉะนี้ ชาวบ้านจึงเรียกเจดีย์นี้ว่า “เจดีย์ยักษ์” แต่ก็มีบางคนเรียก “เจดีย์หัก” ด้วยยอดของเจดีย์ได้หักออกไป

ข้อสันนิษฐานแต่ต้นว่าผู้สร้างจะเป็นชาวลังกา เมื่อมามีตำนานเกี่ยวกับยักษ์ก็น่าสนใจ เพราะชาวลังกาบางกลุ่มก็มี “พวกทมิฬ” อยู่ด้วย พวกทมิฬจะมีรูปร่างใหญ่ ผิวดำ ผมหยิก หน้าตาดุ (ปัจจุบันคงมีหลงเหลืออยู่บ้าง) คนนครก็เปรียบเทียบให้เป็นพวกยักษ์ไป เพราะรามเกียรติ์ก็บอกว่ายักษ์อยู่ที่ลงกา (เดาเอาว่าน่าจะเป็นลังกา) แล้วมาผูกเป็นเรื่องราวเล่าขาน จนเป็นตำนานจวบจนปัจจุบัน

เจดีย์ยักษ์มีความสูงใหญ่ใกล้เคียงกับเจดีย์พระบรมธาตุ รูปทรงอย่างลังกาเหมือนกัน มีความงดงามเป็นศรีสง่าราศีของชาวเมืองนคร ก็ช่วยๆ กันดูแลหวงแหนสมบัติของบรรพชนของเรา ยักษ์สร้างคนสร้างก็เป็นของชาวนครเหมือนกัน (สุธรรม ชยันต์เกียรติ, 2566, น. 57-58)

และในอีกตำนานเล่าว่า เจดีย์ยักษ์มีความเกี่ยวโยงสัมพันธ์กับการสร้างองค์พระบรมธาตุเจดีย์เมืองนครศรีธรรมราชว่า ในขณะที่พระเจ้าศรีธรรมาโศกราชกำลังอำนวยการให้สร้างองค์กระบรมธาตุเจดีย์อยู่นั้น ยักษ์ตนหนึ่งเข้ามาทำเกเรหมายจะเที่ยวจับกินผู้คนในเมืองเป็นอาหาร ชาวเมืองจึงได้พากันวิงวอนต่อยักษ์ว่า ขอให้ทำพระธาตุเสร็จก่อนแล้วจะยอมให้กิน แต่ได้มีชาวเมืองคนหนึ่งร้องท้าทายกับยักษ์ตนนั้นในทำนองให้มาสร้างเจดีย์แข่งกัน โดยชันชีเป็นเงื่อนไขว่า หากยักษ์เป็นฝ่ายชนะ ชาวเมืองจะยอมให้จับกินได้ตามใจชอบ แต่หากยักษ์พ่ายแพ้จะต้องออกจากเมืองนครศรีธรรมราชไป และจะไม่เข้ามายุ่งเกี่ยวรังควาญในการสร้างองค์พระบรมธาตุเจดีย์อีก เมื่อตกลงกันแล้วทั้งสองฝ่ายก็แยกย้ายกันสร้างเจดีย์ของตน ยักษ์ผู้มีกำลังมากใช้เวลาไม่นานก็สร้างขึ้นเป็นรูปเป็นร่างใกล้จะเสร็จ ฝ่ายชาวเมืองเมื่อเห็นอย่างนั้นก็คิดอุบายทำโครงไม้ไผ่ขึ้นเป็นรูปเจดีย์แล้วใช้ผ้าขาวขึ้นห่มคลุม ยักษ์มองจากระยะไกลสำคัญว่าชาวเมืองทำเสร็จก่อนก็บันดาลโทสะเตะถูกส่วนยอดของเจดีย์ตนเองจนหักลอยละลิ่วตกยังทุ่งหยาม ด้วยความอับอายยักษ์ตนนั้นก็วิ่งหนีออกจากเมืองนครศรีธรรมราชไปโดยไม่กลับมาอีกเลย ฝ่ายชาวนครศรีธรรมราช ได้สร้างองค์พระบรมธาตุเจดีย์จนเสร็จสมบูรณ์ โดยได้ถือเอาเหตการณ์ที่เคยใช้ผ้าขาวคลุมพรางเป็นเจดีย์นั้นเป็นต้นกำเนิดของการบูชาพระธาตุด้วยผืนผ้า ซึ่งได้สืบทอดต่อมาจนถึงปัจจุบันในชื่อประเพณี “แห่ผ้าขึ้นธาตุ” (วันพระ สืบสกุลจินดา, 2566, น. 67)

สำหรับวิหารพระเงิน เดิมเป็นศาลาโล่งเครื่องไม้ สร้างใหม่ในปีพุทธศักราช 2506 เป็นศาลาโถงพื้นปูน เสาปูน มุงกระเบื้อง ประดิษฐานพระพุทธรูปประทับนั่งปรางมารวิชัย ลงรักปิดทอง ศิลปะอยุธยา เดิมเรียก “พระเงิน” ส่วนฐานพระอุโบสถ เกิดจากการเปิดพื้นที่ดำเนินงานทางโบราณคดีโดยกรมศิลปากรตั้งแต่ปี พ.ศ. 2509 ต่อเนื่องมาจนถึงปี 2558 ผลการขุดค้นและขุดแต่งพบในเสมาคู่หินทรายแดง ภาชนะดินเผาทั้งของพื้นเมือง และของต่างเมือง อาทิเช่น เครื่องถ้วยสุโขทัย เครื่องถ้วยจีนสมัยราชวงศ์หมิง และเครื่องถ้วยเวียดนาม เป็นต้น ปัจจุบันเก็บรักษาอยู่ในคลังพิพิธภัณสถานแห่งชาติ นครศรีธรรมราช (วันพระ สืบสกุลจินดา, 2566, น. 66)