วัดแห่งนี้สร้างขึ้นในสมัยของพ่อขุนรามคำแหง เป็นหนึ่งในวัดที่สำคัญอันดับต้นๆ ตั้งอยู่ในเขต พื้นที่ของ อุทยานแห่งชาติสุโขทัย ที่จะต้องมาเพื่อกราบสักการะ พระอัจนะ เป็นพระพุทธรูปปางมารวิชัย ขนาดใหญ่ ซึ่งพุทธศาสนิกชนต่างเคารพนับถือในความศักดิ์สิทธิ์ โดยขนาดขององค์พระที่ปั้นออกมานี้ได้สัดส่วนงดงามน่าเลื่อมใส

วิหารที่ประดิษฐาน องค์พระอัจนะนั้น สร้างเป็นรูปสี่เหลี่ยมลักษณะคล้ายมณฑป แต่ส่วนบนที่เป็นหลังคาพังทลาย ลงหมดแล้ว ตามกาลเวลา ที่ผ่านมาถึง 700ปี เหลือเพียงผนังทั้งสี่ด้าน ผนังแต่ละด้านก่ออิฐฉาบปูนแข็งแรง

ตามตำนานเล่ากันว่า เมื่อครั้งสมเด็จพระนเรศวรมหาราช ทรงยกกองทัพไปปราบกฎที่เมืองสวรรคโลก ได้มีการมาชุมนุมที่วัดศรีชุมก่อน การรบในครั้งนี้เป็นการรบระหว่างคนไทยเราด้วยกัน ทำให้เหล่าทหารไม่มีกำลังใจในการรบ และไม่อยากรบ สมเด็จพระนเรศวรมหาราชจึงได้มีการวางแผนสร้างขวัญ และกำลังใจให้กับทหารเหล่านั้น โดยการให้ทหารนายหนึ่งปีนบันไดขึ้นไปทางด้านหลังขององค์พระพุทธรูป และพูดให้กำลังใจแก่เหล่าทหาร ด้วยเหตุนี้เองที่ทำให้เกิดตำนาน “พระพูดได้” ขึ้น

ผนังทางด้านใต้ฝั่งขวามือของทางเข้า จะมีช่องให้คนเข้าไปภายใน และสามารถเดินขึ้นไปตามบันไดแคบๆ ถึงผนังด้านข้างขององค์อัจนะ โดยผนังด้านข้าง ขององค์พระอจนะมีช่องเล็กๆ ถ้าหากใครแอบเข้าไปทางอุโมงค์แล้วไปโผล่ที่ช่องนี้และพูดออกมาดังๆ ผู้ที่อยู่ภายในวิหาร จะคิดว่า องค์พระอจนะ นี้ "พูดได้" และเสียงพูดนั้นจะกังวานน่าเกรงขาม เพราะวิหารนี้ไม่มีหน้าต่าง
สามารถขึ้นไปถึงผนังด้านบนส่วนที่เป็นหลังคาวิหารได้ ท่านจะสามารถมองเห็นทิวทัศน์ อันงดงามของเมืองเก่าสุโขทัยได้โดยรอบ

แต่ ปัจจุบันได้ปิดห้ามไม่ให้เข้าไปเนื่องด้วยเกรงอันตรายและด้วยช่วงที่แคบมากอาจจะขาดอากาศจนเกิดอันตรายต่อชีวิตได้ วัดศรีชุมแห่งนี้ยังเป็นสถานที่ศักดิ์สิทธิ์ ซึ่งได้มีการจัดพิธีถือน้ำพิพัฒน์สัตยาขึ้นที่นี่อีกด้วยครับ