ภายในวัดเดิม เป็นชุมชนครูหมอช้าง คอกช้างเก่าตั้งแต่สมัยอยุธยา เป็นสถานที่ฝึกช้าง คัดช้าง (ช้างศึก ช้างงาน) เพื่อใช้ในการทำสงครามและช้างใช้งาน ภายในบริเวณนี้ ดั้งเดิมจะมีศาลครูหมอช้าง และเสาตะลุงที่เป็นที่สักการะของคนในพื้นที่และคนเลี้ยงช้าง ชาวบ้านจึงร่วมกันจัดตั้งวัดขึ้น ชื่อวัดตลิ่งสูง เพราะอยู่ติดเเม่น้ำคลองกลาย มีตลิ่งที่สูงเป็นที่เทียบจอดเรือสำเภาในสมัยโบราณ ตามคำบอกเล่าต่อ ๆ กันมา ต่อมาเปลี่ยนเป็นวัดชุมโรงเเละชุมโขลง เพราะทางเข้าวัดด้านหน้าเป็นโรงช้างเก่าเเละศาลครูหมอช้าง มีเสาตะลุงสำหรับไว้ฝึกช้าง คำว่า “ชุมโขลง” เป็นภาษาใต้ท้องถิ่น..คำว่า “ชุม” หมายถึงการประชุมรวมตัวกัน “โขลง” หมายถึงจำนวนช้างที่มีหลายเชือก พื้นที่นี้อุดมสมบูรณ์เลยมีช้างป่าลงมาจากเทือกเขาเพื่อหาอาหารในบริเวณหมู่บ้าน โดยมีหลุมช้างหรือแอ่งอาบน้ำของช้างป่า จึงเป็นที่มาของบ้าน “ชุมโขลง”หรือ “ชุมโลง” ในปัจจุบัน