หอสมเด็จนี้ แบ่งเป็น ๒ ชั้น คือชั้นฐานและชั้นตัวหอ ชั้นฐาน กว้าง ๖.๕๐ เมตร ยาว ๒๑.๕๐ เมตร เป็นฐานรับหอสมเด็จและพระเจดีย์ทรงลังกา ๔ องค์ มีบันไดขึ้นลง ๒ ทาง ด้านล่างแบ่งเป็นช่อง ๆ แต่ละช่องมีรูปปั้นทหารฝรั่งแบกฐานไว้จำนวนมาก ชั้นตัวหอ ประกอบด้วยหอสมเด็จและองค์พระเจดีย์ทั้ง ๔ สำหรับพระเจดีย์ทั้ง ๔ พระองค์เป็นสถานที่บรรจุพระเมาฬีของรัชกาลที่ ๓ และรัชกาลที่ ๔ ซึ่งเป็นที่มาของชื่อวัดนี้ เฉพาะตัวหอสมเด็จกว้าง ๔.๐๐ เมตร ยาว ๘.๖๐ เมตร เป็นตึกทรงไทย ภายในประดิษฐานรูปหล่อของสมเด็จพระพุทธโฆษาจารย์ (ขุน) ผู้เป็นพระอาจารย์ครั้งยังทรงพระเยาว์ และเป็นพระราชกรรมวาจาจารย์ในพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ ๓
หอสมเด็จนี้ รัชกาลที่ ๓ โปรดให้สร้างขึ้นเพื่อเป็นที่ประดิษฐานรูปหล่อสมเด็จพระพุทธโฆษาจารย์ (ขุน) โดยโปรดให้หล่อขึ้นเมื่อ พ.ศ. ๒๓๘๖ เพื่อเป็นอาจริยบูชาและเป็นที่สักการบูชาของพระบรมวงศานุวงศ์ ข้าราชบริพาร และประชาชนทั่วไป
หลังคาของหอสมเด็จมุงกระเบื้องเคลือบ ประตูและหน้าต่างเขียนภาพลายรดน้ำงดงามนับเป็นสิ่งที่หาได้ยากยิ่ง นอกจากนั้น ยังมีหอเล็กติดต่อกัน ยื่นเข้ามาภายในลานพระอุโบสถก่อด้วยอิฐฉาบปูนเหมือนกัน เป็นที่ประดิษฐานพระพุทธบาทจำลองโบราณ สร้างไว้เป็นที่สักการะของพุทธศาสนิกชนทั้งหลาย