Sebelum Bedug Masjid Gedhe Mataram Kotagede berdiri megah seperti sekarang, di tempat ini dulunya hanya ada sebuah langgar kecil tempat warga beribadah. Langgar tersebut dibangun oleh Ki Ageng Pemanahan, tokoh penting yang dikenal sebagai pendiri cikal bakal Kerajaan Mataram Islam. Tempat ibadah sederhana ini berdiri di kawasan Alas Mentoak, yang kemudian berkembang menjadi daerah Kotagede. Dari sinilah awal mula kisah Bedug Masjid Gedhe Mataram Kotagede bermula.
Setelah wafatnya Ki Ageng Pemanahan, sang putra Sutawijaya melanjutkan perjuangan ayahnya. Sekitar tahun 1587, Sutawijaya mulai mengembangkan langgar tersebut menjadi sebuah masjid besar. Langgar lama itu tidak dihilangkan, melainkan dialihfungsikan menjadi cungkup makam, sementara masjid baru berdiri di sebelahnya. Inilah momen penting berdirinya Masjid Gedhe Mataram Kotagede, tempat yang kemudian dikenal karena keberadaan Bedug Masjid Gedhe Mataram Kotagede yang legendaris.
Pada masa awal, Masjid Gedhe Mataram Kotagede hanya terdiri dari ruang utama (liwan) yang ditopang oleh empat saka guru atau tiang besar. Menurut catatan Babad Momana, pembangunan masjid ini terjadi sekitar 1511 Tahun Dal atau 1589 Masehi. Meskipun sederhana, masjid ini menjadi pusat dakwah dan tempat masyarakat memperdalam ajaran Islam. Seiring waktu, Bedug Masjid Gedhe Mataram Kotagede pun menjadi bagian penting dari tradisi ibadah umat Islam di kawasan ini.
Perkembangan masjid terus berlanjut ketika Sultan Agung memimpin sebagai raja ketiga Mataram. Ia menambahkan serambi masjid agar jamaah bisa beribadah dengan lebih nyaman. Sejak saat itu, Masjid Gedhe Mataram Kotagede dan Bedug Masjid Gedhe Mataram Kotagede mengalami banyak renovasi. Pada tahun 1796 M, pihak Keraton Surakarta menambah bangunan di serambi depan timur untuk memperluas area masjid dan memperkuat struktur utamanya.
Beberapa abad kemudian, organisasi Muhammadiyah juga turut merawat dan mempercantik masjid ini. Mereka menambahkan emperan, pawudhon putra, serta mengganti atap masjid menggunakan sirap kayu. Tak hanya itu, dibuat juga pagar keliling untuk membedakan area sakral dan area publik. Pada tahun 1926, Pakubuwono X mendirikan sebuah tugu peringatan di halaman masjid sebagai simbol penting keberadaan Bedug Masjid Gedhe Mataram Kotagede dalam sejarah Mataram Islam.
Perawatan masjid terus dilakukan di masa modern. Tahun 1995, gerbang masuk menuju serambi diberi lengkung besi yang elegan, kemudian lantai masjid diganti teraso pada tahun 1997. Renovasi besar dilakukan kembali pada tahun 2015 oleh Dinas Kebudayaan DIY, yang memperkuat struktur atap bangunan utama agar Masjid Gedhe Mataram Kotagede tetap kokoh dan lestari. Semua ini turut menjaga keaslian Bedug Masjid Gedhe Mataram Kotagede sebagai peninggalan sejarah yang berharga.
Kisah menarik datang dari asal-usul Bedug Masjid Gedhe Mataram Kotagede. Konon, bedug ini dibuat dari kayu yang ditemukan Sunan Kalijaga di Desa Dondong, Kulon Progo. Beliau merasa kayu itu istimewa dan cocok dijadikan bedug untuk masjid. Sunan Kalijaga kemudian meminta seorang perempuan bernama Nyai Brintik untuk membawa kayu tersebut ke Mataram. Setelah sampai di Kotagede, kayu itu diolah menjadi bedug yang hingga kini dikenal dengan nama Kyai Dondong.
Setelah mengantarkan kayu tersebut, Nyai Brintik memilih untuk menetap di timur masjid bersama anak-cucunya. Daerah tempat tinggalnya kini dikenal sebagai Kampung Dondongan, yang berada tepat di depan Masjid Gedhe Mataram Kotagede. Dari kisah inilah, nama Bedug Kyai Dondong melekat kuat dengan Masjid Gedhe Mataram Kotagede. Hingga kini, bedug tersebut tetap dijaga dan menjadi simbol kuat hubungan antara sejarah, budaya, dan keislaman masyarakat Kotagede.