Keseluruhan bangunan terdiri tiga lantai, di bawah untuk ruangan kuliah, dilengkapi 20 jendela yang diharapkan menjadi peringatan atas 20 sifat Allah SWT. Di lantai dua untuk ruang shalat bagi kaum perempuan, terdapat dua tiang yang seolah-olah menyangga bangunan yang menggambarkan dua buah iktikad manusia. Sedang di lantai tiga sebagai ruang shalat utama, termasuk shalat Jumat di mihrabnya terdapat lima lubang angin yang memberi gambaran sekaligus mengingatkan kepada masyarakat muslim rukun Islam.
Pada 17 Agustus 1950 menetapkan garis kiblat di atas tanah yang sekarang berdiri bangunan representatif. Sedangkan pada 23 September 1950 atau 11 Dzulhijjah 1369 bertepatan dengan Hari Raya Qurban kedua Sri Sultan Hamengku Buwono IX yang ketika itu selaku Menteri Pertahanan Republik Indonesia, meletakkan batu pertama pembangunan masjid. Dua tahun kemudian tepatnya pada 20 September 1952 seluruh bangunan selesai dan dilakukan pembukaan secara resmi yang bertepatan dengan Tahun Baru Hijriyah, 1 Muharram 1372.
Pembangunan Masjid Syuhada Yogyakarta dimaksudkan untuk memenuhi kebutuhan masyarakat muslim pada umumnya dan secara khusus memberi penghargaan kepada masyarakat muslim di Yogyakarta yang banyak menyumbangkan bagi masyarakat, bangsa dan negara Indonesia. Lebih dari itu juga dimaksudkan sebagai monumen guna memperingati para pahlawan yang gugur syahid mempertahankan proklamasi kemerdekaan RI.
Masjid yang menggabungkan berbagai arsiktektur selain sejumlah perlambang melekat dalam setiap bangunan, di kubahnya mengambil bentuk-bentuk bangunan yang berkembang di Persia, India dan menjadi bagian dari masjid-masjid yang dibangun ketika itu. Kubah bundar di bagian tengah sebagai kubah utama, dikelilingi kubah kecil di empat sudutnya.
