Ide pendirian Ma’had Sunan Ampel al-Aly yang diperuntukkan bagi Mahasiswa UIN Maulana Malik Ibrahim Malang sudah lama dipikirkan, yaitu sejak kepemimpinan KH. Usman Manshur, tetapi hal tersebut belum dapat terealisasikan. Ide tersebut baru dapat direalisasikan pada masa kepemimpinan Prof. Dr. H. Imam Suprayogo, ketika itu masih menjabat sebagai ketua STAIN Malang.
Peletakan batu pertama pendirian bangunan Ma’had dimulai pada Ahad Wage, 4 April 1999, dihadiri para Kyai se Jawa Timur, khususnya dari Malang Raya, dan dalam jangka waktu satu tahun, 4 (empat) unit gedung yang terdiri dari 189 kamar (3 unit masing-masing 50 kamar dan 1 unit 39 kamar) dan 5 (lima) rumah pengasuh serta 1 (satu) rumah untuk mudir (direktur) Ma’had telah berhasil diselesaikan.
Pada tanggal 26 Agustus 2000, Ma’had mulai dioperasikan, ada sejumlah 1041 orang Mahasantri, 483 Mahasantri putra dan 558 Mahasantri putri yang menghuni unit-unit hunian yang megah itu. Para Mahasantri tersebut adalah mereka yang terdaftar sebagai Mahasiswa baru dari semua Fakultas.
Pada tanggal 17 April 2001, Presiden RI ke-4, KH. Abdurrahman Wahid berkenan hadir dan meresmikan penggunaan ke empat hunian Ma’had, yang masing-masing diberi nama mabna (unit gedung) al-Ghazali, mabna Ibn Rusyd, mabna Ibn Sina, mabna Ibn Khaldun, selang beberapa bulan kemudian satu unit hunian berkapasitas 50 kamar untuk 300 orang santri dapat dibangun dan diberi nama Al-Farabi yang diresmikan penggunaannya oleh Wakil Presiden RI, Hamzah Haz dan didampingi oleh Wakil Presiden I Republik Sudan saat meresmikan alih status STAIN Malang menjadi Universitas Islam Indonesia Sudan (UIIS).
Semua unit hunian Ma’had tersebut sekarang dihuni khusus untuk Mahasantri putra, sementara untuk Mahasantri putri sekarang menempati 4 (empat) unit hunian baru yang dibangun sejak tahun 2006 dan telah selesai pembangunannya, 2 (dua) unit di antaranya bernama mabna Ummu Salamah dan mabna Asma’ bint Abi Bakar, berkapasitas 64 kamar, masing-masing untuk 640 orang, 1 (satu) unit bernama mabna Fatimah al Zahra berkapasitas 60 kamar untuk 600 orang dan 1 (satu) unit bernama mabna Khadijah al Kubra berkapsitas 48 kamar untuk 480 orang. Masing-masing kamar dari 4 (empat) unit hunian tersebut untuk kapasitas 10 (sepuluh) orang. Unit hunian untuk Mahasantri putra dan untuk Mahasantri putri berada di lokasi terpisah dalam area kampus.
Pada tahun 2016, berdirilah Ma’had Kedokteran dengan nama mabna Ar-Razi yang bertempat di Kampus II Kota Batu. Ini sebagai tindak lanjut berdirinya Fakultas Kedokteran dan Ilmu-Ilmu Kesehatan. Mahasantri pada tahun pertama sebanyak 50 orang dan pada tahun kedua dengan jumlah yang sama. Kapasitas Ma’had secara keseluruhan adalah 100 orang.
Melengkapi nuansa religius dan kultur religiusitas muslim Jawa Timur, maka dibangunlah monumen (prasasti) yang sekaligus menggambarkan visi dan misi Ma’had yang tertulis dalam bahasa Arab di depan pintu masuk area unit hunian untuk santri putra. Prasasti tersebut berbunyi:
كونوا أولي الأبصار
(jadilah kamu orang-orang yang memiliki mata hati);
كونوا أولي النهى
(jadilah kamu orang-orang yang memiliki kecerdasan);
كونوا أولي الألباب
(jadilah kamu orang-orang yang memiliki akal);
وجاهدوا في الله حق جهاده
(dan berjuanglah untuk membela agama Allah dengan kesungguhan).
Selanjutnya, untuk mengenang jasa dan historisitas ulama pejuang Islam di Pulau Jawa, maka ditanamlah tanah yang diambil dari Wali Songo (Wali Sembilan: simbol perjuangan para Ulama di Jawa) di sekeliling prasasti tersebut. Di samping itu dimaksudkan untuk menanamkan nilai historis perjuangan para Ulama, sehingga para Mahasantri selalu mengingat urgensi perjuangan atau jihad li i’laa kalimatillah. Prasasti yang sama kemudian juga dibangun di depan pintu masuk area hunian Mahasantri putri dan di depan kantor rektorat.