Sebenarnya sebelum berdirinya sekolah-sekolah dan universitas (atau lembaga pendidikan formal), Islam sudah berkembang dengan sistem pendidikan yang bersifat non-formal.
Lembaga-lembaga pendidikan non-formal sebagai tempat umat Islam belajar dan mencari ilmu itu antara lain:
1. Kuttab sebagai lembaga pendidikan dasar
Kuttab atau sering juga disebut maktab, berasal dari bahasa Arab dengan kata dasar kataba yang berarti menulis atau tempat menulis. Sehingga kuttab adalah sebuah tempat belajar mengajar yang di dalamnya terdapat pelajaran tulis-menulis.
2. Pendidikan rendah di istana
Pendidikan rendah di istana pada dahulunya ditujukan untuk anak-anak para pejabat. Karena mereka berpikir bahwa pendidikan itu harus disiapkan agar anak-anak mereka dapat melaksanakan tugasnya setelah dewasa kelak.
Atas dasar pemikiran itulah khalifah dan keluarganya serta para pembesar istana lainnya menyiapkan anak-anaknya sejak kecil. Mereka sudah diperkenalkan dengan lingkungan dan tugas-tugas yang akan diembannya kelak. Untuk itu, para khalifah dan keluarganya memanggil guru-guru khusus yang memberikan pendidikan bagi anak-anak mereka. Guru-guru yang dia dipanggil ke istana sering disebut dengan mu'addib yang berarti budi pekerti atau meriwayatkan.
3. Toko-toko kitab
Berbeda dengan toko-toko kitab dan toko buku di masa modern sekarang ini. Toko-toko kitab telah dimulai sejak masa Daulah Abbasiyah, yang mana pada masa itu ilmu pengetahuan dan kebudayaan Islam sudah tumbuh dan berkembang serta diikuti dengan penulisan kitab-kitab dalam berbagai cabang ilmu. Maka di dalam toko kitab itu dijadikan tempat berkumpul para ulama, pujangga dan para ahli ilmu pengetahuan lainnya untuk berdiskusi dan bertukar pikiran. Jadi pada zaman dahulu toko kitab, selain sebagai tempat menjual kitab juga dioptimalkan sebagai tempat menimba ilmu.
4. Rumah-rumah para ulama atau ahli ilmu pengetahuan
Hal ini masih diteruskan oleh guru-guru mengaji terutama di daerah pedesaan yang menjadikan tempat tinggalnya sebagai tempat untuk menimba ilmu. Ulama-ulama dan ahli ilmu banyak yang menjadikan tempat tinggalnya sebagai tempat mencari ilmu, termasuk antara lain Ibnu sina dan Al Ghazali.
Itu lah empat tempat yang sejak dulu dijadikan tempat menimba ilmu bagi umat Islam, jauh sebelum sistem pendidikan formal muncul.
