19世纪的德国神经学家弗朗茨·尼斯是第一个发现并描述小胶质细胞的学者。
19世纪80年代，研究者通过染色的方法确认了小胶质细胞与巨噬细胞之间的关联性。
1897年，罗马尼亚病理学家维克多·巴贝什（Victor Babeș）在对狂犬病的研究中首次发现小胶质细胞的活性化，以及由小胶质细胞形成的网状细胞簇。不过，直到1920年，西班牙学者皮奥·戴尔·里奥·霍尔特加（Pío del Río Hortega）才正式将这种以前描述过的细胞定名为小胶质细胞。
之后，霍尔特加通过研究，证明小胶质细胞能对脑损伤做出反应。因为霍尔特加对小胶质细胞研究的独特贡献，他被后人冠以“小胶质细胞之父”之名。