Bien que les sources manquent pour vérifier sa véracité, une tradition tenace attribue à saint Éloi l’établissement, au VIIe siècle, d’un ermitage au Mont-Alban, situé à deux lieues d’Arras au milieu de bois impénétrables. L’évêque de Noyon, venu évangéliser le nord de la Gaule, s’y serait adonné à la méditation et à la contemplation. Pour Adolphe de Cardevacque l’ombre et le silence des bois lui faisaient aimer cette retraite où il puisait de nouvelles forces et de nouvelles lumières pour se livrer avec ardeur aux rudes labeurs de l’épiscopat
.
Saint Vindicien, évêque de Cambrai et disciple et saint Éloi, dont il tire le goût pour la vie contemplative, fait de la colline son lieu de sépulture. Une première communauté cénobitique se forme au Mont-Alban rebaptisé Mont-Saint-Éloi. Ce n’est que vers 930, après la découverte miraculeuse du tombeau de saint Vindicien, que l’évêque Fulbert y fonde une abbaye pour y accueillir les saintes reliques.
Réformée par l’évêque Lietbert qui impose une observance régulière, l’abbaye se développe et s’enrichit à partir du XIe siècle. En 1139, le pape Innocent II confirme qu’elle appartient à jamais à l’ordre canonial organisé suivant les principes de la règle de saint Augustin.