Le prieuré de Célestins dédié à saint Antoine et saint Martin fut fondé à Amiens dans l'ancien hôtel de Mailly en 1389, période de grande expansion de l'ordre en France. Leur église fut consacrée par l'évêque Jean de Boissy le 10 avril 1401. Les célestins furent transférés en 1634 dans les murs de l'abbaye de Saint-Martin-aux- Jumeaux, abbaye de chanoines réguliers depuis 1145. Ils y restèrent jusqu'à leur suppression à Amiens en 1781