قال الأزهري: القيروان لفظ معرب، وهو بالفارسية كاروان (الجميل أو اللطيف)، وقد ورد في كلام العرب قديمًا. عزل معاوية بن أبي سفيان معاوية بن حديج الكندي عن إفريقية، واقتصر به على ولاية مصر، وولى إفريقية عقبة بن نافع بن عبد قيس بن لقيط بن عامر بن أمية، وكان مولده في أيام النبي (ﷺ) وكان مقيمًا بنواحي برقة وزويلة منذ تولية عمرو بن العاص (رضي الله عنه) له، فجمع إليه مَن أسلم من البربر وضمهم إلى الجيش الوارد من قِبل معاوية، وكان جيش معاوية عشرة آلاف وسار إلى إفريقية ونازل مدنها، فافتتحها عَنوة ووضع السيف في أهلها، وأسلم على يده خلق من البربر، وفشا فيها دين الله حتى اتصل ببلاد السودان.

نظر عقبة في أحوال إفريقية نظر الحاذق البصير؛ فرأى أنه لن يستقيم لها أمر إلا باستقرار المسلمين فيها بصفة نهائية، لا كما يفعل مَن سبقه من القادة. يقول عقبة في هذا: إن إفريقية إذا دخلها إمام أجابوه إلى الإسلام، فإذا خرج منها رجع مَن كان أجاب منهم لدين الله إلى الكفر، وأرى لكم ـ معشر المسلمين ـ  أن تتخذوا بها مدينة نجعل فيها عسكرًا، وتكون عز الإسلام إلى آخر الدهر؛ فبنى لهم مدينة القيروان.

وقد رأى عقبة أن من أسباب تراجع المسلمين عن إفريقية هو طول خط المواصلات بينهم وبين أقرب مرتكز لهم وهو “الفسطاط”؛ فاستقر رأيه على أن خير وسيلة للاستقرار بالمغرب إنما تكمن في الاحتفاظ بجيش دائم، وأن ذلك يستدعي إنشاء مدينة جديدة تكون مقر عسكر المسلمين وموطن أهلهم؛ فاختار لذلك موقعًا له ميزات عديدة من حيث الحرب والاقتصاد والمواصلات، فأنشأ القيروان في رقعة تكفي لتموين الحامية ومن معها، بعيدة عن الساحل بحيث لا ينالها الأسطول الرومي، وفي نفس الوقت تكون مواجهة لجبل أوراس الذي كثيرًا ما قاوم سكانُه الفاتحين من قبل.

واستصوب صحابة عقبة بن نافع رأيه، فجاؤوا إلى موضع القيروان، وهي في طرف البر وهي أجمة عظيمة وغيضة لا يشقها الحيات من تشابك أشجارها، وقد أمر عقبة بن نافع أصحابه بالبناء فقالوا: هذه غياض كثيرة السباع والهوام؛ فنخاف على أنفسنا هنا، وكان عقبة مستجاب الدعوة، فجمع من كان في عسكره من الصحابة (رضوان الله عليهم) جميعًا وكانوا ثمانية عشر ونادى: أيتها الحشرات والسباع، نحن أصحاب رسول الله (ﷺ)؛ فارحلوا عنا فإنا نازلون، فمن وجدناه بعدُ قتلناه، فنظر الناس يومئذ إلى أمر هائل، كان السبع يحمل أشباله والذئب يحمل أجراءه والحية تحمل أولادها وهم خارجون أسرابًا أسرابًا، فحمل ذلك كثيرًا من البربر على الإسلام.

شرع عقبة بن نافع في بناء القيروان في سنة 50 للهجرة، وابتدأ بتخطيط دار الإمارة، ثم عمد إلى موضع المسجد الأعظم فاخْتَطَّه، ولكنه لم يحدث فيه بناء.

ويذكر ابن عذارى المراكشي أنه كان يصلي في موضع هذا الجامع قبل أن يقوم ببنائه، “فاختلف الناس عليه في القبلة، وقالوا: إن جميع أهل المغرب يضعون قبلتهم على قبلة هذا المسجد، فأجهد نفسك في تقويمها. فأقاموا أيامًا ينظرون إلى مطالع الشتاء والصيف من النجوم ومشارق الشمس، فلما رأى أمرهم قد اختلف، بات مغمومًا، فدعا الله – عز وجل – أن يُفَرِّج عنه، فأتاه آتٍ في منامه، فقال له: إذا أصبحت فخذ هذا اللواء في يدك، واجعله على عنقك، فإنك تسمع بين يديك تكبيرًا لا يسمعه أحد من المسلمين غيرك.. فانظر الموضع الذي ينقطع عنك فيه التكبير، فهو قبلتك ومحرابك، وقد رضى الله لك أمر هذا العسكر وهذا المسجد وهذه المدينة، وسوف يُعِزُّ الله بها دينه، ويذل بها من كفر به.. فاستيقظ من منامه، وهو جزع، فتوضأ للصلاة، وأخذ يصلي وهو في المسجد ومعه أشراف الناس. فلما انفجر الصبح، وصلى ركعتي الصبح بالمسلمين، وإذا بالتكبير بين يديه، فقال لمن حوله: أتسمعون ما أسمع؟ فقالوا: لا. فعلم أن الأمر من عند الله تعالى، فأخذ اللواء فوضعه على عنقه، وأقبل يتبع التكبير حتى وصل إلى موضع المحراب فانقطع التكبير. فركَّز لواءه وقال: هذا محرابكم، فاقتدى به سائر مساجد المدينة”.

ومنذ ذلك العهد أصبحت قبلة جامع القيروان موضع إجلال الناس وتعظيمهم، فلم يتعرض لها أحد الأمراء بسوء في الزيادات المتتالية التي أجريت بالجامع عامة وببيت الصلاة خاصة، ولم يتغير موضع القبلة حتى يومنا هذا لشرف انتمائها إلى التابعي عقبة بن نافع الذي أورث اسمه الجامع، فصار يعرف بجامع سيدي عقبة.

لم يكن هذا المسجد أول الأمر إلا مساحة مُسَوَّرة بسور سميك من اللَّبِن على هيئة حصن، وليست لدينا فكرة عن بيت صلاته، فهو يماثل المساجد الأولى فقد كان بسيط البناء، صغير المساحة، ويغلب الظن أن أسقفه كانت تقوم مباشرة على الأعمدة دون أن تحملها عقود.

ولم تلبث المدينة أن عمرت بعد تخطيط الجامع بالدور ومختلف الأبنية والمساجد، وشد الناس إليها الرحال، وعظم قدرها، وتحقق الرجاء من بنائها وأصبحت بحق قاعدة للمسلمين في بلاد المغرب. كانت القيروان في وسط الصحراء ولم يمنعها انعزالها هذا من أن تنمو وتكبر، وإذا كان عقبة بن نافع قد عُزِلَ عنها فترة من الزمن فإنها استعادت عظمتها بعودته عام 61هـ وظلت ما يقرب من أربعمائة عام على رأس مدن إفريقية والمغرب، وكان لها سور له أربعة عشر بابًا، وكانت سوقها متصلة بالمسجد من جهة القبلة وممتدة إلى باب يعرف باسم باب الربيع، وذكر البكري أنه كان لهذه السوق سطح متصلة به جميع المتاجر والصناعات وأن هذا السطح قد تعرض لبعض التهدم، وأمر هشام بن عبد الملك بترميمه عام 105هـ.

تختلف القيروان عن المدن العربية السابقة عليها في التأسيس، في أن كل قبيلة نزلت بها لم تكن تختص بمكان معين من المدينة، ربما لأن فتحها جاء متأخرًا وربما لعدم حرص القبائل التي اشتركت في فتحها على أن تظل بمعزل عن القبائل الأخرى في سكنها كما حدث في المدن السابقة.