לאורך מאות שנים, יהודים גרו בג'רבה בשתי שכונות בלבד. חרא כבירא (הרובע הגדול) וחרא זרירא (הרובע הקטן). שכונות אלו מרוחקות אחת מהשנייה שמונה קילומטר, ותמיד התגוררו בהן רק יהודים ואין אף נכרי אחד בשתי הערים. מעולם גם לא יצא יהודי  מרובעים אלו. בין השכונות היהודיות היה קשר, אבל כל שכונה דאגה באופן עצמאי להתנהלותה מבחינה דתית וחברתית, עד אשר התקינו, שאין רבני שכונה אחת יכולים להתערב בעניינה של השכונה השנייה.

מקורה של הקהילה היהודית באי ג'רבה הוא ללא ספק עתיק יומין. אחד מרבניה הגדולים של ג'רבה, הרב משה הכהן כלפון בהקדמתו לספרו 'ברית כהונה', מביא כי יש המייחסים את ראשית ההתיישבות היהודית באי לחורבן בית ראשון, ויש הדוחים אותה לימי בית שני.

מסורת יהודי ג'רבה היא שהיהודים הנמצאים באי - שאינם כהנים - מוצאם משבט זבולון. רבי אברהם אבן עזרא כותב בפירושו על ספר יונה: 'יונה בן אמיתי מזבולון היה, וכשרצה לברוח יצא לתרשיש. ומדוע דווקא לשם? כי תרשיש היא עיר תונייס (טוניס) באפריקי'.

בכתבי הגניזה בקהיר מן המאות ה-10 וה-11 נזכרים יהודים מג'רבה. הם נרדפו על ידי ה'מייחדים', הלא הם המוג'הידין, במאה ה-12, אך יישובם באי לא נפסק. באגרת המיוחסת לרמב'ם נאמר שיהודי ג'רבה נוהגים בכמה דיני ישראל כקראים, ומנהגים אלו נשארו בידם עד עצם היום הזה גם לאחר שרבנים גזרו איסורים כנגדם.

ואכן, גם כיום יש בג'רבה מנהגים שאין להם מקבילה בתפוצות ישראל האחרות, מנהגים המעידים על שורש קדום ועל רציפות היישוב. יהודי ג'רבה מספרים, כי כאשר מנהגי ההפטרות שלהם הובאו לפתחו של רבי יוסף קארו, הוא פסק כי מכיוון שהיישוב בג'רבה הוא מלפני החורבן אין לשנות ממה שקבעו ראשונים. ג'רבה, היא גם המקום היחיד בתפוצות שבו שואלים גשמים בז' במרחשוון, כמו בארץ ישראל, ולא על פי תקופת החמה (ב 5 לדצמבר) כמקובל בחו'ל. מתוך כך, נראה שבני ג'רבה קבעו את מנהגם במשך השנים על פי מקורם בארץ ישראל.

אחד המנהגים המרשימים ביותר הוא זה של התקיעה בערב שבת. בספרו של רבי משה כלפון, 'ברית כהונה', יש התייחסות לחשיבותו ולמקורו של מנהג זה:
"נוהגים פה בערב שבת לתקוע תשר'ת תש'ת תר'ת שני פעמים. פעם ראשונה כדי שימנעו הקהל מהמשא ומתן ולסגור החנויות ופעם שנית אחרי זה בשיעור מה להודיע לקהל להדליק נרות שבת". הוא מציין, כי המנהג התבטל ברוב הקהילות בחו"ל, מחמת הישיבה בצל הגויים, אך בג'רבה, בה מתגוררים היהודים לאורך שנות דור, לא קיים חשש זה ולכן המנהג נשתמר יפה. ג'רבה היא כנראה, אחד המקומות היחידים בעולם היהודי - אם לא היחיד – שבו נשמר מנהג זה, שהיה מקובל בארץ ישראל בזמן שבית המקדש היה קיים.

בניגוד למיתוס הרווח, לא כל יהודי ג'רבה הם כהנים: הכהנים ישבו בחרא זרירא, ובחרא כבירא ישבו ישראלים בלבד. במשך השנים התערבו אלו באלו, אבל במקורם היו אלו שתי קהילות נפרדות.

לעיתים, כאשר בתי הכנסיות מלאים בכהנים בלבד, ואין בנמצא יהודי שיקריא להם את ברכת הכהנים ויעלה לתורה כישראל .. מצות נטילת ידיים של הכוהנים חלה על הבכורים, והכהנים אינם מפנים ברכתם כלפי הקהל הנעדר.. אלא ממשיכים לשאת את כפם לעבר ארון הקודש, כדי לברך את העם שבשדות ואת אנשי העיר!

לעומת זאת, מעולם לא היו לויים בקרב היהודים באי. גם על כך יש אגדה מעניינת בפי יהודי ג'רבה. כאשר עזרא הסופר לא מצא לויים בין העולים עמו לארץ ישראל (עזרא ח' ט"ו), הוא פנה אל הלויים אשר בג'רבה שיעלו עמו לארץ ישראל. לאחר שהשיבו תשובה שלילית, הוא קיללם שלא יזכו לסיים את שנתם באי. אכן, מזה מאות שנים ועד עצם היום הזה אין כלל לויים בג'רבה, שכן הם נמנעו מלהתיישב במקום, מחשש שקללת עזרא רובצת על הלויים הגרים באי.
 
הקהילה בג'רבה שבתוניס, אחת הקהילות העתיקות בעולם היהודי, קיימת עד היום. היא עד היום. כל היהודים החיים בה, שומרים על מסורת ישראל סבא בנאמנות, בהקפדה ובמסירות. בני הקהילה נהנים אמנם ממיטב הטכנולוגיה המודרנית, אבל דפוסי החיים הקהילתיים נראים כשחזור מופלא של החיים היהודיים בגולה בשיא תפארתם.