מנורות של זהב גדולות על עמודים בגובה של חמישים אמה העמידו בחצר המקדש, ועל כל מנורה ומנורה הפקידו ארבעה נערים מפרחי כהונה, שהיו עולים על סולמות למלאם בשמן ולהדליקם לקראת השמחה שנמשכה כל הלילה. מבלאי מכנסיהם של הכהנים היו עושים פתילות למנורה. והיו המנורות מפיצות אור גדול שהתפשט בכל חצרות ירושלים (סוכה נא, א).
השמחה עצמה התקיימה בעזרת נשים, שהיא החצר החיצונה של בית המקדש. על חמש עשרה המעלות (מדרגות) היורדות מעזרת גברים לעזרת נשים, היו הנגנים עומדים ומנגנים בכלי זמר שונים, ומהם: חלילים, כנורות, נבלים, חצוצרות ומצלתיים (סוכה נא, ב). רוב המנגנים היו לויים, אבל גם ישראלים שידעו לנגן היו מצטרפים לתזמורת.
חסידים ואנשי מעשה היו מרקדים ואבוקות של אש בידיהם, והיו זורקים את האבוקות כלפי מעלה וחוזרים לתופסם. היו שידעו לזרוק ארבע אבוקות, והיו שידעו לזרוק שמונה אבוקות. ולא היו חסים על כבודם, אלא כדוד המלך בשעתו שרקד וכרכר בכל עוז לפני ארון ה' (שמואל ב' ו, טז), אף הם היו מרקדים ומקפצים ומדלגים בשמחת בית השואבה. אמרו עליו על רבן שמעון בן גמליאל (נשיא ישראל), כשהיה שמח בשמחת בית השואבה היה נוטל שמונה אבוקות בכלים של זהב, והיה זורק אחת ונוטל אחת, ולא היתה אחת מהן נוגעת בחברתה. וכשהיה כורע היה נועץ אגודליו בארץ ונושק לרצפת העזרה ומיד נזקף. והיו מזמרים שירות ותשבחות לה'. חסידים ואנשי מעשה היו אומרים: "אשרי ילדותינו שלא ביישה את זקנותינו", ובעלי תשובה היו אומרים: "אשרי זקנותינו שכפרה את ילדותינו". "אלו ואלו אומרים: אשרי מי שלא חטא, ומי שחטא ישוב וימחול לו". ומתוך שמחתם היו זוכים אז חכמי ישראל לרוח הקודש. אמרו על יונה הנביא, שבזכות שמחתו בשמחת בית השואבה שרתה עליו רוח הקודש וזכה לנבואה (סוכה נג, א; ירושלמי פ"ה ה"א וה"ד).
ולא היו רוקדים שם לפני העם עמי הארץ וכל מי שירצה, אלא גדולי חכמי ישראל וראשי הישיבות וחברי הסנהדרין והחסידים והזקנים ואנשי מעשה, הם שהיו מרקדים ושמחים לפניהם. וכל העם, האנשים והנשים, היו באים לראותם רוקדים ולשמוע את התזמורת המופלאה (רמב"ם לולב ח, יד). ומן הסתם על מקומם יכלו לשיר ולרקוד מעט.
בתחילה היו הנשים עומדות בתוך עזרת נשים, והגברים עמדו רחוק יותר, ברחבת הר הבית. כשראו חכמים שהגיעו לידי קלות ראש וערבוביה, הורו להקים לקראת השמחה סביב עזרת נשים גזוזטראות (יציעים), שעליהן היו הנשים עומדות, ולמטה מהן עמדו הגברים, ובאמצע העזרה היו הריקודים (סוכה נא, ב).
העיד רבי יהושע בן חנניא, שהיה לוי והיה מהמשוררים בעת הקרבת הקרבנות, שבמשך כל ימי חול המועד של סוכות לא היו ישנים על מיטתם. בבוקר היו שרים בהקרבת קרבן תמיד של שחר, אח"כ התפללו שחרית, חזרו לשיר בהקרבת המוספים, לאחר מכן התפללו מוסף. משם הלכו לבית המדרש ללמוד תורה עד אחר הצהרים. לאחר מכן סעדו סעודת חג, ומשם הלכו לתפילת מנחה, ולאחר מכן הלכו לשיר עם תמיד של בין הערביים, ומיד לאחר מכן התחילו בשמחת בית השואבה עד עלות השחר. וכשהיו מתעייפים, היו מנמנמים מעט זה על כתפי זה (סוכה נג, א).
נהגו ישראל לקיים שמחה בלילות חול המועד זכר לשמחת בית השואבה שהיו מקיימים במקדש. ובכל שמחה שעורכים בחג מקיימים מצווה, שנאמר (דברים טז, יד): "וְשָׂמַחְתָּ בְּחַגֶּךָ", ובשמחת בית השואבה מקיימים מצווה נוספת, שמציבים זיכרון לשמחה שהיתה במקדש, ומקרבים בזה את בניינו (סוכה מא, א).
ההתחזקות בשמחה זו התרחשה במאות השנים האחרונות, לאחר שיהודים התחילו להתקבץ לארץ ישראל ואור הישועה החל לנצנץ. בתחילה הנהיגו את השמחה בארץ ישראל וממנה התפשט המנהג לגולה. וכפי שכתב רבי חיים בן עטר באגרת ששלח מירושלים (בשנת ה'תקג): "בחול המועד עשינו שמחת בית השואבה, והייתי אני מדליק לילה אחת, ועשינו שמחה גדולה". וכן מסופר בעוד מקומות שהיו רוקדים במעגל ואבוקות בידיהם. וכן סיפרו החסידים שעלו לארץ מאירופה, שקיימו שמחת בית השואבה בצפת בתופים ומחולות ואבוקות.
וכן סיפר רבי יהוסף שוורץ (נפטר ה'תרכה) במכתבו לאחיו, על החגיגות המיוחדות שהיו מקיימים בירושלים, ואף תיאר שבבית הכנסת 'קהל ציון' הותקנה מכונה מיוחדת שהיתה מתיזה מים כלפי מעלה בשעת החגיגות. והרב אורנשטיין (אב"ד חסידי ירושלים מ-ה'תרלג) כתב, שחסידי סדיגורה שעלו לירושלים היו שוכרים מנגנים נוכרים שינגנו בכל לילות חול המועד בשמחת בית השואבה (שו"ת מוהרי"ל עמ' ח). אמנם האשכנזים לא נהגו להדליק אבוקות (עיר הקודש והמקדש ח"ג פכ"ה ח-ט).
גם רבי חיים אבולעפיה תיקן בבתי הכנסת באיזמיר, שיעשו שמחת בית השואבה זכר למקדש, וידליקו נרות רבים בבתי הכנסת, וינגנו כשעתיים פזמונים, וירקדו זקנים ואנשי מעשה, כאשר היו עושים במקדש (חיים וחסד תצז, יא). וכן כתב רבה של טריפולי (בשנת ה'תק"ע) רבי אברהם חיים אדאדי, שעל פי מה שנתייסד על ידי שליח מעיר הקודש, נהגו לקיים שמחה בלילי חול המועד, והיו מנגנים ורוקדים שעתיים עד שלוש שעות, והגבאי היה מחלק נרות לרוקדים, וכל רוקד היה משתחווה תחילה לפני ארון הקודש (ויקרא אברהם, קונטרס מקום שנהגו עמ' קכג). ואף התירו לאבל לנגן בשמחת בית השואבה, כי היא שמחה של מצווה וזכר למקדש (זרע אמת ב, קנז). והיו שנהגו לשיר בשמחת בית השואבה מפיוטי הימים הנוראים (יסוד ושורש העבודה יא, יד).
ואף שאין חובה לקיים את שמחת בית השואבה, יש בה מצווה, ובמיוחד ראוי לעודד את המתבטלים מתורה שישתתפו בשמחה ולא יבטלו את זמנם בדברים בטלים (בכורי יעקב תרסא, ג).
יש נוהגים לומר בתחילת השמחה חמשה עשר פרקי 'שיר המעלות' שבתהלים (קכ-קלד), שסגולתם להרבות מים וברכה. יסוד הדבר במה שאמרו חכמים (סוכה נג, א-ב), שבשעה שפתח דוד המלך את השיתין לצורך ניסוך המים, החל התהום לעלות ואיים לשטוף את הארץ. כתבו את השם המפורש על חרס והניחוהו על פי התהום ושקע ששה עשר אלפי אמה, ונעשה העולם יבש מאוד. אמר דוד המלך חמישה עשר פרקים של 'שיר המעלות', ועל כל פרק ופרק עלה התהום אלף אמה, ונעשה העולם לח.