המקור לכך שחודש אלול מהווה חודש של חסד אלוקי מיוחד וחודש הרחמים נעוץ עוד בימיו של משה רבנו, בשנת ב'תמ"ח מבריאת העולם (1313 לפני הספירה), שהיתה השנה הראשונה לאחר שעם ישראל יצא ממצרים.

שבעה שבועות אחרי יציאת מצרים, בני ישראל קיבלו את התורה על הר סיני וכרתו ברית עם בורא העולם. אולם 40 יום לאחר-מכן, בשעה שמשה עדיין שהה על הר סיני, הם הפרו את הקשר המיוחד עם אלוקים על ידי כך שעבדו לעגל הזהב. כשמשה ירד מההר וראה את עוונם, הוא שבר את שני לוחות האבן שעליהם חרט האלוקים את עשרת הדברות. לאחר מכן חזר משה להר סיני ל-40 יום נוספים כדי להתחנן אל הקב"ה בשם עם ישראל.

בבוקרו של האחד באלול, עלה משה שוב על הר סיני, כשהוא לוקח עמו את לוחות האבן השניים שאותן סיתת, כדי שהאלוקים שוב יחרוט עליהם את עשרת הדברות. על ההר, ה' הרשה למשה לראות את אחוריו אך לא את פניו (מצב שהרמב"ם מסביר כתפיסה של מציאות הא-ל אך לא את מהותו). זהו המצב הקרוב ביותר בידיעת ה' שמישהו אי פעם הגיע אליו. ה' לימד אותו את הסוד של "שלוש עשרה מידות הרחמים" (שמות לג, יח – לד, ח).

בפעם השלישית משה נשאר על ההר במשך 40 יום, מראש חודש אלול עד י' בתשרי (יום כיפור). במשך הזמן הזה הוא הצליח להשיג את סליחתו השלמה של הבורא ופיוס מלא עבור בני ישראל. מאז ועד היום נחשב חודש אלול לחודש הרחמים והסליחות.