רבי יוסף שלמה נולד בעיר קוהל שבליטא. למד בישיבות טעלז, נובהרדוק וראדין. הוא נשא לאישה את בתו של הרב מוידז', ונבחר לרבה של אותה העיירה כשחמיו מונה לרב העיר וילקומיר.

בשנת תרנ"ט, לאחר פטירתו של רבי יצחק רבינוביץ', רבה של פוניבז', מונה רבי יוסף שלמה לרבה של העיירה, ומיד הקים שם ישיבה בשם "אוהל יצחק" על שם הרב הקודם. בשנים תרס"ג - תרס"ה שימש כחבר ב"סיים" הליטאי. בתפקידו הרבני בפוניבז' שימש עד לסיפוחה של ליטא לברית המועצות בשנת תר"ע. בזמן הכיבוש הגרמני שהה מחוץ לליטא בשליחות הצלה וכך נמלט וניצל. רבי יוסף שלמה ובנו רבי אברהם הינם הניצולים היחידים ששרדו ממשפחתם ומקהילתם.

חותם גדול שהשפיע רבות על חייו היו שלוש שנים שלמד בישיבת ראדין במחיצתו של החפץ חיים. הוא למד בכולל המיוחד של החפץ חיים - "כולל קדשים", שם למדו את הלכות הקרבנות ובית המקדש, כיוון שמהרה יבנה בית המקדש והלכותיו יהיו אקטואליות. אף לאחר שסיים את לימודיו בראדין, המשיך להחזיק קשר עם החפץ חיים. בערוב ימיו של החפץ חיים, הוא קרא לרבי יוסף שלמה ודיבר עימו ביחידות שעות רבות. עד עצם היום הזה פגישה זו נחשבת כאפופת מסתורין. שכן החפץ חיים, שעיני כל ישראל היו נשואות אליו, לא היה שורף את זמנו לריק. הדבר היחיד שהתפרסם מפגישה זו, הם דברי החפץ חיים כי עננים שחורים וקודרים מתקרבים לאירופה. שאלו רבי יוסף שלמה: אז מה יהיה? ענה לו החפץ חיים - שני פסוקים: "ובהר ציון תהיה פליטה והיה קודש", "והיה הנותר בציון והנשאר בירושלים קדוש יאמר לו". כאן ניבא החפץ חיים שהשואה הארורה שעתידה להשתולל באירופה לא תבוא לארץ ישראל. ואכן, כפי שידוע, המצביא הנאצי רומל התקרב לשערי ארץ ישראל, אך לא נכנס אליה.

הישיבה בטלז, שם למד.

הראשונה שבהן היא "ישיבת פוניבז'" בבני ברק שמשמשת כ"ספינת הדגל" של הישיבות הליטאיות. בראשה עמדו גדולי ישראל כרבי שמואל רוזובסקי זצ"ל, רבי דוד פוברסקי זצ"ל, ורבי אלעזר מנחם מן שך זצ"ל. וממנה יצאו אלפי תלמידי חכמים עצומים העוסקים בתורה יומם וליל. חלק חשוב מראשי-הישיבות בדורנו הם תלמידי ישיבת פוניבז', ובישיבתם הם מאמצים את אסכולתה של ישיבת פוניבז'. בישיבת פוניבז' חידש רבי יוסף שלמה את הנהגת  'ירחי כלה', חודשי הלימוד הקבעים לכל איש ישראל שהונהגו על-ידי האמוראים בבבל.

עול כספי כבד מאד היה על רבי יוסף שלמה. בניין הישיבה ותחזוקתה מצריכים סכומים אדירים ו"אם אין קמח אין תורה" אמרו חכמינו. בלית ברירה החליט רבי יוסף שלמה לצאת למסע גיוס כספים בקרב יהודי הגולה. ההצלחה האירה לו פנים, בסייעתא דשמיא ובעזרת פיקחותו הרבה. עשיר יהודי אחד תרם לו סכום כסף גדול. אך תנאי התנה עמו - כסף זה לא ילך למוסד שיש בו ציציות וכיפות. לקח רבי יוסף שלמה את הכסף ומסרו לבית-ספר של בנות... אישה עשירה החליטה שתתרום כסף רק אם תמונתה תתנוסס לתפארה בהיכל הישיבה. אמר לה רבי יוסף שלמה: עדיף שתמונתך תתנוסס במשרדי. הסכימה האישה לדבריו. לקח רבי יוסף שלמה את התמונה ותלאה במשרדו כשהיא הפוכה...

ארע והמצב הכלכלי של הישיבה היה דחוק ביותר, הבחורים לא קיבלו את צרכם על הצד המושלם. "רוח שטות" נכנסה אצל הבחורים והם החליטו שכאשר יבואו נגידים לראות את הישיבה, הם יעלו לעזרת הנשים וילמדו שם. רבי יוסף שלמה, שידע על כוונתם, קרא לכמה פועלים, נתן להם דליי צבע ומברשות, והורה להם לצבוע קצת את בית המדרש. כשבאו הנגידים, הם ראו היכל ריק. אמר להם רבי יוסף שלמה: עכשיו צובעים כאן, אך עלו לעזרת הנשים וראו את התמדתם של הבחורים, ראו שאין הם מוותרים על לימוד התורה בכל מצב.

מומחיותו להוציא כספים לצורכי צדקה היה מן המפורסמות. עד כדי כך שהתהלך סיפור בבני ברק על ילד קטן שבטעות בלע מטבע כסף, מיד רץ אביו לחזון איש לשאלו מה לעשות? ענה לו החזון איש: לך לרבי יוסף שלמה, הוא יודע טוב מאד להוציא כסף...

חכמתו הרבה עמדה לו במסעותיו הרבים בארצות הגולה עבור ישיבתו. פעם נסע לבדו ברכבת ובאחת התחנות עלו צעירים שאינם בני ברית וזממו להתנכל לו. הוציא רבי יוסף שלמה פתק קטן מכיסו, עלעל בו קמעה ושאלם: היכן עלי לרדת בשביל להגיע למקום פלוני? ענו לו: בתחנה הקרובה. הגיעה התחנה, אותם ערלים יורדים מיד ומחכים לרב היהודי. אך רבי יוסף שלמה נשאר ברכבת שבנתיים סגרה את דלתותיה והמשיכה בנסיעה...

אחרי המלחמה היו ילדים יהודים רבים שנמסרו לאימוץ במנזרים. דבר זה חרה מאד לרבי יוסף שלמה אשר רצה בכל מאודו להצילם. לא די שההורים נרצחו על קידוש ה' אלא גם בניהם לא יאמרו אחריהם קדיש? ובנותיהם תתנהגנה כגויות לכל דבר? אך איך אפשר לדעת מיהו ילד יהודי ומי לא? מה עשה? נסע למנזרים וקרא בקול גדול: "שמע ישראל ה' אלוקינו ה' אחד". אותם ילדים יהודים, שזו הייתה ה"גירסא דינקותא" שלהם, שמעו משהו מוכר, נימה שצלצלה להם באוזן ובאו לקראתו של רבי יוסף שלמה.

הרב שמעון שקופ זצ"ל. מרבותיו	צלם

את פעילותו למען ילדי השואה המשיך גם בארץ ישראל. הוא הקים "בתי אבות" לאותם יתומים אומללים. בפרשת "ילדי טהראן" [יתומים מהשואה שהועלו לארץ ישראל, על ידי הממסד, דרך טהראן. המדינה בקשה לאמצם ולהשכיח מהם את דת ישראל] נלחם נגד הממסד ודרש שחלק מהילדים יעברו לידיים דתיות. פצעי השואה לא הגלידו אצל רבי יוסף שלמה. הוא רצה להקים "מוזיאון" לקהילות ליטא שנחרבו בשואה. לצורך זה הוא החל בבנייתו של "אוהל קדושים" ליד בניין הישיבה. החזון איש אמר לו: כי לא זו הדרך להנציח אותם, אלא רק על ידי הקמת עוד ישיבה ועוד כולל. באמצע הבניה נהרג פועל יהודי והבניה הופסקה. עשרות שנים עמד הבניין בשיממונו, עד שלפני שנים מועטות נכנס לשם הכולל שעל ידי ישיבת פוניבז' ומשאלתו של החזון איש נתקיימה.

אחת מהאנקדוטות היותר ידועות על רבי יוסף שלמה ארעה ברומא. רבי יוסף שלמה נסע ברומא יחד עם מלווהו, וכל הדרך הוא מלמל לעצמו "אני חייב לגמור איתו את החשבון אחת ולתמיד..." המלווה מאד התפלא. הן זהו הרב מפוניבז', הוא הרי בעל מידות נעלות, ומה פשר דיבורים אלו? עד שהגיעו לשער טיטוס, אז הורה רבי יוסף שלמה למלווהו לעצור את הרכב. יצא רבי יוסף שלמה את הרכב והביט בשער שעליו חרוטה המנורה הטהורה, ושמתחתיה כתוב "יהודה לא תהיה" והכריז בקול גדול: "טיטוס, טיטוס, לפני אלפיים שנה רצית למחוק ולאבד את כל עם ישראל מבלי להשאיר להם זכר, שם ושארית. ראה טיטוס, מי מכיר אותך היום? מי שיטייל כאן וישאל את הילדים מיהו טיטוס, שום ילד לא ידע מה לענות. מה נשאר מדרכך? מי ממשיך את דרכך? ואילו אני, באתי עכשיו מבני ברק שבארץ ישראל, אותה רצית להחריב, וברגע זה יגעים ועמלים בתורה מאות בחורים בישיבתי, ועוד כמה מאות בישיבות אחרות. אתה אמרת "יהודה לא תהיה" ואני אומר "יהודה היו תהיה ופרוח תפרח".

ביום כ' בחודש אלול שנת תשכ"ט הלך רבי יוסף שלמה לבית עולמו, הוא נקבר בבית החיים זכרון מאיר שבבני ברק בחלקת ישיבת פוניבז'. תורתו ומאמריו נאספו בחלקם בשלושת קבצי "דברי הרב".
 

הוא האיש אשר ראה את ישיבות ליטא בתפארתן. הוא הגבר אשר ראה עני עמו - שעה שנחרבו הישיבות בידי הקלגסים הנאציים ימ"ש. והוא זה אשר הקימן לתפארה בארץ הקודש.