Иосиф Наумович родился 20 мая 1931 г. в г. Мозыре Полесской области Белорусской ССР в семье инженера – гидротехника. В 1953 году окончил Ленинградский политехнический институт по специальности «инженер – гидротехник». После окончания института уехал в Сибирь на строительство Новосибирской ГЭС, где работал начальником участка управления. С 1957 по 1968 гг. занимался строительством Карагандинской ГРЭС-2 и Джамбульской ГРЭС в Казахстане.

В 1968 г. Иосиф Наумович стал начальником управления строительства Сургутской ГРЭС.  В 1976 г. назначен   управляющим трестом «Запсибэнергострой».

Под руководством Каролинского была построена пускорезервная ТЭЦ и ОРУ- 500, 9 энергоблоков Сургутской ГРЭС-2 и вся производственно-технологическая инфраструктура промышленной базы энергостроителей. Появились Южно-Балыкский и Сургутский газоперерабатывающие заводы, Тюменская и Тобольская ТЭЦ, пионерные объекты Нижневартовской ГРЭС.

Сургут к началу строительства станции был неблагоустроен, не хватало жилья и объектов соцкультбыта. Немало сил и времени И.Н. Каролинского было потрачено на строительство и благоустройство города. Под кураторством этого человека строились автомобильные дороги с твёрдым покрытием, благоустроенное жильё с централизованным отоплением и электроснабжением, детские сады и школы. При его активном участии в Сургуте появился благоустроенный микрорайон Энергетиков.

За успешную трудовую деятельность Иосиф Наумович был награждён орденом «Знак Почета» и медалями. За разработку проекта и строительство первой очереди Сургутской ГРЭС И.Н.Каролинский стал лауреатом премии Совета Министров СССР.

Находясь в больнице, он до последнего своего часа продолжал руководить трестом. Умер Иосиф Наумович Каролинский 18 мая 1979 года.

 В честь первого начальника Сургутской ГРЭС Иосифа Наумовича Каролинского названа одна из улиц в г. Сургуте.