J.Karosas gimė 1937 m. rugsėjo 7 d. Marijampolės rajono Sangrūdos kaime valstiečių šeimoje. 1958 m. baigė Sangrūdos vidurinę mokyklą.
1958 m. įstojo į Vilniaus valstybinio universiteto (VVU, dabar – Vilniaus universitetas (VU) Istorijos ir filologijos fakultetą, kurį 1963 m. baigė ir įgijo lietuvių kalbos ir literatūros dėstytojo specialybę.
1967–1969 m. studijavo VVU aspirantūroje. 1969 m. apgynė filosofijos mokslų kandidato (dabar – filosofijos mokslų daktaro) disertaciją. 1994 m. pirmasis iš nepriklausomos Lietuvos filosofų Vilniaus universitete apgynė habilitacinį darbą, už kurį jam suteiktas habilituoto humanitarinių mokslų daktaro vardas. 2000 m. suteiktas profesoriaus vardas.
1963–1967 m. – VVU Filosofijos katedros asistentas.
1969–1972 m. – VVU Filosofijos katedros vyresnysis dėstytojas.
1971–1972 m. stažavo Vienos universitete (Austrija).
1973–1989 m. – VVU Filosofijos katedros docentas.
1981 m. paskirta A. von Humboldto fondo (VFR) stipendija. Ja naudodamasis nuo 1984 m. daugiau negu pusantrų metų stažavo Frankfurto prie Maino, Manheimo ir Gyseno universitetuose, kuriuose surinko medžiagą habilitaciniam darbui.
1989 m. buvo išrinktas VVU naujai įkurto Filosofijos fakulteto dekanu, juo dirbo iki 1992 m.
1992–1996 m. – VI Seimo narys, išrinktas daugiamandatėje rinkimų apygardoje pagal Lietuvos demokratinės darbo partijos sąrašą. Seime dirbo Užsienio reikalų komitete, ėjo Lietuvos demokratinės darbo partijos frakcijos seniūno, seniūno pavaduotojo pareigas.
1996–2000 m. – VII Seimo narys, išrinktas daugiamandatėje rinkimų apygardoje pagal Lietuvos demokratinės darbo partijos sąrašą. Seime dirbo Švietimo, mokslo ir kultūros komitete, ėjo Europos reikalų komiteto pirmininko pavaduotojo pareigas.
2000–2004 m. – VIII Seimo narys, išrinktas Lazdijų–Druskininkų rinkimų apygardoje Nr. 71. Iškėlė Lietuvos demokratinė darbo partija. Seime dirbo Užsienio reikalų ir Europos reikalų komitetuose, ėjo Europos reikalų komiteto pirmininko pavaduotojo pareigas.
2000–2003 m. – Druskininkų savivaldybės tarybos narys.
2004–2008 m. – IX Seimo narys, išrinktas Lazdijų–Druskininkų rinkimų apygardoje Nr. 71. Iškėlė Lietuvos socialdemokratų partija. Seime dirbo Europos reikalų (2005–2006 m. – pirmininko pavaduotojas) ir Užsienio reikalų (pirmininkas) komitetuose. Vadovavo Tarpparlamentinių ryšių su Vokietijos Federacine Respublika grupei.
Europos judėjimo Lietuvoje kolegijos narys.
Buvo TSKP narys, aktyvus LKP atsiskyrimo nuo TSKP šalininkas. Nuo 1990 m. – Lietuvos demokratinės darbo partijos narys, buvo partijos pirmininko pavaduotojas, tarybos narys. Nuo 2001 m. – Lietuvos socialdemokratų partijos tarybos narys.
Kelių knygų, keliasdešimties straipsnių ideologijos ir vertybių teorijos klausimais, paskelbtų Lietuvoje ir užsienyje, autorius.
Apdovanotas ordino „Už nuopelnus Lietuvai“ Riterio ir Komandoro didžiuoju kryžiumi. Turi kai kurių kitų Europos Sąjungos valstybinių apdovanojimų. Yra Druskininkų miesto garbės pilietis.
Pomėgiai – meistravimas ir ūkininkavimas sodyboje, gerų detektyvinių romanų skaitymas.
Mokėjo vokiečių ir rusų kalbas.
Žmona Vida Zita – filologė, humanitarinių mokslų daktarė, docentė, dirba Vilniaus universiteto Vokiečių kalbos katedroje.
Turėjo dvi dukteris – Aušrą ir Editą ir penkis vaikaičius.
Šeima pageidauja kremuoti
J.Karosas bus pašarvotas ketvirtadienį Jonų bažnyčios koplyčioje 18 val. Atsisveikinti su velioniu visuomenė bus kviečiame ketvirtadienį vakare nuo 18 iki 21 val. ir penktadienį nuo 9 iki 21 val.
Mišios už velionį nebus laikomos.
J.Karoso šeimos pageidavimu, velionis bus kremuojamas Kėdainių krematoriume, šeštadienį 12 val. prasidės laidotuvių ceremonija. J.Karoso palaikai bus laidojami Antakalnio kapinėse.
Pasak LSDP pirmininko Algirdo Butkevičiaus, velionio šeima pageidavo prisidėti padengiant laidotuvių išlaidas. Todėl jos bus lygiomis dalimis apmokamos iš valstybės biudžeto, šeimos lėšų ir Druskininkų savivaldybės biudžeto, nes šio miesto garbės pilietis buvo J.Karosas.
„Šeima daugiau jokių pageidavimų neturėjo. Ji labai kukli ir įsivaizdavo, kad viską turės pati organizuoti“, – sakė A.Butkevičius.
Artimųjų prašymu velionį pagerbkime dviem gėlių žiedais.