Rolla János 1944-ben született Kőtelken. 1957-től 1962-ig a Bartók Konzervatóriumban Zipernovszky Mária növendéke volt, majd 1962 és 1968 között a Zeneakadémián tanult Kovács Dénes osztályában.
Részt vett 1963-ban a Liszt Ferenc Kamarazenekar megalapításában, majd több mint 50 évig az együttes koncertmestere, 1979-től visszavonulásáig művészeti vezetője volt, emellett 1967 és 1974 között a Magyar Rádió és Televízió Szimfonikus Zenekarában is játszott.
Nevéhez fűződik a Zempléni Művészeti Napok létrehozása. Nemcsak zenekari, hanem kamarazenészként is nemzetközi hírnevet szerzett, olyan muzsikusokkal játszott együtt, mint Maurice André, Jean-Pierre Rampal, Alexander Schneider, Henryk Szeryng vagy Vásáry Tamás.
Rolla János 2007-ben tiszteletbeli tanári címet kapott a Zeneakadémiától, majd 2008-tól haláláig tanított az intézményben, 2008 és 2011 között a Kamarazene Tanszéket vezette.
A Liszt Ferenc Kamarazenekarral több mint 200 hanglemezfelvételt készített, többek közt a Hungaroton, az Erato, a Teldec, az EMI, a Quintana és a CBS-Sony Classical kiadókkal. Munkásságáért 1981-ben érdemes művész elismerést, 1984-ben Bartók-Pásztory-díjat, 1985-ben Kossuth-díjat, 1994-ben a Magyar Köztársasági Érdemrend középkeresztjét, 2004-ben a Magyar Köztársasági Érdemrend középkeresztjét a csillaggal, 2011-ben Hazám-díjat, 2015-ben pedig Weiner Leó-díjat vehetett át. A művészt 1991-ben a Francia Köztársaság becsületrenddel tüntette ki, 1996-ban Sárospatak díszpolgára lett.