volt m. kir. államtitkár, a m. tud. akadémia tiszteleti tagja, J. Pál és Dechira Anna fia (J. atyja, macedon rumén származású volt, a mult század végén Macedoniából költözött Magyarországba s Temesvárott telepedett le, családi Kaliva nevét ekkor atyja K. János keresztneve révén Joannovicsra változtatta s királyi adomány útján 1800-ban a Dulleo s Valyamara (Krassóm.) jószágokat és az ezzel járó magyar nemességet szerezte). J. szül. 1821. nov. 24. Temesvárt, a gymnasiumot ugyanott, a bölcseletet és jogot Pesten és Pozsonyban végzete. 1842-ben ügyvédi vizsgát tett és kevéssel azután a nyilvános pályára lépett, az akkori ellenzék reform-eszméiért küzdvén Krassó és Temes megyékben, valamint szülővárosában is, a melynek polgársága az 1847-48. pozsonyi országgyűlésre követnek választotta meg. 1849-ben mint Krassómegye másodalispánja a haza veszélyben forgó ügyének szentelte tehetségét. A szabadságharcz után Törökországba menekült, honnét egy évi számkivetés után hazatért. Az 50-es években az ismeretes aradi politikai perbe keveredett, 12 évi súlyos börtönre ítélték és 1854-től 1857-ig a pesti, bécsi s olmüczi börtönökben sanyargott, mígnem az 1857. általános amnestia neki is visszaadta szabadságát. A 60-as években a sajtó terén működött. A 48-as alkotmány helyreállítását sürgető czikksorozatban, mely akkor figyelmet keltett, felhívta a horvát-szlavon testvéreket a Magyarországgal való újraegyesülésre. 1867-ben a Pesti Naplóban megjelent czikksorozatban újra védelmezte a 48-as alkotmányt. A provisorium alatt felhagyott a politikával és 1864-től kezdve a magyar nyelvészek sorában munkálkodott. A m. tudom. akadémia 1867. jan. 30. levelező taggá (1883. máj. 19. tiszteletivé) választotta. 1865-ben a bogsáni (Krassómegye) kerület országgyűlési képviselője lett; 1867-ig a képviselőház jegyzője, azután a kiegyezési (67-es) bizottság, a haderő megajánlása tárgyában kiküldött, továbbá a koronaőrző-bizottság és a koronázás ügyében eljáró országos választmány tagja volt, mely Csengery Antal betegeskedése következtében a jegyzői tisztet is reá ruházta. Eötvös József báró vallás- és közoktatásügyi miniszteriumában Tanárky Gedeonnal együtt 1867-től államtitkári tisztet vállalt, melyet 1873-ig viselt. Ez állásában oda irányozta törekvését, hogy a görög-keleti vallásúak szorosabb kötelékkel fűződjenek a magyar államhoz. A görög-keleti szerb és rumén metropoliák önkormányzatára vonatkozó törvényjavaslat ügyét minisztere meghagyásából ő kezdeményezte, értekezletre híván egybe az akkori görögkeleti hitű szerb és rumén ajkú országos képviselőket és törvényjavaslatba foglalván az értekezlet megállapodásait; e javaslat törvénynyé is vált, kiegészítve a Deák Ferencztől beadott szakaszszal, a mely a vegyes ajkú (rumén-szerb) községek egyházvagyonbeli tulajdonjogának vitás kérdéseire nézve megállapítja és szabályozza a birói eljárást. A görög-keleti metropolia szervezkedése munkájában, mint a nagyszebeni metropoliai zsinat congressusi tagja, közreműködött és részt vesz most is az egyházmegyei zsinatban. Az államszolgálatból való kilépés után is a bogsáni kerületet képviselte az országgyűlésen 1881-ig és a Deák-párthoz tartozott. A «fuzio» létrejöttekor a szabadelvű pártnak tagjai sorába állott; később rövid ideig pártonkívüli volt; legutóbb a mérsékelt ellenzékhez, mely később nemzeti párt nevet vett föl, tartozott. A közjogi kérdés tárgyalását megelőző válaszfelirati vita közben a nemzetiségi kérdést érintő tételnél mondott beszédet; felszólalt később a közjogi kiegyezés megvitatása alkalmával és különösen Tisza Kálmán ellenében, a ki Deák Ferencz javaslatát a svéd-norvég unio-törvény szerint is mind a két ország bizottságai határoznak fontos és életbevágó kérdésekben a nélkül, hogy akár a svéd, akár a norvég azt állítaná, hogy ama delegatiók életbeléptetésével fel van áldozva országuk állami léte. Későbbi beszédei közül kiemelendő még a Bosznia megszállása ellen tett felszólalása. A m. tudom. akadémia nyelvtudományi bizottságának elnöke volt 1882-től 1895-ig; részt vett a nyelvújítás-szülte újabb küzdelemben, az orthologia fegyvereivel harczolván. Tagja a magyarországi szabadkőmívességnek. Régebben a skót szertartású nagy Oriens cz. szabadkőmívességnek működő nagymestere volt. Az Oriens- és Szt. János-szövetség egyesülése óta a Magyarország nagy páholya cz. kőmívességnek tiszteleti nagymestere. A Kisfaludy-társaságnak alapító tagja. Az 1894-ben megalakult szabad lyceumnak elnöke.
Politikai czikkei a Magyarországban (1861-62, 1867. 2., 4. sz. Alkotmányunk), a Pesti Naplóban (1861., 1867., 1871.) és az Országban (1862-63.); nyelvészeti dolgozatai a P. Naplóban (1864. 121., 158., 194., 288., 1865. 13. sz. Nyelvészet, 183., 184. Az a mutató szócskáról, 1867. 170. Egy helyesírási kérdés, 1879. 29. Férhely), a Nyelvtudományi Közleményekben (IV. 1865. A magyar a mutató szócskáról, VII. 1869. Némely újabb szó alkotásáról, székfoglaló), a M. Nyelvőrben (I. Szórend, II. Hibás fölcserélések, A nek névrag, III. A fosztó képző, Szóegyeztetés, IV. Idegen csemeték, Helytelenségek, IX. Hibás szók és szerkezetek, XI. Hibás szók és szólások, XIII. Szórend, A dativusnak nincs birtoka, XIV. A nek-ragú név és a birtokszó, a Sámuel-díjjal jutalmaztatott, Válasz a Nyelvészeti logicára, XVIII. Hangsúly, XX. A végtelen kérdés, különnyomatban is).
Munkái:
Adalékok a magyar szóalkotás kérdéséhez. Pest, 1870. (Értekezések a nyelv- és széptudományok köréből II. 3.)
Az ik-es igékről, Bpest, 1877. (Értekezések a nyelv- és széptud. köréből VI. 10.)
Értsük meg egymást (az orthologia s neologia ügyében.) U. ott, 1882. (Értekezések a nyelv- és széptud. köréből X. 4.)
Szórendi tanulmányok. U. ott, 1886. (Értekezések a nyelv- és széptud. köréből XIII. 10. és XIV. 2.)
Emlékbeszéd Pompéry János felett. U. ott, 1887. (Emlékbeszédek IV. 6.)
Országgyűlési beszédei a Naplók köteteiben (1869-72. IV., VI., XIII., XIX., XX., 1872-75. VII., X., 1878-81. V., VII., XI., XV. k.)
Akadémia Értesítője 1874. 126. l., 1885. 209., 1886. 219. l.
M. Könyvészet 1887.
Kiszlingstein Könyvészete és önéletrajzi adatok.