Rafał Kalinowski, właśc. Józef Kalinowski urodził się 1 września 1835 r. w Wilnie, w szlacheckiej rodzinie herbu Kalinowa.
Jego ojciec był profesorem matematyki na Uniwersytecie Wileńskim. Po ukończeniu z wyróżnieniem Instytutu Szlacheckiego w Wilnie (1843-1850) Józef podjął studia w Instytucie Agronomicznym w Hory-Horkach koło Orszy (dziś Białoruś). Zrezygnował z nich po dwóch latach. W 1855 r. przeniósł się do Mikołajewskiej Szkoły Inżynierii Wojskowej w Petersburgu, gdzie uzyskał tytuł inżyniera. Jednocześnie wstąpił do wojska. Wtedy właśnie przestał przystępować do sakramentów świętych, do kościoła chodził rzadko, przeżywał rozterki wewnętrzne, a także kłopoty związane ze swoją narodowością, służbą w wojsku rosyjskim i zdrowiem. Wciąż jednak stawiał sobie pytanie o sens życia, szukając na nie odpowiedzi w dziełach filozoficznych i teologicznych.