Pályáját a közigazgatásban kezdte, erős elkötelezettséget tanúsítva a területfejlesztés iránt. 1882 novemberében Maros-Torda vármegye címzetes aljegyzőjévé nevezték ki. Közigazgatási gyakornokként és igazgatási főtitkárként is dolgozott.

1883 végén Torda-Aranyos megyébe költözött, ahol családja birtokolta a mezőkapusi birtokot. A marosludasi járásban bírónak választották, majd tiszteletbeli főtisztviselőnek nevezték ki. Sándor János aktívan részt vett a térség különböző társadalmi és gazdasági intézményeinek szervezésében és támogatásában, köztük a Marosludas-Beszterce vasútvonal fejlesztésében. 1888-ban Bethlen Géza főispán alatt közigazgatási főtitkár volt.

Sándor János jelentős közigazgatási reformokat hajtott végre, többek között:

• A körjegyzők bérének szabályozása.
• A körjegyzőség telefonhálózatának kialakítása.
• A faluigazgatás fejlesztése.
• A jegyzői körzetek számának növelése.
• Adóbeszedés átruházása az önkormányzati tisztviselőkre.

Felügyelte a térség gazdasági fejlődését, így a Kis-Küküllő-völgyi vasút megépítését is. Széll Kálmán miniszterelnök és belügyminiszter a Belügyminisztérium kodifikációs osztályának külső tagjává nevezte ki, ahol közreműködött a közigazgatási reformokban.

A Széll-kormány idején a Földművelésügyi Minisztérium által létrehozott Székelyföld osztály vezetésével is megbízták. Kis-Küküllő vármegye főispánjaként szolgált 1902 tavaszáig.

1901-ben Maros-Torda vármegye és Marosvásárhely Királyi Szabadváros főtisztjévé nevezték ki. Tisza István sógora és közeli barátja miniszterelnökké válása után a Belügyminisztériumba nevezte ki. Tizenkét év főtiszti állás után 1903. november 14-én politikai államtitkárrá nevezték ki, de Tisza távozásával lemondott.