Visszatérve Trencsénbe, a megyei közigazgatásban helyezkedett el, ahol aljegyző, árvaszéki ülnök, majd főjegyző lett. Szülőföldjén sokoldalú tevékenységet folytatott és környezete hamar felfigyelhetett jó szervezőképességére, hihetetlen munkabírására. Vágvölgyi Lap címen lapot alapított 1874-ben, amely a közéleti tisztaság védelmével és a szabadelvű párt programjainak elkötelezett támogatásával vált ismertté. Eközben segédkezett a trencséni nőegylet létrehozásában, sőt dalárdát is szervezett. Megoldotta a trencséni gimnázium szegényebb diákjainak ingyenes étkeztetését.
1875-ben, az Illava-puchói kerületben országgyűlési képviselővé választották. A képviselőházban rövid idő alatt pártja vezérszónokává lépett elő, akire a legkényesebb, legnehezebb ügyek előadását bízták. 1878-ban az országgyűlés jegyzőjévé választották meg. 1882-ben Tisza Kálmán miniszterelnök felfigyelt a fiatal képviselőre, és Nyugat-európai tanulmányútra küldte. Bejárta az 1871-ben egyesült Birodalmi Németországot, Franciaországot és Belgiumot, tanulmányozta a közigazgatási bíróságokat és az ottani politikai viszonyokat. Szüleihez írt leveleiből ismerhetjük meg emberi tulajdonságait, ragaszkodását szüleihez, szülőföldjéhez. Minden kezdeményezést támogatott, amely a Felvidék gazdasági és kulturális felemelkedését szolgálta. Így részt vett a Felvidéki Magyar Közművelődési Egyesület megalapításában és munkájában. Általános meglepetést keltett 1883. április 10-én államtitkári kinevezése a Közmunka-és Közlekedésügyi Minisztériumba.
Hogyan nézett ki ebben a korban Magyarország és az 1867-ben létrejött Osztrák-Magyar Monarchia? Hazánk a kiegyezéssel visszaszerezte azokat a területeket, amelyeket 1526, azaz Mohács óta elvesztett. A magyarság fő politikai célkitűzése 1873. június 27-én a határőrvidékek megyerendszerbe való beolvasztásával megvalósult. Országunk területe 325000 km2, lakossága 1867-ben 15 millió, amely 1890-re 19,2 millióra növekedett. Külső kerete –az Osztrák-Magyar Monarchia –676000 km2-es területével Oroszország után Európa második legnagyobb területű, lakosságát nézve pedig Oroszország és Németország után harmadik legnépesebb országa volt. Azonban a Monarchia gazdasági teljesítőképessége – a XIX. század utolsó negyedének jelentősebb fejlődése ellenére – Angliától, Franciaországtól és Németországtól olyan távolságnyira volt, mint a tőle keletre és délre lévő államoké. Ezt a birodalmat igazán a közös hivatalnokai és hadserege tartotta össze. A kiegyezés óta a magyar politikusokat a minél nagyobb önállóság kialakítása vezette. Az osztrákokkal való egyenrangúságunkat, országunk igazi államiságát az önálló magyar honvédség megteremtése, megléte bizonyíthatta. Ezért folytatott Andrássy Gyula, az első kiegyezés utáni felelős kormány miniszterelnöke nehéz tárgyalásokat a bécsi udvarral, és vállalta el a honvédelmi tárca vezetését. A kiegyezés mindkét államának védelme közös ügynek számított, de a magyar törvényhozás közvetlenül nem szólhatott bele a honvédelem kérdéseibe. A Birodalom védelmi kérdéseiben, közlekedésének fejlesztésénél az utolsó szót a Monarchia fennmaradásáig a bécsi vezetés mondta ki. Baross Gábor, aki vasútpolitikai reformjaival két alapvető célt tűzött ki, az államosítást és a tarifapolitika megváltoztatását, mindjárt a kezdeteknél szembetalálkozott a birodalmi és a magyar érdekek összeegyeztethetőségének problémájával. Ady Endre is foglalkozik e kérdéskörrel. A Világ című lap hasábjain írja (1912. április 21-i sz.) „Baross Gábor, amikor közgazdasági vasútpolitikát kezdett, legelőször is a nagy katonákat ,főzte meg’ mind Budapesten mondják.” Baross nagysága abban nyilvánult meg, hogy vállalta a magyar érdekek következetes képviseletét, valamint a többletmunkát, amely megteremtette a katonák bizalmát.
Tisza Kálmán miniszterelnök bizalmasát, akiben fiatalkori nemzeti gondolkodású ellenzéki énjét vélhette felfedezni, 1886. december 29-én közmunka- és közlekedési miniszterré nevezi ki. Baross államtitkársága alatt megkezdett nevezetes közlekedés- és iparpolitikai tevékenysége nagyban szolgálta nemcsak az ország gazdasági fejlődését, hanem a honvédelem infrastruktúrájának megteremtését is. Elődjei létrehozták a Magyar Államvasutakat (1868), a főközlekedési irányokban kiépültek a vasútvonalak, mint a Kassa-Oderbergi Vasút (1872) Berlin felé, a Magyar Nyugati Vasút Szombathely-Grác vonala (1872), a Magyar Északkeleti Vasút Debrecen-Máramarossziget vonala (1872), 1873-ban a Magyar Keleti Vasút Brassóig adta át a vasúti pályáját, majd szintén 1873-ban Fiumét is bekapcsolták az ország vasúti vérkeringésébe. Mégis hiába épültek ki honunkban a vasútvonalak, mert a magas díjszabások kedvezőtlenül hatottak forgalmukra és a nemzetgazdaságunkban betöltött helyzetükre. Kihasználtságuk a legrosszabbak közé tartozott Európában. Ezenkívül a sok magánvasút különböző érdekviszonyokat közvetített, amely szükségessé tette az egységes, magyarérdekű vasúthálózat megteremtését. Ennek alapjaként adott volt a Magyar Államvasút, amelynek fejlesztését új építkezésekkel és államosítással próbálták megvalósítani a Barosst megelőző miniszterek. 1882-ben 7204 km-es vasúthálózata volt az országnak, amelyből 2409 km volt a MÁV tulajdonában a többit 16 másik vasúttársaság üzemeltetette. Az államosított vasút hossza minisztersége alatt 1886 és 1891 között 3158 km-rel nőtt. Legnagyobb sikere az 1214 km hosszú hálózattal rendelkező Osztrák-Magyar Államvasút Társaság 1891-ben történt államosítása volt. Emellett rendet teremtett a MÁV belső hierarchiájában, rendszerében, gondoskodott a szakemberképzésről a MÁV Tisztképző megalapításával (1887). A vasút területén a másik korszakalkotó tevékenysége a díjszabások korszerűsítése, az ún. „zónadíjszabási rendszer” bevezetése (1889) volt. Bevezetése előtt az utasok száma 6,1 millió fő volt, ez a szám három évvel később 1891-ben 26,7 millióra nőtt. Baross Gábor meghatározott övezetekre, zónákra osztotta fel az országot. Jelentős menetdíjcsökkentést hajtott végre, amely a 25 km-nél rövidebb és a 225 km-nél hosszabb utazásoknál, azaz a végtelen zónánál volt jelentősebb. Ezzel a rövid távú hivatásforgalmat és az ország távolabbi részének Budapesthez kötődését segítette elő. A Budapest-Brassó közötti 731 km-es távolságra, annyit kellet fizetni, mint pl. a 249 km távolságra lévő partiumi Nagyváradra. Brassóból Budapestre a 32 forintos jegy árát 7 forintra csökkentette az új tarifa. Megvalósulhatott Baross híres, sokat idézett mondása: „Azt akarom, hogy a brassói ténsasszony is Budapestre jöjjön kalapot venni!” A vasúti személyszállítás a jelentősen megnőtt forgalom következtében a veszteséges üzletágból nyereséges vállalkozássá lett. 1891-ben az árudíjszabást is mérsékli, 78 féle magyar iparcikkre kedvezményes iránytarifát állapítanak meg, ezzel segítve a magyar árutermelést. A vasúti személy- és áruszállítás növekedése a vasúti járműgyártás fellendülését is eredményezte. A vasút gazdasági eredményei további pályaépítésekre ösztönöztek. A politika nagyban meghatározta, hogy merre épüljenek az új vasútvonalak. Nem épülhetett ki például Magyarország és Bukovina között vasúti kapcsolat, mert ezt Bécs nem támogatta pénzügyi okokra hivatkozva. A valódi ok azonban a magyar gazdasági térhódítástól való félelem volt. A világháború alatt kellett megépíteni azt a vasúti összeköttetést, amelynek megépítése már Baross idején felmerült, a Radnai-hágón keresztül Kirlibaba ill. a Beszterce völgyében Dorna Watra felé.
Baross Gábort gyakran emlegették, illetve emlegetik „vasminiszternek”. Ezt a nevet a céljai megvalósításától eltántoríthatatlan politikus következetes magatartásáért kapta, egyik példaképe, Bismark, a német „vaskancellár” után, aki 1871-től 1890-ig mint birodalmi kancellár irányította a Német Császárság politikáját. Baross munkabírását és elismertségét bizonyítja, hogy közmunka- és közlekedésügyi miniszteri megbízatása mellett, rövid időszakokra ugyan, de 1888-ban vallás- és közoktatásügyi miniszterré, majd 1889-ben belügyminiszterré is kinevezték. 1884-től haláláig Győr országgyűlési képviselője volt.
A közlekedés területén a hajózás fejlesztését is fontos feladatának tartotta, az osztrák Dunagőzhajózási Társaság azonban keresztezte terveit. A DGT magas tarifáit a MÁV Hajózási Vállalat (1888) megalapításával próbálta ellensúlyozni. Fő célját, egy nagy magyar nemzeti hajózási társaságnak a létrehozását 1889-ben egy miniszteri értekezleten felvetette, de már megvalósítani nem tudta. A magyar árucikkek kivitelének biztosítására a fiumei kikötő jelentős bővítését határozta el. Ennek eredménye lett, hogy 1912-re az európai kontinens 7. kikötőjévé vált Fiume, a magyar kikötő. Állami segítséget biztosított az Adria Tengerhajózási Részvénytársaságnak. A fiumei fuvardíjakat jelentősen mérsékli, így ellensúlyozni tudta a trieszti kikötőt, ill. a hátrányos német vámpolitikát.
A közúti közlekedésben is maradandót alkotott. 1890-ben ő terjesztette a Parlament elé az utakról szóló törvénytervezetet. Évszázados problémákat oldott meg a közteherviselés az út- és hídvámok területén. Megszervezte az útügy igazgatását. A törvény modern alapokra helyezte az útügyet és ezután lényeges fejlődés indult meg ezen a területen, pl. az alföldi transzverzális út kiépítése Baja-Arad között. Pozsonynál felépült (1891) a kettős célú közúti és vasúti Ferenc József híd, Komáromban pedig az 1892-ben elkészült Erzsébet híd megépítésénél működött közre. Szorgalmazására épült meg az esztergomi Mária Valéria híd is. Zólyom, Breznó és Kisgaram térségében jelentős hídgyártási központ kialakulása körvonalazódott a XIX. század végén.
Baross Gábor élete legnagyobb feladatának azonban a Vaskapu szabályozását tekintette. A német vámháború miatt a Monarchiának Németország elkerülésére az Alpok hegyláncain keresztül Svájc felé meg kellett építenie az arlbergi vasútvonalat. Ez a munka Ausztriára hárult, így egyedül Magyarországnak kellett megoldania az Al-Duna szabályozásának feladatát, melyet a Berlini konferencián (1878) a Monarchiára kiosztottak. Baross gyakori személyes jelenlétével biztosította a munkálatok menetét. Szükség is volt minden energiájára és szervezőképességére, hiszen ez volt az évszázad egyik legjelentősebb belvízi hajózást segítő európai beruházása. Jelentőségét az adta meg, hogy elkészülte után született meg az egységes dunai hajózóútvonal. A vasminiszter ezt azonban már nem érhette meg.
A közlekedésen kívül a Posta területén is látványos eredményeket ér el. 1886-ban megalapította a postatakarékpénztár intézményét, amelynek révén 1892-re már 3916 település postáján működött banki szolgáltatás. 1887-ben egyesítette a Postát a Távírdával. Az 1888-ban megkötött osztrák-magyar postai egyezmény teljes önállóságot biztosított a Magyar Királyi Postának. Még ebben az évben megalapította a Postatisztképzőt, megteremtette a modern hírközlés jogi és szervezeti kereteit. 1890-ben Budapest és Bécs között átadták az első telefonvonalat. A Posta szolgáltatásai jelentősen bővültek minisztersége idején. Nemzetközi hírlap előfizetési szolgáltatás, pontos zónaidő, meteorológiai előrejelzés, vízállásjelentés került bevezetésre ingyenesen a távírókon. Ingyenes lett a levélküldemények, táviratok, pénzesutalványok házhoz kézbesítése. 1889-ben kereskedelemügyi miniszter lett. Ezzel felügyelete alá kerültek az ipari, a kereskedelmi, a vám, a tengerészeti és a szabadalmi ügyek és az Országos Magyar Királyi Statisztikai Hivatal. Közel 100 gyár alapítását, ill. működését támogatta, iparbankot hozott létre, majd 1890-ben bevezettette az áruvédjegyet. Új kereskedelmi és iparkamarákat hozott létre, Szeged, Marosvásárhely, Nagybánya, Győr és Besztercebánya ekkor kapott új kamarát. Állami megrendelésekkel segítette az új iparágak megteremtését. Nevéhez fűződik többek között a magyar gumiipar megteremtése is. A Magyar Ruggyantaárúgyár, a Taurus elődjének tulajdonosa Barosstól olyan ígéretet kapott, hogy 3 évig a MÁV minden gumiigényét a gyártól vásárolja, ha azt Magyarországon állítja elő. A szakképzés szintén érdeklődési körének központjába tartozott. Több mint félszáz iskolát alapítottak tevékenységének köszönhetően. Létrehozta a Kereskedelmi Múzeumot, amely kezdetben mintaraktárként működött, szolgálva a hazai termékek népszerűsítését, a piacorientált termelést.
Perspektivikus céljai, tenni akarása, hazaszeretete, szolgálni tudása, mai szóhasználattal menedzser szemlélete a jelenkor emberének is tanulsággal szolgál. Életrajzírója, Petrasovics László 1892-ben megjelent könyvében tömören jellemzi Baross Gábor politikusi, képviselői tevékenységét: „Nem kicsinyes pártpolitikai, vagy önző célokért való küzdésben látta ő a képviselői kötelességek teljesítését, hanem abban a törekvésben, mely mindenben a nemzetnek akar hasznára válni.” Még nem volt 44 éves, amikor 1892. május 9-én megfeszített munkatempója és tenni akarása felőrölte szervezetét. A magyar állam által építtetett mauzóleumban nyugszik Klobusicon, Illava mellett a Vág völgyében.