A gépészmérnöki diploma megszerzése után az egyetem repülőgép javító és építő műhelyében Bánhidi Antal helyettese lett, valamint tanára is volt az egyetemnek. A motoros pilótavizsgát 1932-ben szerezte meg. Kezdetben berepülőpilóta volt, vitorlázó és motoros repüléssel, később vitorlázórepülő oktatással és repülőgép tervezéssel foglalkozott. 1937-ban Mitter Lajossal megalapította az Aero-Ever Kft. vitorlázó repülőgép gyártó üzemét, melynek vezetője, majd üzemigazgatója lett. Élete során 28 könnyűfém szerkezetű vitorlázó vitorlázó repülő típust tervezett, ezek voltak többek között a Vöcsök, a Tücsök, a Pilis, a Cimbora, a Kevély, a Móka, a Futár, a Gébics és a kétkormányos kiképzőgép, a Góbé. Ezenfelül 3 motoros sportrepülőgép tervezése is nevéhez fűződik. A legismertebb magyar repülőgép tervező mérnökként tartjuk számon. Tagja volt a Járművek szerkesztőbizottságának is. Kiemelkedő munkássága, példaértékű oktató-nevelő munkája eredményeként sok ezren szerették meg és váltak odaadó híveivé a repülésnek. A Kossuth díjas oktató és tervező repülőgépein generációk nevelkedtek, tevékenysége elválaszthatatlan a magyar repülés történetétől. 1957-ben a FAI Tissandier diplomával ismerte el munkásságát. 1996. március 21-én a „kimagaslóan sikeres feltalálói tevékenység, valamint a kiemelkedő színvonalú és hatékonyságú iparjogvédelmi munkásság” elismerésére alapított Jedlik Ányos-díjat nyújtotta át Rubik Ernő feltalálónak, egyetemi tanárnak, a Magyar Mérnökakadémia elnökének a Magyar Szabadalmi Hivatal elnöke. A díjat kimagasló, világhírű feltalálói tevékenységéért, a művészeti és műszaki felsőoktatás módszertani fejlesztéséért és példamutató innovációs támogató munkásságáért vehette át.
Az 1997. február 13-án elhunyt Rubik Ernő egész életében a repülésnek élt, szolgálta a hazai repülés ügyét. A Magyar Közlekedési Közművelődésért Alapítvány tiszteletbeli elnökének sírja a Fiumei úti Sírkertben, a repülőknek kialakított 47-es parcellában található. Fia, Ifj. Rubik Ernő tervezte a világsikerű Bűvös Kockát.