Además de su afición por el boxeo, Javier era un apasionado del billar y del dominó, los cuales casi practicaba todos los días en unos billares adyacentes al centro nocturno Azteca, lugar que lo vio nacer como un grande de la canción ranchera. Con su sencillez característica, Javier vacilaba con todos y no hacía distinciones. En esos billares se le recordaba con mucho cariño, pues aún cuando fue ya famoso, seguía frecuentando el lugar.
Los duelos de carambola que más se recuerdan son los que escenificaba Javier y el cantante del Mariachi México, Carlos De Anda, a quién nunca le podía ganar. Se cuenta que no hubo ni una ocasión en que Javier saliera victorioso. Sin embargo a manera de venganza; un tanto infantil Javier le decía: “Si viejo, tú serás muy bueno aquí en el billar, pero cantando me haces los mandados”. Aunque esto era en son de broma, si hacía que De Anda se retorciera de coraje.
