Boa noite @matheuscosta.
Fala destes notebooks: lm3-portuguese.ipynb e lm3-portuguese-classifier-TCU-jurisprudencia.ipynb (nbviewer)?
Não usei o Google Colab para treiná-los mas GCP (um Tesla V100). O seu problema é especifique ao Colab e QRNN.
Testou esta solução Issues importing QRNN in Google Colab?