В нейронном представлении нет чисел как таковых, и делать числовую обработку на таком представлении неудобно. Оно еще гораздо дальше от чисел, чем текст. В чем, собственно, и проблема.

Но можно попробовать пропустить последний этап формирования текста и скармливать в парсер арифмометра непосредсвенно embeddings, и его результат конвертировать тоже в embeddings. В этом смысле исследования оптимального представления эмбеддингов для кодирования чисел может быть полезно.