После подсказки rm9wy разобрался и проверил, переключение мод происходит. Моды в eqf не зависят от того, что написано в телнете... Управление модами происходит только в зависимости от частоты, а управляется в меню --> установки --> редактор диапазонов и модуляции. При этом для обычной работы цифровых мод типа rtty psk в трансивере должна стоять SSB. В rtty конечно возможно использование прямой модуляции через спецвход RTTY на трансивере.
Так что редактируя диапазоны и модуляцию в UR5EQF можно получить переключение модов как душе угодно, в зависимости от частоты на трансивере.