Это нормально для баз данных всех типов и всех размеров. Кэш, как правило не готов для выполнения какой-то команды. Следующие запросы идут быстрее.
Но 0.03 секунды для первого запроса - это очень быстро, никакой контестмен не заметит. Причем задержка не зависит от к-ва записей в таблице. Проверил при 10 и 200 тыс записей - одинаково.