В тридцатых годах XX века в разных странах начались разработки принципиально иных устройств — программно-управляемых релейных вычислительных машин. Считается, что первая в мире программно-управляемая электромеханическая вычислительная машина под названием «Z-3» была создана Конрадом Цузе в Германии в 1939-1941 годах. Эта машина могла «помнить» до 64 чисел одновременно и выполняла сложение двух чисел за 0,3 с (секунды), а умножение — за 5 с. Однако возможности и этой, и созданной после войны более совершенной модели «Z-4» по составлению программ были достаточно скромными. В частности, не было возможности осуществлять программный выбор одного из нескольких возможных вариантов действий. Это не позволяет считать «Z-3» универсальной вычислительной машиной.

Полностью идеи Чарльза Бэббиджа впервые были реализованы в машине «Марк-1», разработанной в фирме IBM под руководством Говарда Айкена в 1937-1944 годах. Эта машина считается первой в мире универсальной программно-управляемой вычислительной машиной. Вместе с тем устройство для выполнения арифметических действий в машине «Марк-1» было чисто механическим. Затем, в 1947 году, была построена полностью релейная (то есть электромеханическая) машина «Марк-2». Она выполняла одну операцию умножения за 0,7 с.