Родился в 1910 году в деревне Ной Канского уезда. Родители выехали из Эстонии в годы реакции, наступившей после 1905 года.
Семилетку окончил в деревне Островка Манского района.
В 1927 году поступает учиться в Ленинград, в летную школу. Продолжал учебу в Оренбурге. Затем работал в Оренбургской военно-авиационной школе летчиком-инструктором.
В 1937 году участвовал в поиске летного экипажа С. Леваневского в Арктике. Сам стал полярным летчиком.
Первым боевым заданием Э. Пусэпа в годы Отечественной войны была бомбежка Берлина 8 августа 1941 года.