Pass при генерации затирает запись полностью. Для того, чтобы заменить только строку с паролем (первая строка считается паролем) используем параметр --in-place или короткую версию -i:
pass generate --in-place My/password 2424 - длина генерируемого пароля, подробнее в man pass.