В принципе, - "элементарно, Ватсон!"
Но!
Желательно знать своего разрешителя (условие не обязательное, но желательное) и быть уверенным, что "нелегал" не состоит на учете как ворованный или в розыске по другим причинам (условие - обязательное! Если оно в розыске по какой-то причине, лучше вообще не влезать! А узнать, в розыске ли оно, можно опять же через разрешителя (можно - любого, так как база едина для всей страны) или мента грамотного.
Если же уверен тв "чистоте" ружжа (например, твердо знаешь, что дедушка ружье купил лет сто назад в Сибири во время ссылки, привез сюда, но не регистрировал, и оно спокойно пропылилось на чердаке), то так и пишешь в заявлении в разрешиловку (предварительно получив разрешение для себя на приобретение ружья): "Пять (2, 3, 10) лет назад помер дедушка. При разборе завалов на чердаке его дома, в хламе обнаружил ружье, которое, по рассказам бабушки, дед привез из Сибири лет ...цать назад.
Прошу зарегистрировать данное ружье на меня, разрешение имею от 00.01.2011 № 1234"
Проблем обычно не было.