Грамматический словарь Зализняка (склонения слова):
Пятерня, пятерни, пятерни, пятерней, пятерне, пятерням, пятерню, пятерни, пятернёй, пятернёю, пятернями, пятерне, пятернях
пятерня́
-и, род. мн. -ей, ж. прост.
Кисть руки, пять пальцев руки.
Ребенок опять засмеялся, уставился на сундук и вдруг схватил свою мать всею пятерней за нос и за губы. Тургенев, Отцы и дети.
[Солдат] начинает яростно скрести пятерней: сначала голову, затем грудь. Куприн, Ночная смена.
ПЯТЕРНЯ, и, мн. и, ей, ж. (разг.). Пять пальцев руки вместе с ладонью. Залез в карман всей пятернёй.
пятерня́
ПЯТЕРНЯ -и; мн. род. -ей; ж. Разг. Кисть руки, пять пальцев руки. Влезть в тесто всей пятернёй. Зажать в пятерне рубль. Протятнуть кому-л. свою пятерню (для рукопожатия).
ПЯТЕРН’Я, пятерни, род. мн. пятерней, ·жен. (·разг. ·фам. ). Ладонь руки с разжатыми пальцами. «Бывало, как ударит всей пятерней по столу, да вскрикнет.» Гоголь. «Меркулов почесал всей пятерней свой большой нос.» Чехов.