Грамматический словарь Зализняка (склонения слова):
Ин-октаво
ин-окта́во
нареч.
Размером в восьмую часть листа, в восьмушку (о формате книги, журнала и т. п.).
Книга издана ин-октаво.
[лат. in octavo]
ин-окта́во
ИН-ОКТАВО нареч. [лат. in octavo] Устар. Размером в восьмую часть листа, в восьмушку (о формате книги, журнала и т.п.). Книга издана ин-октаво.
ИН-ОКТ’АВО (от ·лат. in — "в" и octavus — восьмой) (·тип. ).
1. нареч. В восьмую часть листа, в восьмушку. Книга напечатана ин-октаво.
2. То же, в знач. нескл. прил. Книга ин-октаво.
3. в знач. нескл. сущ., ·муж. и ср. Книга в восьмушку.