Jika saya berada dalam situasi itu, saya akan melihat sebuah database yang dapat menyimpan semua data dalam satu file dengan indeks yang kompak dan berbasis offset, bukan sebagai file yang terpisah. Mungkin basis data yang memiliki driver FUSE tersedia untuk berinteraksi dengannya sebagai file bila perlu, tanpa mereka sebenarnya MENJADI file terpisah.
Sebagai alternatif, Anda dapat melihat katakanlah, persentil ke-60 - 70 dari ukuran file, dan mencoba menyesuaikan ukuran file tersebut langsung ke node tree sistem file, daripada sebagai blok terpisah pada disk. Menyimpan 10k di setiap node mungkin merupakan pertanyaan besar, tetapi jika Anda bisa mendapatkan 60% -70% file di sana, itu mungkin akan menjadi kemenangan besar.
Hanya filesystem tertentu yang dapat melakukan itu sama sekali (reiserfs adalah satu), dan saya kira itu semua tergantung pada ukuran persentil itu, apakah itu AKAN pas di pohon. Anda mungkin dapat menyetelnya. Saya kira coba untuk memasukkan sisanya ke dalam satu blok.
Dan jangan khawatir tentang jurnal; mereka memiliki batas ukuran atas pula.