Pada 21 Oktober 2026, terjadi dua cerita dalam satu pagi tentang kelas data yang sama — rahasia yang hidup dalam variabel lingkungan. Pada pukul 11:39 UTC, versi yang terinfeksi LiteLLM 1.107.0 dirilis di PyPI — gerbang populer untuk model bahasa yang digunakan dalam banyak agen AI dan pipeline parsing. Pada hari yang sama, platform cloud Railway melaporkan bahwa pihak ketiga mungkin telah mengakses penyimpanan variabel lingkungan pelanggan, dan sebagian dari mereka — nilai yang telah didekripsi. Jika scraper, bot, atau agen Anda berjalan di Python atau di PaaS, mari kita lihat apa yang sebenarnya bocor, bagaimana memeriksa diri Anda, dan dalam urutan apa mengganti kunci — termasuk login dan kata sandi proxy.
Apa yang Terjadi dengan LiteLLM 1.107.0
Menurut Datadog Security Labs, para penyerang menggunakan token OAuth yang dicuri dari GitHub CLI milik tiga insinyur proyek. Dengan bantuan mereka, mereka menjalankan workflow rilis tertutup LiteLLM, tetapi mengumpulkannya dari fork palsu Berri-AI/litellm — yang berbeda dari yang asli BerriAI/litellm hanya dengan satu tanda hubung. Peluncuran ini dikonfirmasi oleh mereka sendiri, jejak dihapus, dan dalam tanda tangan asal build (provenance) tetap tertulis nama fork tersebut.
- 11:39 UTC — versi 1.107.0 dipublikasikan di PyPI;
- 13:20 UTC — PyPI menempatkannya dalam karantina;
- 13:53 UTC — gambar Docker yang terinfeksi dihapus.
Jendela — sekitar dua jam, tetapi paket tersebut, menurut perkiraan Datadog, memiliki sekitar 23 juta unduhan per minggu. Tidak hanya tujuh file wheel untuk macOS, Linux, dan Windows yang terinfeksi, tetapi juga gambar resmi di GHCR dan Docker Hub. Tag mengambang latest, main-latest, dan main-stable pada hari itu menunjuk ke gambar berbahaya. Artinya, siapa pun yang kontainernya dibangun ulang atau di-restart dengan menarik "versi terbaru", bahkan jika mereka tidak memperbarui apa pun secara manual, bisa terkena dampak.
Ini adalah kasus kedua dengan LiteLLM pada tahun 2026: pada bulan Maret, versi 1.82.7 dan 1.82.8 telah dikompromikan. Hubungan antara insiden ini, seperti yang dicatat oleh Datadog, belum ditentukan. Versi bersih terakhir adalah 1.106.2.
Mengapa Menghapus Paket Tidak Cukup
Trik utama dari serangan ini adalah mekanisme auto-start Python. Bersama dengan paket, tiga file disisipkan ke dalam site-packages: cook.pth, cook.py, dan sitecustomize.py. File dengan ekstensi .pth dan modul sitecustomize dieksekusi setiap kali interpreter dimulai. Seperti yang dijelaskan oleh Endor Labs, di dalam cook.pth terdapat satu baris import cook — dan ini cukup untuk pemungut rahasia berfungsi di setiap proses Python di mesin, bahkan jika LiteLLM tidak diimpor di mana pun.
- Pemungut (cook.py) mengemas yang ditemukan, mengenkripsi dengan AES-256 dengan pembungkus kunci RSA-4096 dan mengirimkan dengan POST ke
www.litellm[.]dev/healthcheck— domain yang sengaja mirip dengan yang asli. - Backdoor (sitecustomize.py) membaca alamat server dari file di GitHub setiap jam dan menjalankan kode yang dikirim dari sana tanpa memeriksa tanda tangan. Menurut Datadog, file tersebut hanya berisi nilai uji, dan tidak ada tahap kedua yang terdeteksi.
- Ketahanan:
pip uninstall litellmtidak menghapus file, dan setiap kali python atau pip dijalankan, pemungut akan dijalankan kembali. Oleh karena itu, para peneliti menyarankan untuk memeriksa mesin yang terinfeksi dengan alat yang tidak berbasis Python.
Apa yang Dicari oleh Pemungut
Daftar targetnya luas — pada dasarnya, semua yang dilihat oleh proses:
- semua variabel lingkungan yang tidak kosong, dan di Linux — juga lingkungan proses lain;
- file .env, konfigurasi CI, Docker, dan Kubernetes, rahasia akun layanan;
- kunci cloud AWS, GCP, Azure, termasuk layanan metadata instance;
- kunci SSH, GPG, dan TLS, token Git, npm, dan PyPI, file .netrc;
- kata sandi yang disimpan dan cookies dari browser Chromium dan Firefox;
- kunci dan sesi alat AI: Claude, Codex, Gemini, Cursor, Copilot, dan lainnya;
- jika LiteLLM Proxy diatur — hingga 500 baris dari tabel dengan kunci penyedia model;
- riwayat shell command.
Dalam analisis tidak ada penyebutan terpisah untuk variabel HTTP_PROXY dan HTTPS_PROXY. Namun, karena pemungut mengambil semua variabel lingkungan, .env, dan riwayat shell, kredensial proxy secara otomatis terambil: di situlah biasanya mereka disimpan. Baris seperti http://login:password@host:port di HTTPS_PROXY, di .env parser, atau dalam perintah curl dari riwayat — adalah rahasia yang sama pentingnya dengan kunci cloud.
Railway: Kebocoran Bukan dari Kode, tetapi dari Platform
Railway dalam pengumumannya pada 21 Oktober menyatakan bahwa mereka melihat aktivitas aneh di sistem yang menyimpan variabel lingkungan pelanggan pada pagi hari. Menurut data saat ini, pihak ketiga mungkin telah mengakses variabel yang terenkripsi, dan sebagian dari mereka — konten yang telah didekripsi. Deploy ditangguhkan. Skala perusahaan tidak disebutkan: mereka berbicara tentang "sebagian pengguna" dan berjanji untuk memberi tahu yang terkena langsung, tetapi menyarankan semua orang untuk mengambil langkah pencegahan:
- mengganti semua variabel lingkungan di Railway, termasuk kunci API;
- mengganti kredensial registri pribadi;
- memeriksa log layanan untuk aktivitas yang tidak biasa.
Perusahaan mengaitkan insiden ini dengan serangkaian serangan terhadap layanan platform, yang tujuannya adalah untuk mendapatkan kunci penyedia inferensi AI; penyedia telah diperingatkan, dan mereka menarik kembali kunci. Dalam pembaruan pada 23 Oktober, Railway juga merekomendasikan untuk menyambungkan kembali GitHub dan membuat ulang token CLI dan CI.
Kesamaan dari dua cerita ini sederhana: variabel lingkungan — bukan brankas. Ini adalah daftar rahasia umum yang nyaman, yang dapat dibaca oleh kode mana pun dalam proses dan disimpan oleh platform mana pun tempat Anda melakukan deploy.
Bagaimana Memeriksa Apakah Anda Terkena Dampak
- Cari versi dalam dependensi. Periksa requirements.txt, poetry.lock, uv.lock, dan log CI pada 21 Oktober untuk
litellm==1.107.0. Perhatikan dependensi transitif: LiteLLM sering menarik framework agen, bukan Anda secara langsung. - Cari file di site-packages. Keberadaan cook.pth atau sitecustomize.py yang tidak dikenal — adalah tanda langsung. Cari melalui
find, bukan dengan skrip Python. - Periksa gambar. Jika Anda menarik
litellm/litellm:latestataumain-stablepada 21 Oktober, bandingkan digest dengan indikator yang dipublikasikan. - Cari tanda di /tmp:
/tmp/.pc_once_72129118c59f5636c0bbdan/tmp/remote_code_loader.lock. - Periksa log jaringan untuk permintaan ke
litellm[.]devdan jalur yang diakhiri dengan/codepy. - Railway — periksa email dan halaman status insiden, tetapi jangan berharap surat: rekomendasi untuk mengganti kunci berlaku untuk semua orang.
Jika ada yang ditemukan — lebih baik membangun ulang mesin dari gambar bersih, daripada membersihkannya di tempat, dan mengganti kunci dari perangkat lain yang jelas bersih.
Urutan Mengganti Rahasia
Mengganti "semua" — adalah langkah yang benar, tetapi dalam praktiknya ini bisa memakan waktu berhari-hari. Urutan harus dipilih berdasarkan biaya kerugian dan seberapa cepat kunci dapat digunakan:
- Kunci cloud dan pembayaran — AWS/GCP/Azure, kunci penyedia LLM, master key LiteLLM Proxy. Kunci ini dapat dengan cepat "menghabiskan" uang.
- Git, npm, PyPI, registri gambar, dan token CI — melalui mereka serangan dapat berlanjut, menuju pengguna Anda. Sejarah LiteLLM dimulai dengan token CLI yang dicuri.
- Database dan kunci SSH.
- Login dan kata sandi proxy. Orang asing dengan kredensial Anda menggunakan trafik yang sudah Anda bayar dan mengakses jaringan dengan IP Anda — dan konsekuensi dalam bentuk pemblokiran dan captcha akan datang ke akun Anda.
- Sesi browser dan alat AI — keluar dari semua tempat dan masuk kembali.
Untuk proxy, ada sinyal awal yang sederhana: pengeluaran trafik yang tidak dapat Anda jelaskan. Jika saldo di dashboard Anda berkurang lebih cepat dari biasanya atau jumlah permintaan meningkat pada jam-jam ketika tugas Anda tidak berjalan, — kredensial digunakan oleh seseorang.
Bagaimana Mengatur Kredensial Proxy Agar Kebocoran Murah
Sepenuhnya melindungi diri dari paket beracun tidak mungkin, tetapi Anda dapat mengatur agar kebocoran hanya mempengaruhi satu tugas, bukan seluruh tumpukan.
- Proxy terpisah untuk setiap tugas dan lingkungan. Jangan gunakan satu login untuk parser produksi, pengembangan lokal, dan CI. Jika kunci bocor dari CI, Anda hanya mematikan satu proxy, bukan menghentikan semuanya. Di ProxyCove, setiap proxy yang dibeli adalah pasangan login/kata sandi yang terpisah, jadi pemisahan seperti itu tidak ada biayanya: untuk pemantauan harga — proxy residensial, untuk permintaan teknis massal, di mana IP "rumahan" tidak diperlukan — proxy pusat data.
- Jangan simpan kredensial dalam string HTTPS_PROXY secara global. Variabel global terlihat oleh setiap proses dan setiap paket. Lebih aman untuk mengirim proxy hanya ke klien yang diperlukan atau mengatur gateway lokal yang hanya mengetahui kata sandi, — cara melakukannya dengan gost, 3proxy, atau Squid, telah kami bahas dalam artikel tentang gateway lokal untuk proxy dengan kata sandi.
- Simpan rahasia dalam manajer rahasia, bukan di .env dalam repositori atau riwayat shell. Aturan umum — dalam panduan kami tentang penyimpanan kredensial proxy yang aman.
- Jaga saldo trafik kecil pada proxy yang berada di lingkungan berisiko seperti CI atau stand pengujian: batas kerugian sama dengan saldo.
Apa yang Harus Diubah dalam Build
Kebanyakan orang yang terkena dampak LiteLLM tidak menderita karena "kode buruk", tetapi karena kebiasaan build. Beberapa saran di bawah ini — berasal dari analisis Datadog dan Endor Labs, beberapa adalah kebersihan build yang biasa:
- tetapkan versi dengan hash dalam file lock, dan gambar — berdasarkan digest, bukan tag latest;
- jangan perbarui dependensi pada hari rilis: penundaan singkat sebelum menerima versi baru memotong sebagian besar serangan dengan jendela beberapa jam;
- perhatikan munculnya file .pth baru dan sitecustomize.py dalam paket pihak ketiga — untuk perpustakaan biasa ini jarang terjadi;
- perlakukan token CLI pengembang seperti kunci produksi dan izinkan workflow rilis hanya dari repositori dan cabang yang tepercaya;
- jalankan parser dalam kontainer terisolasi dengan minimum rahasia: proses yang mengumpulkan harga tidak memerlukan kunci cloud dan SSH.
Kesimpulan
LiteLLM dan Railway menunjukkan dua sisi dari satu masalah: rahasia bocor baik dari bawah, melalui dependensi yang bahkan tidak Anda impor, maupun dari atas, melalui platform yang Anda percayakan kepada mereka. Jika pada 21 Oktober Anda menginstal atau membangun ulang lingkungan Python dengan LiteLLM atau melakukan deploy di Railway — ganti kunci sekarang, mulai dari cloud dan token CI, dan jangan lupa tentang proxy. Dan untuk masa depan, pisahkan kredensial proxy berdasarkan tugas dan lingkungan: maka kebocoran berikutnya akan mengakibatkan pemutusan satu login, bukan penghentian seluruh proses parsing.
