Vào ngày 21 tháng 10 năm 2026, trong một buổi sáng đã xảy ra hai câu chuyện về cùng một loại dữ liệu — những bí mật sống trong các biến môi trường. Vào lúc 11:39 UTC, một phiên bản độc hại của LiteLLM 1.107.0 — một cổng thông dụng đến các mô hình ngôn ngữ, đã được phát hành trên PyPI, mà nhiều đại lý AI và pipeline phân tích sử dụng. Cùng ngày, nền tảng đám mây Railway thông báo rằng một bên thứ ba có thể đã truy cập vào kho lưu trữ các biến môi trường của khách hàng, và một phần trong số đó — vào các giá trị đã được giải mã. Nếu scraper, bot hoặc đại lý của bạn chạy trên Python hoặc trong PaaS, hãy tìm hiểu xem điều gì đã bị rò rỉ, cách kiểm tra bản thân và thứ tự thay đổi các khóa — bao gồm cả tên đăng nhập và mật khẩu proxy.
Điều gì đã xảy ra với LiteLLM 1.107.0
Theo thông tin từ Datadog Security Labs, những kẻ tấn công đã sử dụng các mã thông báo OAuth bị đánh cắp từ GitHub CLI của ba kỹ sư trong dự án. Với sự trợ giúp của chúng, họ đã khởi động một workflow phát hành kín của LiteLLM, nhưng đã thu thập nó từ một fork giả mạo Berri-AI/litellm — nó khác với phiên bản thật BerriAI/litellm chỉ với một dấu gạch nối. Việc khởi động đã được xác nhận bởi chính họ, dấu vết đã bị xóa, và trong chữ ký nguồn gốc của bản dựng (provenance) vẫn giữ nguyên tên của fork.
- 11:39 UTC — phiên bản 1.107.0 được công bố trên PyPI;
- 13:20 UTC — PyPI đã đưa nó vào cách ly;
- 13:53 UTC — các hình ảnh Docker bị nhiễm đã bị xóa.
Cửa sổ — khoảng hai giờ, nhưng theo ước tính của Datadog, gói này có khoảng 23 triệu lượt tải xuống mỗi tuần. Không chỉ bảy tệp wheel cho macOS, Linux và Windows bị nhiễm, mà còn cả các hình ảnh chính thức trên GHCR và Docker Hub. Các thẻ nổi latest, main-latest và main-stable trong ngày hôm đó đã chỉ vào hình ảnh độc hại. Điều đó có nghĩa là bất kỳ ai đã xây dựng lại hoặc khởi động lại container với việc kéo "phiên bản mới nhất", ngay cả khi bản thân họ không cập nhật gì bằng tay, đều có thể bị ảnh hưởng.
Đây là trường hợp thứ hai với LiteLLM trong năm 2026: vào tháng 3, các phiên bản 1.82.7 và 1.82.8 đã bị xâm phạm. Mối liên hệ giữa các sự cố, như Datadog đã lưu ý, vẫn chưa được xác định. Phiên bản sạch cuối cùng là 1.106.2.
Tại sao việc xóa gói là không đủ
Mánh khóe chính của cuộc tấn công là cơ chế tự khởi động của Python. Cùng với gói, ba tệp đã được đặt vào site-packages: cook.pth, cook.py và sitecustomize.py. Các tệp có phần mở rộng .pth và mô-đun sitecustomize được Python thực thi mỗi khi khởi động trình thông dịch. Như Endor Labs đã phân tích, trong cook.pth chỉ có một dòng import cook — và điều đó đủ để trình thu thập bí mật hoạt động trong mọi quy trình Python trên máy, ngay cả khi LiteLLM không được nhập ở bất kỳ đâu.
- Trình thu thập (cook.py) đã đóng gói những gì tìm thấy, mã hóa bằng AES-256 với khóa RSA-4096 và gửi qua POST đến
www.litellm[.]dev/healthcheck— miền này được thiết kế đặc biệt để giống với miền thật. - Backdoor (sitecustomize.py) cứ mỗi giờ lại đọc địa chỉ máy chủ từ một tệp trên GitHub và thực thi mã được gửi từ đó mà không kiểm tra chữ ký. Theo thông tin từ Datadog, trong tệp chỉ có các giá trị thử nghiệm, không ghi nhận giai đoạn thứ hai.
- Sự sống còn:
pip uninstall litellmkhông xóa các tệp, và mỗi lần khởi động python hoặc pip lại khởi động trình thu thập. Do đó, các nhà nghiên cứu khuyên nên kiểm tra máy bị nhiễm bằng các công cụ không phải trên Python.
Trình thu thập đang tìm kiếm điều gì
Danh sách mục tiêu rất rộng — về cơ bản, mọi thứ mà quy trình nhìn thấy:
- tất cả các biến môi trường không rỗng, và trên Linux — cả môi trường của các quy trình khác;
- các tệp .env, cấu hình CI, Docker và Kubernetes, bí mật của các tài khoản dịch vụ;
- khóa của các đám mây AWS, GCP, Azure, bao gồm cả dịch vụ siêu dữ liệu của phiên bản;
- khóa SSH, GPG và TLS, mã thông báo Git, npm và PyPI, tệp .netrc;
- mật khẩu đã lưu và cookies của các trình duyệt Chromium và Firefox;
- khóa và phiên của các công cụ AI: Claude, Codex, Gemini, Cursor, Copilot và những cái khác;
- nếu đã thiết lập cơ sở dữ liệu LiteLLM Proxy — lên đến 500 dòng từ các bảng với các khóa của nhà cung cấp mô hình;
- lịch sử của shell.
Trong các phân tích không có đề cập riêng biệt đến các biến HTTP_PROXY và HTTPS_PROXY. Nhưng vì trình thu thập đã lấy tất cả các biến môi trường, .env và lịch sử shell, các thông tin proxy đã tự động bị rơi vào bẫy: chính nơi đó chúng thường được lưu giữ. Dòng có dạng http://login:password@host:port trong HTTPS_PROXY, trong .env của trình phân tích hoặc trong lệnh curl từ lịch sử — cũng là một bí mật như khóa đám mây.
Railway: rò rỉ không phải từ mã, mà từ nền tảng
Railway trong thông báo của mình vào ngày 21 tháng 10 cho biết, vào buổi sáng đã phát hiện hoạt động bất thường trong các hệ thống lưu trữ các biến môi trường của khách hàng. Theo thông tin hiện tại, một bên thứ ba có thể đã truy cập vào các biến đã được mã hóa, và một phần trong số đó — vào nội dung đã được giải mã. Các triển khai đã được tạm dừng. Công ty không công bố quy mô: họ nói về "một phần người dùng" và hứa sẽ thông báo trực tiếp cho những người bị ảnh hưởng, nhưng khuyên tất cả nên đề phòng:
- thay đổi tất cả các biến môi trường trong Railway, bao gồm cả các khóa API;
- thay đổi thông tin đăng nhập của các kho riêng tư;
- kiểm tra nhật ký dịch vụ để tìm hoạt động bất thường.
Công ty liên kết sự cố với một loạt các cuộc tấn công vào các dịch vụ nền tảng, mục tiêu là để lấy được các khóa của các nhà cung cấp AI-inference; các nhà cung cấp đã được cảnh báo và họ đang thu hồi các khóa. Trong bản cập nhật vào ngày 23 tháng 10, Railway cũng khuyến nghị kết nối lại GitHub và tái tạo các mã thông báo CLI và CI.
Điểm chung của hai câu chuyện rất đơn giản: các biến môi trường — không phải là một két an toàn. Đây là một danh sách chung tiện lợi của các bí mật, mà bất kỳ mã nào trong quy trình cũng có thể đọc và bất kỳ nền tảng nào mà bạn triển khai cũng lưu trữ.
Cách kiểm tra xem bạn có bị ảnh hưởng hay không
- Tìm phiên bản trong các phụ thuộc. Kiểm tra requirements.txt, poetry.lock, uv.lock và nhật ký CI vào ngày 21 tháng 10 về
litellm==1.107.0. Hãy chú ý đến các phụ thuộc chuyển tiếp: LiteLLM thường được kéo bởi các framework của các đại lý, chứ không phải bạn trực tiếp. - Tìm các tệp trong site-packages. Sự hiện diện của cook.pth hoặc sitecustomize.py bên ngoài — là dấu hiệu rõ ràng. Hãy tìm qua
find, không phải bằng script trên Python. - So sánh các hình ảnh. Nếu bạn đã kéo
litellm/litellm:latesthoặcmain-stablevào ngày 21 tháng 10, hãy so sánh digest với các chỉ số đã công bố. - Tìm các dấu hiệu trong /tmp:
/tmp/.pc_once_72129118c59f5636c0bbvà/tmp/remote_code_loader.lock. - Kiểm tra nhật ký mạng cho các yêu cầu đến
litellm[.]devvà các đường dẫn kết thúc bằng/codepy. - Railway — kiểm tra email và trang trạng thái của sự cố, nhưng đừng mong đợi một bức thư: khuyến nghị thay đổi khóa áp dụng cho tất cả mọi người.
Nếu tìm thấy điều gì đó — tốt hơn là xây dựng lại máy từ hình ảnh sạch, hơn là làm sạch tại chỗ, và thay đổi các khóa từ một thiết bị khác, rõ ràng là sạch sẽ.
Thứ tự thay đổi các bí mật
Thay đổi "tất cả" — là đúng, nhưng trên thực tế điều này kéo dài trong nhiều ngày. Thứ tự nên được chọn theo mức độ thiệt hại và tốc độ mà khóa có thể được sử dụng:
- Khóa đám mây và thanh toán — AWS/GCP/Azure, khóa của các nhà cung cấp LLM, khóa chính của LiteLLM Proxy. Trên chúng có thể nhanh chóng "bị đốt" tiền.
- Git, npm, PyPI, kho hình ảnh và mã thông báo CI — qua chúng cuộc tấn công đi xa hơn, đến người dùng của bạn. Lịch sử của LiteLLM thực sự bắt đầu với các mã thông báo CLI bị đánh cắp.
- Cơ sở dữ liệu và khóa SSH.
- Tên đăng nhập và mật khẩu proxy. Một người lạ với thông tin đăng nhập của bạn sẽ tiêu tốn băng thông đã thanh toán của bạn và truy cập mạng từ các IP của bạn — và hậu quả dưới dạng cấm và captcha sẽ đến với các tài khoản của bạn.
- Phiên của trình duyệt và công cụ AI — đăng xuất ở mọi nơi và đăng nhập lại.
Đối với proxy có một tín hiệu sớm đơn giản: tiêu thụ băng thông mà bạn không thể giải thích. Nếu số dư trong tài khoản của bạn giảm nhanh hơn bình thường hoặc số lượng yêu cầu tăng lên vào những giờ mà các tác vụ của bạn không hoạt động, — có thể ai đó đang sử dụng thông tin đăng nhập của bạn.
Cách tổ chức thông tin đăng nhập proxy để rò rỉ có giá rẻ
Không thể hoàn toàn bảo vệ khỏi gói bị nhiễm, nhưng bạn có thể làm cho việc rò rỉ chỉ ảnh hưởng đến một tác vụ, chứ không phải toàn bộ stack.
- Proxy riêng cho mỗi tác vụ và môi trường. Đừng giữ một tên đăng nhập cho trình phân tích sản xuất, phát triển cục bộ và CI. Nếu khóa bị rò rỉ từ CI, bạn chỉ cần tắt một proxy, chứ không phải dừng tất cả. Trong ProxyCove, mỗi proxy mua được là một cặp tên đăng nhập/mật khẩu riêng biệt, vì vậy việc phân chia này không tốn kém: dưới sự giám sát giá — proxy dân cư, cho các yêu cầu kỹ thuật hàng loạt, nơi không cần IP "nhà", — proxy trung tâm dữ liệu.
- Đừng đặt thông tin đăng nhập vào biến HTTPS_PROXY toàn cầu. Biến toàn cầu có thể nhìn thấy bởi mọi quy trình và mọi gói. An toàn hơn khi chỉ truyền proxy đến khách hàng cần thiết hoặc thiết lập một gateway cục bộ, mà chỉ có một người biết mật khẩu, — cách thực hiện điều này trên gost, 3proxy hoặc Squid, chúng tôi đã thảo luận trong bài viết về gateway cục bộ cho proxy với mật khẩu.
- Lưu trữ bí mật trong trình quản lý bí mật, chứ không phải trong .env trong kho mã hoặc lịch sử shell. Các quy tắc chung — trong hướng dẫn của chúng tôi về việc lưu trữ an toàn thông tin đăng nhập proxy.
- Giữ một số dư băng thông nhỏ trên các proxy, mà hoạt động trong các môi trường rủi ro như CI hoặc các môi trường thử nghiệm: mức thiệt hại tối đa bằng với số dư.
Điều gì cần thay đổi trong bản dựng
Phần lớn những người bị ảnh hưởng bởi LiteLLM không bị thiệt hại do "mã xấu", mà do thói quen xây dựng. Một số lời khuyên dưới đây — từ các phân tích của Datadog và Endor Labs, một phần — là vệ sinh thông thường trong xây dựng:
- cố định phiên bản với các hash trong các tệp lock, và hình ảnh — theo digest, không phải theo thẻ latest;
- không cập nhật phụ thuộc vào ngày phát hành: một khoảng thời gian ngắn trước khi nhận các phiên bản mới sẽ loại bỏ hầu hết các cuộc tấn công với cửa sổ vài giờ;
- theo dõi sự xuất hiện của các tệp .pth mới và sitecustomize.py trong các gói bên ngoài — đối với một thư viện thông thường, điều này là hiếm gặp;
- đối xử với các mã thông báo CLI của các nhà phát triển như các khóa từ môi trường sản xuất và chỉ cho phép workflow phát hành từ các kho và nhánh đáng tin cậy;
- chạy các trình phân tích trong các container cách ly với tối thiểu các bí mật: quy trình thu thập giá không cần các khóa đám mây và SSH.
Kết luận
LiteLLM và Railway đã cho thấy hai mặt của một vấn đề: các bí mật rò rỉ từ dưới lên, qua một phụ thuộc mà bạn thậm chí không nhập, và từ trên xuống, qua nền tảng mà bạn đã tin tưởng. Nếu vào ngày 21 tháng 10 bạn đã cài đặt hoặc xây dựng lại các môi trường Python với LiteLLM hoặc triển khai trên Railway — hãy thay đổi các khóa ngay bây giờ, bắt đầu từ đám mây và các mã thông báo CI, và đừng quên về proxy. Và trong tương lai, hãy phân tách các thông tin đăng nhập proxy theo các tác vụ và môi trường: như vậy, lần rò rỉ tiếp theo sẽ chỉ ảnh hưởng đến việc tắt một tên đăng nhập, chứ không phải dừng toàn bộ quá trình phân tích.
