21 октября 2026 года за одно утро случились две истории про один и тот же класс данных — секреты, которые живут в переменных окружения. В 11:39 UTC в PyPI вышла отравленная версия LiteLLM 1.107.0 — популярного шлюза к языковым моделям, который стоит во многих ИИ-агентах и парсинг-пайплайнах. В тот же день облачная платформа Railway сообщила, что посторонний мог получить доступ к хранилищу переменных окружения клиентов, а у части из них — к расшифрованным значениям. Если ваш скрапер, бот или агент запускается на Python или в PaaS, разбираемся, что именно утекло, как проверить себя и в каком порядке менять ключи — включая логины и пароли прокси.
Что случилось с LiteLLM 1.107.0
По данным Datadog Security Labs, злоумышленники использовали украденные OAuth-токены GitHub CLI трёх инженеров проекта. С их помощью они запустили закрытый релизный workflow LiteLLM, но собрали его из поддельного форка Berri-AI/litellm — он отличается от настоящего BerriAI/litellm одним дефисом. Запуск подтвердили сами, следы удалили, а в подписи происхождения сборки (provenance) так и осталось имя форка.
- 11:39 UTC — версия 1.107.0 опубликована в PyPI;
- 13:20 UTC — PyPI поместил её в карантин;
- 13:53 UTC — удалены заражённые Docker-образы.
Окно — около двух часов, но у пакета, по оценке Datadog, порядка 23 млн скачиваний в неделю. Заражены были не только семь wheel-файлов под macOS, Linux и Windows, но и официальные образы на GHCR и Docker Hub. Плавающие теги latest, main-latest и main-stable в тот день указывали на вредоносный образ. Значит, пострадать мог любой, у кого контейнер пересобирался или перезапускался с подтягиванием «последней версии», даже если сам он ничего не обновлял руками.
Это уже второй случай с LiteLLM за 2026 год: в марте были скомпрометированы версии 1.82.7 и 1.82.8. Связь между инцидентами, как отмечает Datadog, не установлена. Последняя чистая версия — 1.106.2.
Почему удалить пакет недостаточно
Главная хитрость атаки — механизм автозапуска Python. Вместе с пакетом в site-packages ложились три файла: cook.pth, cook.py и sitecustomize.py. Файлы с расширением .pth и модуль sitecustomize Python выполняет при каждом старте интерпретатора. Как разбирает Endor Labs, в cook.pth была ровно одна строка import cook — и этого хватало, чтобы сборщик секретов срабатывал в любом Python-процессе на машине, даже если LiteLLM нигде не импортируется.
- Сборщик (cook.py) упаковывал найденное, шифровал AES-256 с обёрткой ключа RSA-4096 и отправлял POST-запросом на
www.litellm[.]dev/healthcheck— домен специально похож на настоящий. - Бэкдор (sitecustomize.py) раз в час читал адрес сервера из файла на GitHub и выполнял присланный оттуда код без проверки подписи. По данным Datadog, в файле лежали только тестовые значения, второй стадии не зафиксировали.
- Живучесть:
pip uninstall litellmфайлы не удаляет, а каждый запуск python или pip заново запускает сборщик. Поэтому исследователи советуют проверять заражённую машину инструментами не на Python.
Что именно искал сборщик
Список целей широкий — по сути, всё, что видит процесс:
- все непустые переменные окружения, а на Linux — ещё и окружение других процессов;
- файлы .env, конфиги CI, Docker и Kubernetes, секреты сервисных аккаунтов;
- ключи облаков AWS, GCP, Azure, включая сервис метаданных инстанса;
- SSH-, GPG- и TLS-ключи, токены Git, npm и PyPI, файл .netrc;
- сохранённые пароли и cookies браузеров Chromium и Firefox;
- ключи и сессии ИИ-инструментов: Claude, Codex, Gemini, Cursor, Copilot и других;
- если настроена база LiteLLM Proxy — до 500 строк из таблиц с ключами провайдеров моделей;
- история командной оболочки.
В разборах нет отдельного упоминания переменных HTTP_PROXY и HTTPS_PROXY. Но раз сборщик забирал все переменные окружения, .env и историю оболочки, прокси-креды попали в улов автоматически: именно там их обычно и держат. Строка вида http://login:password@host:port в HTTPS_PROXY, в .env парсера или в curl-команде из истории — такой же секрет, как ключ облака.
Railway: утечка не из кода, а из платформы
Railway в своём раскрытии от 21 октября пишет, что утром заметил аномальную активность в системах, где хранятся переменные окружения клиентов. По текущим данным, посторонний мог получить доступ к зашифрованным переменным, а у части — к расшифрованному содержимому. Деплои поставили на паузу. Масштаб компания не называет: говорит о «части пользователей» и обещает написать затронутым напрямую, но всем советует подстраховаться:
- сменить все переменные окружения в Railway, включая API-ключи;
- сменить учётные данные приватных реестров;
- проверить логи сервисов на необычную активность.
Компания связывает инцидент с серией атак на платформенные сервисы, цель которых — добраться до ключей провайдеров ИИ-инференса; провайдеров уже предупредили, и они отзывают ключи. В обновлении от 23 октября Railway дополнительно рекомендует переподключить GitHub и пересоздать токены CLI и CI.
Общий знаменатель двух историй прост: переменные окружения — не сейф. Это удобный общий список секретов, который читает любой код в процессе и хранит любая платформа, где вы деплоитесь.
Как проверить, задело ли вас
- Ищите версию в зависимостях. Проверьте requirements.txt, poetry.lock, uv.lock и логи CI за 21 октября на
litellm==1.107.0. Учтите транзитивные зависимости: LiteLLM часто тянут фреймворки агентов, а не вы напрямую. - Ищите файлы в site-packages. Наличие cook.pth или посторонних sitecustomize.py — прямой признак. Ищите через
find, а не скриптом на Python. - Сверьте образы. Если вы тянули
litellm/litellm:latestилиmain-stable21 октября, сравните digest с опубликованными индикаторами. - Ищите маркеры в /tmp:
/tmp/.pc_once_72129118c59f5636c0bbи/tmp/remote_code_loader.lock. - Проверьте сетевые логи на запросы к
litellm[.]devи пути, оканчивающиеся на/codepy. - Railway — проверьте почту и статус-страницу инцидента, но не ждите письма: рекомендация менять ключи касается всех.
Если что-то нашлось — машину лучше пересобрать из чистого образа, чем чистить на месте, а ключи менять с другого, заведомо чистого устройства.
В каком порядке менять секреты
Менять «всё» — правильно, но на практике это растягивается на дни. Порядок стоит выбирать по цене ущерба и по тому, как быстро ключом можно воспользоваться:
- Облако и платёжные ключи — AWS/GCP/Azure, ключи провайдеров LLM, master key LiteLLM Proxy. На них можно быстро «нажечь» деньги.
- Git, npm, PyPI, реестры образов и токены CI — через них атака идёт дальше, к вашим пользователям. История LiteLLM как раз и началась с украденных CLI-токенов.
- Базы данных и SSH-ключи.
- Логины и пароли прокси. Чужой человек с вашими кредами тратит ваш оплаченный трафик и ходит в сеть с ваших IP — а последствия в виде банов и капч прилетят вашим аккаунтам.
- Сессии браузеров и ИИ-инструментов — разлогиниться везде и войти заново.
По прокси есть простой ранний сигнал: расход трафика, который вы не можете объяснить. Если остаток в кабинете тает быстрее обычного или растёт число запросов в часы, когда ваши задачи не работают, — креды кто-то использует.
Как устроить прокси-креды, чтобы утечка стоила дёшево
Полностью защититься от отравленного пакета нельзя, но можно сделать так, чтобы утечка задевала одну задачу, а не весь стек.
- Отдельный прокси на каждую задачу и окружение. Не держите один логин на продакшен-парсер, локальную разработку и CI. Если утёк ключ из CI, вы отключаете один прокси, а не останавливаете всё. В ProxyCove каждый купленный прокси — отдельная пара логин/пароль, поэтому такое разделение ничего не стоит: под мониторинг цен — резидентные прокси, под массовые технические запросы, где не нужен «домашний» IP, — датацентровые.
- Не кладите креды в строку HTTPS_PROXY глобально. Глобальная переменная видна каждому процессу и каждому пакету. Надёжнее передавать прокси только в нужный клиент или поднять локальный шлюз, который один знает пароль, — как это сделать на gost, 3proxy или Squid, мы разбирали в статье про локальный шлюз для прокси с паролем.
- Храните секреты в менеджере секретов, а не в .env в репозитории или истории оболочки. Общие правила — в нашем гайде по безопасному хранению credentials прокси.
- Держите небольшой остаток трафика на прокси, которые живут в рискованных окружениях вроде CI или тестовых стендов: потолок ущерба равен остатку.
Что поменять в сборке
Большинство пострадавших от LiteLLM пострадали не из-за «плохого» кода, а из-за привычек сборки. Часть советов ниже — из разборов Datadog и Endor Labs, часть — обычная гигиена сборки:
- фиксируйте версии с хешами в lock-файлах, а образы — по digest, а не по тегу latest;
- не обновляйте зависимости в день релиза: короткая задержка перед приёмом новых версий отсекает большинство атак с окном в несколько часов;
- следите за появлением новых .pth-файлов и sitecustomize.py в сторонних пакетах — для обычной библиотеки это редкость;
- относитесь к токенам CLI разработчиков как к ключам от продакшена и разрешайте релизный workflow только из доверенных репозиториев и веток;
- запускайте парсеры в изолированных контейнерах с минимумом секретов: процессу, который собирает цены, не нужны ключи облака и SSH.
Вывод
LiteLLM и Railway показали две стороны одной проблемы: секреты утекают и снизу, через зависимость, которую вы даже не импортируете, и сверху, через платформу, которой вы их доверили. Если 21 октября вы ставили или пересобирали Python-окружения с LiteLLM либо деплоились на Railway — меняйте ключи сейчас, начиная с облака и токенов CI, и не забудьте про прокси. А на будущее разнесите прокси-креды по задачам и окружениям: тогда следующая утечка обойдётся отключением одного логина, а не остановкой всего парсинга.
