Хочешь понять - объясни другому

(с) Джейсон Стэтхем

Предисловие

Разговор в этой статье пойдет о том, как достать пакеты Python для оффлайн установки на разных платформах и разных версиях Python. Возможно я плохо искал, но на просторах интернета я не смог найти достаточное количество статей на русском языке, которые бы подробно объясняли, как производить загрузку пакетов и дальнейшую их доставку на машины с разными платформами и версиями языка. 

Периодически возникают ситуации или необходимость запуска Python на машинах, которые не имеют доступа к интернету. Зачастую такая необходимость может возникнуть по двум причинам:

• в случае если машина находится территориально там, где доступ к сети невозможен, в удаленных и малонаселенных районах;

• когда по тем или иным причинам целевая машина изолирована от внешних сетей (требования безопасности и т.д.).

Тогда старательный разработчик идёт туда где есть интернет, на этой машине производит загрузку необходимых пакетов, записывает их на носитель и несёт всё это дело обратно для установки на целевой платформе. В принципе, звучит не так страшно. Давайте потянем за ниточку и быстро решим все проблемы ...

И в самом деле, будет всё просто, в случае если компьютер на котором вы загружаете пакеты будет иметь аналогичную операционную систему и версию Python, тем что и на целевой машине. Также проблем не будет если вы загружаете один какой-нибудь маленький пакет, у которого минимальное количество зависимостей.

Но мир начинает играть совсем другими красками, когда у вас между целевой машиной и той, на которой вы производите загрузку имеются отличия и в операционной системе и в версии Python,  а набор зависимостей между пакетами начинает зашкаливать. 

В статье я постараюсь разобрать три основных варианта:

1. Операционная система и версия Python на целевой машине и машине для загрузки пакетов совпадают

2. Версия Python на целевой машине и машине для загрузки совпадают но операционные системы разные

3. На целевой машине и машине для загрузки пакетов отличаются и операционная система и версия Python

Немного теории

И прежде чем приступить к разбору этих вариантов, сначала я хочу описать основные параметры с которыми нам придётся столкнуться в статье.

Алгоритм работы загрузчика pip можно посмотреть на странице документации. Общий очень упрощенный синтаксис такой:

pip download [options] package_name

основные опции, с которыми встретимся далее:

• --requirement, -r - использовать список зависимостей

• --only-binary - не используйте пакеты с исходным кодом.

• --dest, -d - адрес директории для загрузки пакетов

• --platform - версия операционной системы

• --python-version - версия python

• --implementation - реализация python

Что для нас будет важно. Важно будет понять, как обозначить версию операционной системы, как обозначить версию Python, как обозначить вид пакета, который нам необходимо будет загрузить. Дальше я постараюсь привести пример таблицв в которой будут указаны параметры

Вот здесь про реализацию python.

Ещё давайте посмотрим какие предельные версии Python могут быть использованы операционной системой Windows.

Основные вводные мы разобрали. Теперь давайте перейдём непосредственно к задачам. 

Мы с вами можем попробовать загрузить какой-нибудь простой пакет с минимальным количеством зависимостей и в данном случае конечно же проблемы возникают реже.

Если же мы с вами попытаемся загрузить пакет, у которого большое количество зависимостей - вот здесь-то мы столкнёмся со всем многообразием возможных проблем. Поэтому в качестве эксперимента будем использовать пакет label-studio. У него большое количество различных зависимостей. В том числе, там присутствуют необычные пакеты, которые просто так не загрузить из командной строки. 

1. Вариант - Всё одинаково

Вероятно, это самая простая задача. В данном случае достаточно на машине, в которой есть выход в Интернет ввести код загрузки пакета:

mkdir load_packages
pip download -d load_packages label-studio

При этом, в коде загрузки у нас будут отсутствовать какие-то дополнительные параметры, кроме адреса куда скачивать файлы. Конечно, мы можем их ввести, но необходимости в данном случае нет.

Пакеты загрузятся в целевую папку. Этоти пакеты в дальнейшем можно будет использовать для установки на машине в которой выход в Интернет отсутствует.

Для установки откройте виртуальное окружение, где вы хотите установить пакет, укажите в параметрах ссылку на директорию куда перенесли ранее скачанные файлы и название пакета установки.

pip install --no-index --find-links /dir/where/your/package/lives label-studio

Что в данном случае радует, то что мы получим пакет в полном объёме со всеми зависимостями необходимыми для его установки и нам не нужно будет делать каких-то дополнительных действий. Мы получим весь объём необходимых данных всего лишь одной командой - это просто чудо!

2. Вариант - Отличаются только операционной системы

Здесь мы как обычно берём бубен и начинаем плясать. Давайте представим что у нас есть две машины:

• целевая машина на которой нам нужно установить пакеты это Windows 7 x 64 разряда и Python 3.8

• машина на которой у нас с вами есть выход в Интернет - это Debian 11 core 6.7.10 x 64 разряда и Python 3.8

Если вы попытаетесь повторить предыдущий вариант загрузки, то вы конечно же получите и загрузите пакеты. Только эти пакеты будут доступны для установки только на Linux. Давайте посмотрим что получилось

mkdir load_packages
pip download -d load_packages label-studio

Обратите внимание, что часть пакетов имеют версию платформы "manylinux2014_x86_64" - для Windows такое не подойдёт.

Collecting pydantic<=1.11.0,>=1.7.3
  Downloading pydantic-1.10.15-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.1 MB)
     |████████████████████████████████| 3.1 MB 9.6 MB/s 
Collecting pyyaml>=6.0.0
  Downloading PyYAML-6.0.1-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (705 kB)

Тогда мы приступаем к вводу дополнительных параметров отвечающих за операционную систему. Как мы уже видели в таблице приведённой выше за это отвечает параметр --platform и в данном случае для того чтобы нам загрузить пакеты Windows мы будем использовать значение win_amd64. Отлично код вроде бы ввели попробуем теперь запустить.

pip download --platform win_amd64 label-studio

Итак мы встретились с первой ошибкой, что просто так параметр --platform не работает от нас требуется ввести ещё что-то.

ERROR: When restricting platform and interpreter constraints using --python-version, --platform, --abi, or --implementation, either --no-deps must be set, or --only-binary=:all: must be set and --no-binary must not be set (or must be set to :none:).

Давайте послушаемся программу и добавим новый параметр --only-binary

pip download --only-binary=:all: --platform win_amd64 label-studio

Ну не может же быть все так просто:

ERROR: Cannot install label-studio==0.4.1, label-studio==0.4.2, label-studio==0.4.3, label-studio==0.4.4, label-studio==0.4.4.post1, label-studio==0.4.4.post2, label-studio==0.4.5, label-studio==0.4.6, label-studio==0.4.6.post1, label-studio==0.4.6.post2, label-studio==0.4.7, label-studio==0.4.8, label-studio==0.5.0, label-studio==0.5.1, label-studio==0.6.0, label-studio==0.6.1, label-studio==0.7.0, label-studio==0.7.1, label-studio==0.7.2, label-studio==0.7.3, label-studio==0.7.4, label-studio==0.7.4.post0, label-studio==0.7.4.post1, label-studio==0.7.5.post1, label-studio==0.7.5.post2, label-studio==0.8.0, label-studio==0.8.0.post0, label-studio==0.8.1, label-studio==0.8.1.post0, label-studio==0.8.2, label-studio==0.8.2.post0, label-studio==1.0.0, label-studio==1.0.0.post0, label-studio==1.0.0.post1, label-studio==1.0.0.post2, label-studio==1.0.0.post3, label-studio==1.0.1, label-studio==1.0.2, label-studio==1.0.2.post0, label-studio==1.1.0, label-studio==1.1.1, label-studio==1.10.0, label-studio==1.10.0.post0, label-studio==1.10.1, label-studio==1.11.0, label-studio==1.2, label-studio==1.3, label-studio==1.3.post0, label-studio==1.3.post1, label-studio==1.4, label-studio==1.4.1.post1, label-studio==1.5.0, label-studio==1.5.0.post0, label-studio==1.6.0, label-studio==1.7.0, label-studio==1.7.1, label-studio==1.7.2, label-studio==1.7.3, label-studio==1.8.0, label-studio==1.8.1, label-studio==1.8.2, label-studio==1.8.2.post0, label-studio==1.8.2.post1, label-studio==1.9.0, label-studio==1.9.1, label-studio==1.9.1.post0, label-studio==1.9.2 and label-studio==1.9.2.post0 because these package versions have conflicting dependencies.

Какая-то проблема с зависимостями. Давайте укажем на всякий случай нашу версию Python

pip download --only-binary=:all: --python-version 38 --platform win_amd64 -d import/ label-studio==1.11.0

Что-то новенькое

ERROR: Could not find a version that satisfies the requirement drf-flex-fields==0.9.5 (from label-studio) (from versions: none)
ERROR: No matching distribution found for drf-flex-fields==0.9.5

Думали что всё получится, а тут хлоп и опять ошибка. Оказывается что из списка зависимости не все пакеты могут быть доставлены нам в виде бинарных файлов, либо не удовлетворяет требованиям нашей платформы. 

Например пакет drf-flex-fields вот скрин с его странички.

Здесь доступно для скачивания только исходники в архиве.

Давайте попробуем использовать параметр --prefer-binary 

ERROR: When restricting platform and interpreter constraints using --python-version, --platform, --abi, or --implementation, either --no-deps must be set, or --only-binary=:all: must be set and --no-binary must not be set (or must be set to :none:).

Ух ты Замкнутый круг! Уже знакомая ошибка - данный параметр невозможно использовать в случае если вы указываете платформу для которой предполагается установка пакетов. Вот что говорит StackOverflow.

В данном случае я сделал для себя вывод (возможно абсолютно неверный) -что мы не можем при указании платформы и версии языка закачивать не бинарные файлы. 

В какой-то момент я подумал, что это действительно безвыходная ситуация. И что в момент загрузки пакетов мы рано или поздно просто остановимся на каком-то одном из пакетов из списка зависимости и дальше не пойдём. При этом полный список зависимостей нам пока что будет недоступен.

Не сдаваться - наше всё

Мне показалось правильным распилить эту задачу на несколько вариантов

• сначала попробовать закачать те пакеты, которые имеют бинарный вариант с помощью стандартной команды pip download .

• далее пакеты, которые не загрузились и вышла ошибка попробовать загрузить либо вручную, либо сделать какой-то автоматический обработчик, который поможет мне их получить. 

Теперь возникает вопрос о полном списке зависимостей пакетов, которые мне необходимы. Где же мне его взять. Вероятно существует какие-то умные и действительно правильные способы получение полного списка зависимостей, но я до него пока что ещё не дошёл - я пошёл простым прямым квадратным перпендикулярным способом.

Сейчас у нас ситуация, когда у нас отличаются только версии операционной системы при этом версия Python у нас одна и та же. В нашем случае - 3.8 и на Windows и на Linux. Что же, теперь я попробую установить целевой пакет Label Studio на машину, в которой есть выход в Интернет. Когда все пакеты установились я использую команду

pip freeze > requirements.txt

с помощью неё я получу список всех установленных пакетов с указанием необходимых версий. Все данные запишу в файл requirements.txt.

Таким образом у меня получилось добыть список всех зависимостей. Здорово! Ну что же дальше. Ведь если мы запускаем код загрузки, то в момент когда терминал получает ошибку - он останавливается. Давайте попробуем написать некий bash скрипт, который простым перебором будет пытаться с помощью команды pip download закачивать поочередно каждый пакет из списка зависимостей. А все пакеты, по которым у нас с вами произошла ошибка, он будет записывать в текстовый файл error.txt

#!/bin/bash
mkdir packages

cat requirements.txt | while read line
do    
    error_output=$(pip download -d ./packages --platform win_amd64  --python-version 38 --only-binary=:all: --implementation cp "$line" 2>&1)    
    
    if [[ $error_output =~ "ERROR" ]]; then
    	echo "${line}"
    	echo "${line}" >> "error.txt"
    fi
done

Отлично! У нас получилось загрузить все пакеты, которые имеют бинарный вид и получить список всех пакетов, по которым бинарный вид отсутствует. При этом мы знаем не только наименование пакета, но что нас больше всего может радовать ещё и его версию.

Теперь чтобы получить недостающие пакеты, в принципе, мы можем пойти простым человеческим путём - зайти на сайт pip.org, найти соответствующий пакет, найти его версию нажать кнопку загрузить. Ну и в принципе, таким образом мы его получим.

С учетом того, что таких ошибочных пакетов у нас небольшое количество - в принципе много времени это не займёт. Но мне стало интересно - а могу ли я автоматизировать и этот процесс. Как оказалось не всё потеряно. Давайте посмотрим с вами на структуру адреса страницы загрузкой пакета drf-flex-fields необходимой версии.

https://pypi.org/project/drf-flex-fields/0.9.5/#files

Мы видим что в адресе страницы присутствуют и наименование пакета и его версия. Таким образом, вероятно, мы сможем автоматически попасть и сформировать себе адреса страниц на которых присутствуют необходимые нам пакеты, а затем каким-то образом спарсить оттуда необходимый нам данные. Чтобы не углубляться в теорию ниже я приведу код Python скрипта который позволит нам это сделать. Назовем его - load_packages.py

import requests
from bs4 import BeautifulSoup
from tqdm import tqdm

# читаем файл с ошибками, формируем список пакетов для загрузки
with open('error.txt', 'r') as err_file:
    packages = err_file.readlines()


# функции отправляет запрос на страницу загрузки пакета 
def get_request(url: str) -> requests.Response:
    try:
        return requests.get(url)
    except:
        print('Request error')
        return False


def load_package(package: str) -> None:
    # извлекаем необходимые данные о пакете
    pack_name,  version = package.replace('\n', '').split('==')
    # готовим адрес страницы с файлами загрузки и получаем ответ на запрос
    url = f'https://pypi.org/project/{pack_name}/{version}/#files'
    r = get_request(url)
    

    # убеждаемся, что запрос не пустой
    if not r:
        return False
      
    # создаём объект bs для дальнейшей обработки
    soup = BeautifulSoup(r.text)
    # ищем блок div с характерным классом
    for element in soup.find_all("div", {"class": "card file__card"}):

        # ищем tag <a href... 
        for tag in element:
            if tag.name == 'a':
                # пропускаем ссылку на загрузки хешей
                if tag.text == 'view hashes':
                    continue
                # очищаем текст от лишних знаков
                text = tag.text.replace(' ', '').replace('\n', '')

                # преобразуем текст а список
                body = text.split('.')

                # последний элемент списка это разрешение файла выбираем .gz
                if body[-1] != 'gz':
                    continue
                # получаем адрес для скачивания
                url = tag.attrs['href']
                try:
                    packet = requests.get(url)
                except:
                    print('Load request error')
                    continue
                # полученные байты записываем в файл
                with open(f'packages/{text}', 'wb') as handle:
                    for data in tqdm(packet.iter_content()):
                        handle.write(data)
                msg = f'Load package {pack_name}, ver. {version}, to file {text}'
                print(msg)


for package in packages:    
    if package == '\n':
        continue
    print(f'Start load package {package}')
    load_package(package)

А теперь я немножко объясню что здесь происходит. Для того чтобы, в будущем в случае каких-то изменений на сайте pip.org или ещё каких-то вещей и ошибок мы могли бы скорректировать код этого скрипта. Основная идея заключается в том, чтобы использую библиотеку request получать данные со страницы загрузки файлов. Далее с помощью пакета Beautifulsoup4 получить информацию из необходимого блока div b вычленить ссылку с пакетом архива, который имеет разрешение ".gz", скачать данные и записать файл из бинарных данных к себе в целевую папку.

Вот так выглядит страница для загрузки необходимого пакета. Так видит эту страницу человек.

А так эту страницу видит машина

В примере я привёл только кусок необходимого блока для загрузки. Здесь мы видим атрибуты блока div по которому мы сможем отфильтровать необходимый нам блок и дальше мы видим, что помимо самих пакетов ещё доступны для скачивания хэши. Соответственно в коде мы это отсеиваем. Из доступных к скачиванию пакетов мы выбираем тот, который имеет архив ".gz". Собственно Вот и вся логика работы скрипта. 

Далее мы немножечко улучшим наш Баш скрипт для того, чтобы нам автоматически развернуть виртуальную среду, в которую мы установим необходимые пакеты resquest и Beautifulsoup4. Запустим саму виртуальную среду и запустим наш python скрипт.

#!/bin/bash
mkdir packages

cat requirements.txt | while read line
do    
    error_output=$(pip download -d ./packages --platform win_amd64  --python-version 38 --implementation cp --only-binary=:all: --implementation cp "$line" 2>&1)    
    
    if [[ $error_output =~ "ERROR" ]]; then
    	echo "${line}"
    	echo "${line}" >> "error.txt"
    fi
done
python -m venv venv
source venv/bin/activate
pip install requests
pip install beautifulsoup4
pip install tqdm
python load_packages.py

В результате запуска Bash скрипта мы выполним два действия:

• сначала закачается доступные файлы в бинарном виде запишутся ошибки по незагруженным файлам

• далее python script прочитает наименование пакетов с ошибками и попытается загрузить их непосредственно со страницы pip.org

На примере пакета label-studio Windows 7 + python 3.8 данная задача была решена.

3. Вариант - Отличается всё 

Давайте теперь задачу усложним ещё на один порядок. Представим что у нас:

• целевая машина на которую необходимо загрузить пакеты - это Windows 7 + Python 3.8

• машина на которой есть интернет Astra Linux common edition + Python 3.5

В данном случае у нас возникает проблема с получением полного списка зависимостей. Если мы просто поставим с вами пакет Label Studio на Python 3.5, то мы с вами получим зависимости только для Python 3.5. А в нашем конкретном случае мы вообще ничего не получим - потому что label-studio на Python 3.5, в принципе не устанавливается.

Что же тогда делать. Самый простой вариант в данном случае - это попробовать установить на вашу машину c интернетом pyenv (статья Хабр, GIT исходник).

С помощью него выбрать необходимую версию Python и далее пройти по шагам, которые представлены в пункте два.

Обратите внимание, что на старых версиях ОС необходимо указывать python3 или pip3 для вызова Python 3.хх

#!/bin/bash
mkdir packages

cat requirements.txt | while read line
do    
    error_output=$(pip3 download -d ./packages --platform win_amd64  --python-version 38 --implementation cp --only-binary=:all: --implementation cp "$line" 2>&1)    
    
    if [[ $error_output =~ "ERROR" ]]; then
    	echo "${line}"
    	echo "${line}" >> "error.txt"
    fi
done
python3 -m venv venv
source venv/bin/activate
pip install requests
pip install beautifulsoup4
pip install tqdm
python load_packages.py

Вполне возможно, может так случиться, что pyenv не позволит установить более старшие версии языка на слабой машине или могут возникнуть какие-то иные проблемы - для этих проблем я решение, к сожалению, не нашёл.

В данном случае, вероятно, единственный выход - иметь машину, которая имеет доступ к интернету с возможностью установки на ней максимальных версий Python. Тогда pyenv вам однозначно позволит работать с версиями Python на понижение.

Или развивать легкоатлетические навыки и бегать с пакетами приложений из кабинета в кабинет. Сначала туда ->

А потом обратно <-

Вывод

Не претендую на мастерство - я не профессиональный разработчик и к этой статье я шел долго. Несколько лет бегал, как мужик на картинке выше. Когда же встретился с label-studio - я устал. Попробовал автоматизировать свою работу. И на фоне дефицита подобной информации на русском решил рассказать о своих приключениях

Будет замечательно, если настоящие профессионалы укажут на мои ошибки и подскажут верный путь. Заранее спасибо!

Ещё есть мысль в будущем, каким-то образом постараться добывать список зависимостей автоматически - для каждого пакета, без необходимой установки на текущую машину с интернетом.

Но мне почему-то кажется, что это достаточно сложная задача, с которой пытались справиться большое количество разработчиков - в результате которых, появились такие замечательные решения как poetry, uv и подобные им пакеты управления зависимостями

К картинкам приложили руки моя доча, Шедеврум и Midjourney