Привет, Хабр!

Меня зовут Егор, я руководитель разработки таск-менеджера АИПлан. В комментах к прошлой статье были вопросы про экспорт из Jira на наш аналог, платформу АИПлан.

Мы решили поделиться своим опытом решения проблем, с которыми на этой пути сталкивается идущий. Пойдем по пунктам: проблема – решение.

Эта статья может быть интересна тем, кто сейчас в поисках рабочих костылей, а еще – тем, кто уже решил проблему экспорта по-своему.

Получение пользователей с доступом к проекту

Начнем с того, что у Джиры в принципе нет понятия «член проекта». Принадлежность юзера к проекту определяется правами доступа, а вот админского API, чтобы получить список пользователей с доступом к проекту, просто нет.

Приходится вытягивать нужных пользователей из списка задач по мере парсинга, параллельно решая вопрос с хранением и быстрым доступом к уже найденным пользователям(расскажу в следующих статьях, как я познал дзен дженерики). Для этого их нужно идентифицировать! Что подводит нас к следующему пункту:

Отсутствие единого стандарта идентификации

Итак, нам нужно развеять туман над Гангом и уточнить каждого юзера. Однозначного ID пользователя в Жире нет как такового (в облачной Джире, например, используется поле accountID, а в локальной — username). При этом accountId может отсутствовать, если есть username, и наоборот.

Решили методом проверки первого юзера на наличие нужного поля и дальше уже ориентировались на него.

func (c *ImportContext) getJiraUserUsername(user interface{}) string {
	switch v := user.(type) {
	case jira.User:
		if v.Name != "" {
			c.usernamesSearch = true
			return v.Name
		}
		return v.AccountID
	case jira.Watcher:
		if v.Name != "" {
			c.usernamesSearch = true
			return v.Name
		}
		return v.AccountID
	}
	return ""
}

...

// Непосредственно запрос пользователя
req, _ := c.client.NewRequest("GET", fmt.Sprintf("/rest/api/2/user?accountId=%s", accountId), nil)
if c.usernamesSearch {
	req, _ = c.client.NewRequest("GET", fmt.Sprintf("/rest/api/2/user?username=%s", accountId), nil)
}

Следующий неприятный сюрприз: Jira считает почту пользователя приватным полем, а настройкой видимости занимается исключительно админ. Как направить приглашение новым импортированным юзерам?

Решили, проставив почты сотрудникам вручную, через настройки пространства:

Вопрос приоритетов

В Джире приоритеты не распределены по проектам, а глобально – по всей системе. В результате мы получаем кучу повторяющихся, вот пример:

Нас такой бардак не устраивал, поэтому мы задались целью и решили проблему путем предоставления пользователю маппинга вручную, в том числе связей между задачами. В конечном счете это экономит время и помогает избежать кучи «непоняток».

Ненадежные вложения

Следующий булыжник на нашем пути – отображение картинок, встроенных в текст описания или комментариев. Здесь индусы превзошли себя!

Каждый блок представляет из себя span с классом image-wrap. В нем находятся превью картинки и ссылка на ее полный размер. Пример:

<span class="image-wrap" style="">
  <a id="attachmentID_thumb" href="attachmentURL" title="filename.PNG" file-preview-type="image" file-preview-id="attachmentID" file-preview-title="filename.PNG">
    <img src="thumbnailURL" style="border: 0px solid black" />
  </a>
</span>

Казалось бы: парсим, берем ссылку на полную картинку, сохраняем к нам, profit. Но выше – это идеальный вариант. В реальности и половины от него не будет. Встречаются такие случаи:

• Есть только thumbnail. Видимо, Жира сохраняет мелкие картинки без обработки, сразу воспринимая их как превью. Решение: тянем превью и верим в лучшее (опционально можно при этом молиться Вишну, но помогает не всегда).

• Есть картинка, но без атрибутов. Почему Жира не всегда возвращает file-preview-id, по которому удобно вытягивать метаданные аттачмента? Это древня индусская тайна.
  Решение: парсим attachmentURL – вытягиваем attachmentID – уже по нему работаем.

• У пикчи нет атрибута ширины. Так происходит, если картинку вставляли без ресайза. В таком случае Jira отрисовывает превью, которое генерит по своим алгоритмам.
  Наше решение: тянем превью, парсим заголовок картинки (спасибо стандартному пакету image и его методу DecodeConfig — не нужно читать всю картинку!) и сохраняем ширину у себя.

• Некорректный attachmentURL — порой приходят встроенные иконки с кривыми URLами. Решение: игнорируем.

• Пустой span — тайна, покрытая мраком. Решение: игнорируем.

HTML отлично парсится стандартной библиотекой net/html, никаких сторонних либ не нужно.

Download failed

Еще одна проблема на стороне Жиры – со скачиванием файлов. Организовать нормальный pipe сразу в наш minio чаще всего невозможно, из-за любви локальной Jira обрывать соединения без уточнения причин.
Вот так:

Придется идти более долгим, зато надежным путем. Скачиваем файл в буфер – и только потом начинаем закачку в minio или любое другое объектное хранилище на ваш вкус. При обрывах соединения - пробуем до 5 раз, а потом заботливо показываем пользователю список проблемных вложений и их задачи.

Трудности html’а

Тот html, который выдает Джира, в принципе вызывает в памяти индуистские обряды с обязательным использованием курильниц. Например, такой:

<div id="syntaxplugin" class="syntaxplugin">
  <table cellspacing="0" cellpadding="0" border="0">
	<tbody>
	  <tr id="syntaxplugin_code_and_gutter">
	    <td style=" line-height: 1.4em !important; padding: 0em; vertical-align: top;">
	      <pre><span>// заполнитель кода</span></pre>
		</td>
	  </tr>
	  <tr id="syntaxplugin_code_and_gutter">
	    <td style=" line-height: 1.4em !important; padding: 0em; vertical-align: top;">
	 	  <pre><span>код</span></pre>
		</td>
	  </tr>
	  <tr id="syntaxplugin_code_and_gutter">
	    <td style=" line-height: 1.4em !important; padding: 0em; vertical-align: top;">
	      <pre><span>код</span></pre>
	    </td>
	  </tr>
	  <tr id="syntaxplugin_code_and_gutter">
	    <td style=" line-height: 1.4em !important; padding: 0em; vertical-align: top;">
	      <pre><span>код</span></pre>
	    </td>
	  </tr>
	  <tr id="syntaxplugin_code_and_gutter">
	    <td style=" line-height: 1.4em !important; padding: 0em; vertical-align: top;">
	      <pre><span>код</span></pre>
	    </td>
	  </tr>
    </tbody>
  </table>
</div>

Код <pre> хранится очень странно. Выглядит как таблица, каждая строка которой - строчка кода, обернутая в <pre>.
Мы пришли к тому, чтобы вытаскивать все <pre> и склеивать воедино с нормальным переносом строки через /n.
Отдельная боль - табуляции (/n/t), которые крошат отображение. Такие чистим простой регуляркой. Пример:

<p>
   <ul>
    /n/t<li>
  	    Текст
      </li>
    /n/t<li>
  	   Текст
      </li>
  </ul>
<p/>
/n<p>Текст</p>

После всех замен и чисток прогоняем получившийся html через sanitizer bluemonday с правилами ugc (с кастомными настройками под наш редактор) и strict.

В результате всех манипуляций получаем красивый и чистый html для нашего редактора. Плюсом – чистый текст для уведомлений на почту или в Телеграм.

Послесловие

Это не полный перечень сложностей, конечно. Скорее из серии «самого-самого», краткий перечень того, с чем мы столкнулись. В результате удалось добиться главного: сейчас можно перенести свой проект в АИПлан из Джиры, указав пространство в системе, приоритеты и выбрав блокирующую связь. Без лишних танцев с бубном.

Будет здорово, если в комментах подбросите вопросов или расскажете, как сталкивались с похожими задачами и как их решали. Вдвойне здорово – если кому-то наш опыт поможет.

С праздниками, Хабр!