Решил я как-то перенести своего Телеграм-бота с Python на Java, дабы подтянуть свой скилл. Все перенес, осталось только самое сложное — HTML-парсинг. На Хабре постов про парсинг на Java не нашел, так почему бы не написать свой?

Выбираем парсер

Поиск в гугле привел к тому, что выбран был парсер jsoup ввиду его популярности, большому количеству туториалов и хорошей документацией.

import org.jsoup.Jsoup;

Парсим

В jsoup можно загрузить HTML-код 3 разными способами:

• Из строки: str = Jsoup.parse(HTMLSTring);
• С веб-сайта: web = Jsoup.connect("http://google.com/").get();
• Из файла: htmlFile = Jsoup.parse(new File("login.html"), "ISO-8859-1");

Мне нужен был парсинг с веба, сейчас для примера будет парсить гугл.

Document doc = Jsoup.connect("https://google.com").get();

Поиск элементов в DOM происходит следующими способами:

• С помощью стандартных методов getElementById(String id), getElementsByTag(String tag) и getElementsByClass(String className)
• Элементы, имеющие указанный аттрибут getElementsByAttribute(String key)
• Элементы, имеющие аттрибут с значением getElementsByAttributeValue(String key, String value)
• С помощью CSS-подобного селектора (aka jQuery) select("a[href]")

Например, хотим найти текст кнопки с аттрибутом jsaction=sf.chk

Document doc = Jsoup.connect("https://www.google.com").get();
Element button = doc.select("input[jsaction=\"sf.chk\"]").first();
System.out.print(button.val());

Или:

Element button = doc.body().getElementsByAttributeValue("jsaction", "sf.chk").first();

Тут кому как удобнее. А теперь найдем главное поле ввода и выведем значение его аттрибута title:

Element input = doc.body().getElementById("lst-ib");
System.out.print(input.attr("title"));

А вот текст ссылки с почтой:

doc.select("a.gb_P[data-pid=\"23\"]").first().text();

Выводы

Как видите, парсинг HTML на Java — не такая и страшная штука как казалось. Надеюсь с моей помощью вы без труда разберете на тэги любой сайт. Удачного парсинга!