[FIXED] Turning html into text with proper indentation in Python

Issue

There is html text taken from a telegram. The HTML looks just like that, don't edit it:

🧹 <b>Процесс химчистки сидений:</b>

<b>1</b> - <i>Тщательно пропылесосить</i>

<b>2</b> - <i>Нанести химию и немного подождать, пока она поработает</i>
<i>
</i><b>3</b> - <i>Пройтись щеткой, чтобы поднять загрязнения</i>

<b>4</b> - <i>Тщательно прополоскать сидение экстрактором с подачей воды</i>
<i>
</i>#химчисткасалона #химчисткасидений

I need to use Beautifulsoup to turn it into such text. But using Beautifulsoup is optional, you can use any other library:

🧹 Процесс химчистки сидений:

1 - Тщательно пропылесосить

2 - Нанести химию и немного подождать, пока она поработает

3 - Пройтись щеткой, чтобы поднять загрязнения

4 - Тщательно прополоскать сидение экстрактором с подачей воды

#химчисткасалона #химчисткасидений

Here's a little code I sketched out, I tried a lot of things, but they don't work, I ran out of ideas.

from bs4 import BeautifulSoup as bs


def _html_to_text(html) -> str:
    hrefs = []
    soup = bs(html, 'lxml')

    for x in soup.find_all():
        if len(x.get_text(strip=True)) == 0:
            x.extract()

    a_tags = soup.find_all('a', href=True)
    for a_tag in a_tags:
        href = a_tag.get('href')
        if href in hrefs:
            continue
        hrefs.append(href)
        a_tag.append(f' ({href})')

    return soup.get_text()

The output of this function is this:

🧹 Процесс химчистки сидений:
1 - Тщательно пропылесосить
2 - Нанести химию и немного подождать, пока она поработает
3 - Пройтись щеткой, чтобы поднять загрязнения
4 - Тщательно прополоскать сидение экстрактором с подачей воды
#химчисткасалона #химчисткасидений

But the line breaks get knocked down, who knows how to solve the problem?)

Solution

I figured it out :)

def _html_to_text(html) -> str:
    hrefs = []
    html = html.replace('\n', '||')
    soup = bs(html, 'lxml')

    for x in soup.find_all():
        if len(x.get_text(strip=True)) == 0:
            x.extract()

    a_tags = soup.find_all('a', href=True)
    for a_tag in a_tags:
        href = a_tag.get('href')
        if href in hrefs:
            continue
        hrefs.append(href)
        a_tag.append(f' ({href})')

    text = soup.get_text()
    return text.replace('||', '\n')

Answered By - nnekkitt