[FIXED] Create and save multiple .txt file as .csv file by using Panda data frame

Issue

I have multiple txt files which I want to use this as a data frame. I want to use headers as column names and other texts as rows. Similar text file is:

PPR-SP



FÁBIO MEIRELLES


Biografia



Profissões: Fazendeiro; Empresário






Mandatos (na Câmara dos Deputados):
 Deputado(a) Federal - 1991-1995, SP, PDS, Dt. Posse: 01/02/1991.



Proposições de Autoria do Deputado




Proposições de Autoria do Deputado Transformadas em Norma Jurídica




Proposições Relatadas pelo Deputado




Proposições Relatadas Transformadas em Norma Jurídica



Licenças:
Licenciou-se do mandato de Deputado Federal, na Legislatura 1991-1995, por 13 dias, para tratamento de saúde, a partir de 01 de janeiro de 1994; por 15 dias, a partir de 30 março de 1993; por 17 dias, a partir de 14 de abril de 1993. 
Atividades Parlamentares:
CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª:COMISSÕES PERMANENTES: Agricultura e Política Rural: Segundo Vice-Presidente, 1993, Titular, 1991-1992, e 1994;  Constituição e Justiça e de Redação: Suplente, 1994; Defesa Nacional: Titular, 1991-1993, 1994, e Suplente, 1991;  Economia, Indústria e Comércio: Suplente, 1991-1992; Minas e Energia: Titular 1993;  COMISSÕES ESPECIAIS:Crimes de Responsabilidades do Presidente, da República: Suplente, 1992; PEC nº 56/91,  Desregulamentação da Economia: Proimeiro Vice-Presidente, 1992. CPIs: Violência no Campo: Titular, 1992; COMISSÕES EXTERNAS: Para representar a Câmara dos Deputados a Câmara dos Deputados nas cerimônias fúnebres do sepultamento do desportista Aírton Senna, 1994CONGRESSO NACIONAL: Comissão Mista Que Examinou a Medida Provisória N.295/91: Membro, 1991;  CPI Mista Companhia Nacional de Abastecimento: Titular, 1992.
Atividades Profissionais e Cargos Públicos:
Membro, Junta Administrativa do IBC  e da Comissão de Organização de Feiras Agropecuárias do Estado de São Paulo, 1961-1967; Subchefe de Gabinete, Ministério da Agricultura 1964; Secretário Executivo, Fundo Agropecuário do Ministério da Agricultura 1964; Secretário, Comissão de Política e Planejamento Agrícola do Ministério da Agricultura, 1964; Presidente, BNCC, 1964; Presidente, Instituto do Café, SP, 1973-1979; Vice-Presidente Executivo, GEDPA, SP, 1979; Diretor de Operações Rurais e Agroindustriais, BADESP, 1979-1983; Secretaria de Agricultura e Abastecimento de São Paulo, 1986-1988..
Atividades Sindicais Representativas de Classe Associativas e Conselhos:
Presidente, Associação Rural do Vale do Sapucaí, 1960-1961; Diretor, Federação das Associações Rurais do Estado de São Paulo, 1961-1963; Presidente, Associação Rural de Franca, SP, 1962-1965; Presidente, FAESP, 1975-1978, 1978-1981, 1981-1984, 1984-1987, 1987-1990 e 1990-1993; Vice-Presidente, CNA, 1982-1985, 1985-1987 e 1987-1990; Membro, Junta Administrativa do IBC, 1961-1967; Membro, Comissão de Organização de Feiras Agropecuárias do Estado de São Paulo, 1961-1967; Membro, Junta Consultiva do IBC, 1984; Representante Classista, Confederação Nacional da Agricultura, 1984; Primeiro-Vice-Presidente, CNA, 1985-1987; Membro, UBE, 1987; Representante da FAESP junto à CNA; Título de Presidente, Associação Brasileira das Empresas Produtoras de Charque do Estado de São Paulo; Delegado Representante da FAESP junto ao CIEE.
 
 ; Conselheiro, Associação Brasileira de Exportadores do Rio de Janeiro, RJ, 1978; Membro, COPAGRI, Secretaria da Agricultura e Abastecimento de São Paulo, SP, 1986-1988; Membro, Conselho Administrativo da Companhia de Desenvolvimento Agrícola do Estado de São Paulo, 1987-1990; Membro Nato, Alto Conselho Agrícola do Estado de São Paulo; Presidente Licenciado, Conselho Administrativo do Clube da Cidade de São Paulo; Membro, Conselho Superior da Sociedade Nacional da Agrícultura e do Conselho Consultivo do Instituto Histórico e Geográfico; Conselheiro Mantenedor, CEDES; Representante da FAESP junto ao Conselho Universitário da Univ. Estadual Paulista Júlio de Mesquita Filho e a CNA junto à Câmara dos Deputados, Assessoria Especial de Assuntos Agropecuários Nacionais, 1971; Conselheiro, Fundação de Desenvolvimento da Pesquisa Agropecuária; Membro, Conselho Universitário da USP; Conselheiro, Associação GIR do Brasil; Membro, Conselho Superior da SRB e do Fórum Informal de Empresários de São Paulo.
Estudos e Cursos Diversos:
Ciências Jurídicas e Sociais, Fac. de Direito, Franca, SP, 1977; Ciclo de Estudos, ADESG; Ciclo de Extensão A Segurança Nacional no Pensamento Político Brasileiro, ESG, 1987; Diplomado, XIX Ciclo de Estudos, ADESG, 1977; II Curso de Atualização, Interpretação e Programação da Legislação Trabalhista Rural, FAESP, São Paulo, SP.
Obras Publicadas:
Melhorias das Condições de Vida dos Trabalhadores Rurais Autônomos: parceiros, Meeiros, Arrendatários e Categorias Análogas. Anais do LII Congresso Internacional da OIT, Genebra, Suíça, 1968; Café : Produção e Comercialização. In: XXX Congresso Agropecuário Brasileiro, Brasília, 1969; Agricultura no Estado de São Paulo e meio ambiente ( Chefe e relator do grupo adesguiano responsável pela execução do trabalho ) São Paulo, 1977; Utilização do Solo visando o aumento da produtividade ( Coordenador do trabalho desenvolvido pelo grupo número 2 do grupo de assessoria e participação do Governo do Estado de São Paulo - GAP) São Paulo, 1968; Agropecuária na Consituinte, Folha de São Paulo, São Paulo, 7 nov 1986. ( Artigo selecionado entre as contribuições enviadas à constituinte, publicado, posteriormente, em florilégio, pela, Fundação Petrônio Portela); Perspectivas para a agropecuária. Jornal do Commércio, Rio de Janeiro, 1987. (Edição especial comemorativa do 160 aniversário ); Autor de diversos trabalhos publicados em Jornais e Revistas de todo o País, relacionados com os temas agricultura e pecuária..

Another txt file is:

DEM-BA



FÉLIX MENDONÇA


Biografia



Data de falecimento: 26/06/2020
Profissões: Engenheiro; Construtor civil
Escolaridade: Superior






Mandatos (na Câmara dos Deputados):
 Deputado(a) Federal - 1983-1987, BA, PTB, Dt. Posse: 01/02/1983; Deputado(a) Federal - (Congresso Revisor), 1991-1995, BA, PTB, Dt. Posse: 01/02/1991; Deputado(a) Federal - 1995-1999, BA, PTB, Dt. Posse: 01/02/1995; Deputado(a) Federal - 1999-2003, BA, PTB, Dt. Posse: 01/02/1999; Deputado(a) Federal - 2003-2007, BA, PTB, Dt. Posse: 01/02/2003; Deputado(a) Federal - 2007-2011, BA, PFL, Dt. Posse: 01/02/2007.



Proposições de Autoria do Deputado




Proposições de Autoria do Deputado Transformadas em Norma Jurídica




Proposições Relatadas pelo Deputado




Proposições Relatadas Transformadas em Norma Jurídica




Votações em Plenário (Legislaturas):

                                    52
                            , 
                                
                                    53


Presença em Comissões (Legislaturas):

                                    52
                                , 
                                
                                    53


Presença em Plenário (Legislaturas):

                                    52
                                , 
                                
                                    53

Licenças:
Licenciou-se do mandato de Deputado Federal, na Legislatura 2007-2011, para tratamento de saúde, por 15 dias, a partir de 23 de março de 2009, sem convocação de Suplente. 
Filiações Partidárias:
PFL, 2003; DEM, 2007
Atividades Partidárias:
Vice-Líder do PTB, 1993, 1997-1999 e  2000-2003; Vice-Líder do Bloco PFL, PTB, 1995-1996; Vice-Líder do Bloco PSDB, PTB, 2001; Vice-Líder do PFL, 2005-..
Atividades Parlamentares:
CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª COMISSÕES PERMANENTES: Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural: Suplente, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-; Agricultura e Política Rural: Presidente, Titular e Suplente; Economia, Indústria e Comércio: Suplente; Finanças e Tributação: 1º Vice-Presidente, 2º Vice-Presidente, 26/3/2008-4/3/2009, Terceiro Vice-Presidente, 4/3/2009-3/3/2010, Titular, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-, e Suplente; Minas e Energia: Titular; Segurança Pública e Combate ao Crime Organizado: Suplente, 13/3/2008-19/11/2008; Seguridade Social e Família: Suplente. COMISSÕES ESPECIAIS: Amenizar Tributação Cumulativa: Suplente; Crimes de Responsabilidade do Presidente da República: Suplente; PEC nº 1/95, Reeleição: Titular e Suplente; PEC nº 4/95, Concessão e Distribuição do Gás Canalizado: Suplente; PEC nº 40/03, Reforma da Previdência: Suplente-; PEC nº 53/99, Sistema Financeiro: Titular e Suplente; PEC nº 57/99, Fundo Nacional Desenvolvimento Semi-Árido: Titular; PEC nº 81/95, Cria Imposto sobre Distribuição de Combustíveis: Titular; PEC nº 175/95, Altera o Capítulo do Sistema Tributário Nacional: Titular; PEC nº 256/95, Competência à União para Instituir Contribuição Provisória sobre Movimentação Financeira: Titular; PEC nº 285/08, Fundos Habitação de Interesse Social: Titular, 6/8/2009-; PEC nº 347/96, Posse do Presidente da República: Titular; PEC nº 358/05, Reforma do Judiciário: Titular, 1/2006-; PEC nº 407/01, Prorrogação da CPMF: Titular; PEC nº 443/09, Remuneração Advogados Públicos: Titular, 1/6/2010-; PEC nº 472/97, Altera Arts. 48, 62 e 84, Edição de Medida Provisória: Suplente; PEC nº 534/02, Guardas Municipais: Titular-; PEC nº 598/98, Idade Mínima para Cargo Eletivo: Suplente; PEC nº 603/98, Terrenos da Marinha: Titular, 3/2006-; PEC nº 618/98, Patrimônio Genético: Suplente; PL nº 824/91, Propriedade Industrial: Titular; PL nº 1.210/95, Política Nacional do Petróleo: Suplente; PL nº 4.874/01, Estatuto do Desporto: Titular; Política Nacional de Habitação: Titular; PLP nº 18/99, Responsabilidade Fiscal: Titular; Projeto em Trâmite Sistema Financeiro Nacional: Titular; Projetos de Lei Legislação Tributária: Titular; Reforma da Previdência: Titular-; Questão do Desemprego: Titular e Suplente; Seca no Nordeste e Atendimento às Populações Atingidas: Suplente. COMISSÕES EXTERNAS: Fiscalização dos Atos do Executivo: Suplente. CPIs: Fuga de Capital e Evasão de Divisas do Brasil: Titular.CONSELHOS: Conselho de Altos Estudos e Avaliação Tecnológica - Trabalho sobre a Dívida Pública do Brasil: Titular; de Altos Estudos e Avaliação Tecnológica - Série Cadernos de Altos Estudos: 1-Biodiesel e Inclusão Social; 2- A Dívida Pública Brasileira (Relator); 3- O Mercado de Software no Brasil; 4- Capacitação Tecnológica da População; 5- Os Desafios do Pré-Sal; 6- Alternativas de Políticas Públlicas para a Banda Larga.GRUPOS DE TRABALHO: Transposição do Rio São Francisco.CONGRESSO NACIONALCOMISSÕES MISTAS: Planos, Orçamentos Públicos e Fiscalização: Relator Setorial do Orçamento, Área da Fazenda e Desenvolvimento, 2002 e Área da Previdência Assistência Social e Trabalho, 2003; CPMI Sistema Financeiro de Habitação: Suplente.
Mandatos Externos:
Prefeito(a) , BA, Período: 1963 a 1966; Deputado(a) Estadual , BA, Partido: ARENA, Período: 1967 a 1971.
Atividades Profissionais e Cargos Públicos:
Auxiliar de Engenharia, Secretaria de Agricultura do Estado da Bahia, 1950-1969; Engenheiro de Obras, Companhia Comercial Construtora Delta Ltda., Ilhéus, BA, 1956-1969; Engenheiro-Residente, Terraplenagem do DERBA, 1960-1961; Secretário de Obras Públicas, Prefeitura Municipal, Itabuna, BA, 1961-1962; Chefe do Departamento de Obras Industriais, CONSTROL - Comércio e Indústria de Construção, Salvador, BA, 1972-1975; Engenheiro de Produção, Santa Helena Incorporações e Construções S.A.; Consultor da MRM - Construções e Incorporações S.A., 1990..
Estudos e Cursos Diversos:
Engenharia Civil, UFBA, Salvador, 1951-1955..

I scraped documents from a website. However, when I wanted to scrape text file from header to header, I notice that div and p places are differs from link to link. I needed to scrape many links of website. However, since div and p info changes from link to link I had to download whole text. However, I need to convert these all files into datframe and save as .csv file. what I want to do for all txt files is to create dataframe like:

col(Name) -> row(FÁBIO MEIRELLES)

col(Mandatos (na Câmara dos Deputados))-> row(Deputado(a) Federal - 1983-1987, BA, PTB, Dt. Posse: 01/02/1983; Deputado(a) Federal - (Congresso Revisor), 1991-1995, BA, PTB, Dt. Posse: 01/02/1991; Deputado(a) Federal - 1995-1999, BA, PTB, Dt. Posse: 01/02/1995; Deputado(a) Federal - 1999-2003, BA, PTB, Dt. Posse: 01/02/1999; Deputado(a) Federal - 2003-2007, BA, PTB, Dt. Posse: 01/02/2003; Deputado(a) Federal - 2007-2011, BA, PFL, Dt. Posse: 01/02/2007.)

col(Licenças)-> row(Licenciou-se do mandato de Deputado Federal, na Legislatura 2007-2011, para tratamento de saúde, por 15 dias, a partir de 23 de março de 2009, sem convocação de Suplente.)

col(Filiações Partidárias)-> row(PFL, 2003; DEM, 2007)

col(Atividades Partidárias)-> row(Vice-Líder do PTB, 1993, 1997-1999 e 2000-2003; Vice-Líder do Bloco PFL, PTB, 1995-1996; Vice-Líder do Bloco PSDB, PTB, 2001; Vice-Líder do PFL, 2005-..)

col(Atividades Parlamentares)-> row(CÂMARA DOS DEPUTADOS - Legislaturas anteriores à 54ª COMISSÕES PERMANENTES: Agricultura, Pecuária, Abastecimento e Desenvolvimento Rural: Suplente, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-; Agricultura e Política Rural: Presidente, Titular e Suplente; Economia, Indústria e Comércio: Suplente; Finanças e Tributação: 1º Vice-Presidente, 2º Vice-Presidente, 26/3/2008-4/3/2009, Terceiro Vice-Presidente, 4/3/2009-3/3/2010, Titular, 3/2005-3/2006, 3/2006, 14/2/2007-6/2/2008, 4/3/2008-2/2/2009, 4/3/2009-1/2/2010, 3/3/2010-, e Suplente; Minas e Energia: Titular; Segurança Pública e Combate ao Crime Organizado: Suplente, 13/3/2008-19/11/2008; Seguridade Social e Família: Suplente. COMISSÕES ESPECIAIS: Amenizar Tributação Cumulativa: Suplente; Crimes de Responsabilidade do Presidente da República: Suplente; PEC nº 1/95, Reeleição: Titular e Suplente; PEC nº 4/95, Concessão e Distribuição do Gás Canalizado: Suplente; PEC nº 40/03, Reforma da Previdência: Suplente-; PEC nº 53/99, Sistema Financeiro: Titular e Suplente; PEC nº 57/99, Fundo Nacional Desenvolvimento Semi-Árido: Titular; PEC nº 81/95, Cria Imposto sobre Distribuição de Combustíveis: Titular; PEC nº 175/95, Altera o Capítulo do Sistema Tributário Nacional: Titular; PEC nº 256/95, Competência à União para Instituir Contribuição Provisória sobre Movimentação Financeira: Titular; PEC nº 285/08, Fundos Habitação de Interesse Social: Titular, 6/8/2009-; PEC nº 347/96, Posse do Presidente da República: Titular; PEC nº 358/05, Reforma do Judiciário: Titular, 1/2006-; PEC nº 407/01, Prorrogação da CPMF: Titular; PEC nº 443/09, Remuneração Advogados Públicos: Titular, 1/6/2010-; PEC nº 472/97, Altera Arts. 48, 62 e 84, Edição de Medida Provisória: Suplente; PEC nº 534/02, Guardas Municipais: Titular-; PEC nº 598/98, Idade Mínima para Cargo Eletivo: Suplente; PEC nº 603/98, Terrenos da Marinha: Titular, 3/2006-; PEC nº 618/98, Patrimônio Genético: Suplente; PL nº 824/91, Propriedade Industrial: Titular; PL nº 1.210/95, Política Nacional do Petróleo: Suplente; PL nº 4.874/01, Estatuto do Desporto: Titular; Política Nacional de Habitação: Titular; PLP nº 18/99, Responsabilidade Fiscal: Titular; Projeto em Trâmite Sistema Financeiro Nacional: Titular; Projetos de Lei Legislação Tributária: Titular; Reforma da Previdência: Titular-; Questão do Desemprego: Titular e Suplente; Seca no Nordeste e Atendimento às Populações Atingidas: Suplente. COMISSÕES EXTERNAS: Fiscalização dos Atos do Executivo: Suplente. CPIs: Fuga de Capital e Evasão de Divisas do Brasil: Titular.CONSELHOS: Conselho de Altos Estudos e Avaliação Tecnológica - Trabalho sobre a Dívida Pública do Brasil: Titular; de Altos Estudos e Avaliação Tecnológica - Série Cadernos de Altos Estudos: 1-Biodiesel e Inclusão Social; 2- A Dívida Pública Brasileira (Relator); 3- O Mercado de Software no Brasil; 4- Capacitação Tecnológica da População; 5- Os Desafios do Pré-Sal; 6- Alternativas de Políticas Públlicas para a Banda Larga.GRUPOS DE TRABALHO: Transposição do Rio São Francisco.CONGRESSO NACIONALCOMISSÕES MISTAS: Planos, Orçamentos Públicos e Fiscalização: Relator Setorial do Orçamento, Área da Fazenda e Desenvolvimento, 2002 e Área da Previdência Assistência Social e Trabalho, 2003; CPMI Sistema Financeiro de Habitação: Suplente.)

col(Mandatos Externos) -> row(Prefeito(a) , BA, Período: 1963 a 1966; Deputado(a) Estadual , BA, Partido: ARENA, Período: 1967 a 1971.

col(Atividades Profissionais e Cargos Públicos) -> row( Auxiliar de Engenharia, Secretaria de Agricultura do Estado da Bahia, 1950-1969; Engenheiro de Obras, Companhia Comercial Construtora Delta Ltda., Ilhéus, BA, 1956-1969; Engenheiro-Residente, Terraplenagem do DERBA, 1960-1961; Secretário de Obras Públicas, Prefeitura Municipal, Itabuna, BA, 1961-1962; Chefe do Departamento de Obras Industriais, CONSTROL - Comércio e Indústria de Construção, Salvador, BA, 1972-1975; Engenheiro de Produção, Santa Helena Incorporações e Construções S.A.; Consultor da MRM - Construções e Incorporações S.A., 1990..)

col(Estudos e Cursos Diversos)-> row(Engenharia Civil, UFBA, Salvador, 1951-1955..)

I am trying to fins a code to see same headers in all .txt files and save them as .csv file.

Thanks in advance!

Solution

The question is not very clear in parts and the example files do not have much structure to them. See the code below as an example and do note that getting the Name looks a bit weak to me (though it does seem to work for the example files).

Apologies if there is something obviously wrong in the output. I cannot speak Portuguese so I did not look too hard at the exact words.

Maybe:

import pandas as pd
import glob

# given the columns should be (actually this is a 
# list of what to look for in the files)...
cols = ['Name',
 'Mandatos (na Câmara dos Deputados',
 'Licenças',
 'Filiações Partidárias',
 'Atividades Partidárias',
 'Atividades Parlamentares',
 'Mandatos Externos',
 'Atividades Profissionais e Cargos Públicos',
 'Estudos e Cursos Diversos']

def getLines(file):
    '''
    Function to take a text file and return a list of cleaned non-blank lines
    '''
    with open(file, 'r') as f_in:
        lines = (line.strip() for line in f_in) 
        lines = list(line for line in lines if line)
        return lines

def createFrame(lines):
    '''
    Function to take a list and return a dataframe
    '''
    d = {}
    for ln, l in enumerate(lines):
        # for lines matches any item in the 'cols' list
        if any(c in l for c in cols):
            # add that line to the dict with the value as the next line
            d[l[:-1]] = [lines[ln+1]]
            
        # really weak way of find the 'Name' - if ALL CAPS and there is a space
        # and it is in the first ten lines
        elif l.isupper() and ' ' in l and ln < 10:
            # add the name to the dict
            d['Name'] = [l]

    return pd.DataFrame(d) 

# set a path to a folder of all these text files
path = r'./text_files/' # use your path
all_files = glob.glob(path + '/*.txt')

# create a list for all the frame we're about to create
dfs = []

# loop through all the files in the set folder
for file in all_files:
    # use the functions to clean the files, get a list, 
    # create a dictionary and then return a frame
    dfs.append(createFrame(getLines(file)))
    
# concat the frames together (assume this is required?)
df = pd.concat(dfs).reset_index(drop=True)

# output the dataframe to a CSV file
df.to_csv('out.csv', index=False)

print('Done.')

display(df)

Output:

CSV:

Answered By - MDR