我正在尝试使用 pdfMiner 解析 pdf 文件文本，但提取的文本被合并了。我正在使用来自以下链接的 pdf 文件。

PDF File

我擅长任何类型的输出(文件/字符串)。这是为我将提取的文本作为字符串返回的代码，但由于某种原因，列被合并了。

from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfinterp import PDFResourceManager, process_pdf
import StringIO

def convert_pdf(filename):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec)

    fp = file(filename, 'rb')
    process_pdf(rsrcmgr, device, fp)
    fp.close()
    device.close()

    str = retstr.getvalue()
    retstr.close()
    return str

我也尝试过 PyPdf2，但遇到了同样的问题。这是 PyPDF2 的示例代码

from PyPDF2.pdf import PdfFileReader
import StringIO
import time

def getDataUsingPyPdf2(filename):
    pdf = PdfFileReader(open(filename, "rb"))
    content = ""

    for i in range(0, pdf.getNumPages()):
        print str(i)
        extractedText = pdf.getPage(i).extractText()
        content +=  extractedText + "\n"

    content = " ".join(content.replace("\xa0", " ").strip().split())
    return content.encode("ascii", "ignore")

我也试过pdf2txt.py但无法获得格式化输出。

最佳答案

我最近遇到了类似的问题，尽管我的 pdf 结构稍微简单一些。

PDFMiner 使用称为“设备”的类来解析 pdf 文件中的页面。基本设备类是 PDFPageAggregator 类，它只是解析文件中的文本框。转换器类，例如TextConverter、XMLConverter 和 HTMLConverter 还将结果输出到文件中(或在您的示例中的字符串流中)，并对内容进行一些更精细的解析。

TextConverter(和 PDFPageAggregator)的问题在于它们没有足够深入地递归到文档结构以正确提取不同的列。另外两个转换器需要一些关于文档结构的信息以用于显示目的，因此它们收集了更详细的数据。在您的示例 pdf 中，两个简单的设备都只解析(粗略地)包含列的整个文本框，这使得正确分隔不同的行变得不可能(或至少非常困难)。我发现这个问题的解决方案非常有效，要么

• 创建一个继承自 PDFPageAggregator 的新类，或者
• 使用 XMLConverter 并使用例如解析生成的 XML 文档Beautifulsoup

在这两种情况下，您都必须使用边界框 y 坐标将不同的文本段组合成行。

在新设备类的情况下(我认为它更有说服力)您将不得不覆盖在呈现过程中为每个页面调用的方法 receive_layout。然后此方法递归地解析每个页面中的元素。例如，这样的事情可能会让你开始:

from pdfminer.pdfdocument import PDFDocument, PDFNoOutlines
from pdfminer.pdfparser import PDFParser
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTPage, LTChar, LTAnno, LAParams, LTTextBox, LTTextLine

class PDFPageDetailedAggregator(PDFPageAggregator):
    def __init__(self, rsrcmgr, pageno=1, laparams=None):
        PDFPageAggregator.__init__(self, rsrcmgr, pageno=pageno, laparams=laparams)
        self.rows = []
        self.page_number = 0
    def receive_layout(self, ltpage):        
        def render(item, page_number):
            if isinstance(item, LTPage) or isinstance(item, LTTextBox):
                for child in item:
                    render(child, page_number)
            elif isinstance(item, LTTextLine):
                child_str = ''
                for child in item:
                    if isinstance(child, (LTChar, LTAnno)):
                        child_str += child.get_text()
                child_str = ' '.join(child_str.split()).strip()
                if child_str:
                    row = (page_number, item.bbox[0], item.bbox[1], item.bbox[2], item.bbox[3], child_str) # bbox == (x1, y1, x2, y2)
                    self.rows.append(row)
                for child in item:
                    render(child, page_number)
            return
        render(ltpage, self.page_number)
        self.page_number += 1
        self.rows = sorted(self.rows, key = lambda x: (x[0], -x[2]))
        self.result = ltpage

在上面的代码中，每个找到的 LTTextLine 元素都存储在一个有序的元组列表中，其中包含页码、边界框的坐标以及该特定元素中包含的文本。然后你会做类似的事情:

from pprint import pprint
from pdfminer.pdfparser import PDFParser
from pdfminer.pdfdocument import PDFDocument
from pdfminer.pdfpage import PDFPage
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.layout import LAParams

fp = open('pdf_doc.pdf', 'rb')
parser = PDFParser(fp)
doc = PDFDocument(parser)
doc.initialize('password') # leave empty for no password

rsrcmgr = PDFResourceManager()
laparams = LAParams()
device = PDFPageDetailedAggregator(rsrcmgr, laparams=laparams)
interpreter = PDFPageInterpreter(rsrcmgr, device)

for page in PDFPage.create_pages(doc):
    interpreter.process_page(page)
    # receive the LTPage object for this page
    device.get_result()

pprint(device.rows)

变量 device.rows 包含有序列表，其中所有文本行使用页码和 y 坐标排列。您可以遍历文本行并将具有相同 y 坐标的行分组以形成行、存储列数据等。

我尝试使用上面的代码解析您的 pdf，并且大部分列都被正确解析了。但是，某些列靠得太近，以至于默认的 PDFMiner 试探法无法将它们分成自己的元素。您可能可以通过调整字边距参数(命令行工具 pdf2text.py 中的 -W 标志)来解决这个问题。无论如何，您可能想通读(记录不完整)PDFMiner API以及浏览 PDFMiner 的源代码，您可以从 github 获得它。 (唉，我无法粘贴链接，因为我没有足够的代表点数 :'<>

关于python - 使用 PdfMiner 和 PyPDF2 合并列提取文本，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15737806/