更新

我已经用其他 SO 用户建议的较新代码更新了问题，并将澄清之前存在的任何含糊不清的文本。

更新 #2

我只能访问相关应用程序生成的日志文件。因此，我只能在日志文件的内容范围内工作，并且不可能有超出该范围的解决方案。我将稍微修改示例数据。我想指出以下关键变量。

线程 ID - 范围从 0..19 - 一个线程被多次使用。因此 ScriptExecThread(2) 可能会在日志中多次出现。

Script - 每个线程都会针对特定文件运行脚本。同样，同一脚本可能在同一线程上运行，但不会在同一线程和文件上运行。

File - 每个 Thread ID 在 File 上运行一个 Script。如果 Thread(10) 正在 myfile.file 上运行 myscript.script，则不会再次执行该行。使用上述示例的成功示例应该是这样的。

------START------

Thread(10) starting myscript.script on myfile.file

Thread(10) finished myscript.script on myfile.file

------END-------

使用上述示例的不成功示例是:

------START------

Thread(10) starting myscript.script on myfile.file

------END------

在解决我的查询之前，我将简要介绍所使用的代码和所需的行为。

总结

我目前正在解析大型日志文件(平均 100k - 600k 行)并尝试按特定顺序检索特定信息。我已经计算出我的请求背后的 boolean 代数，它似乎在纸上可行，但在代码上却没有那么多(我一定错过了一些明显的东西)。我想提前告知代码没有任何形状或形式的优化，现在我只是想让它工作。

在此日志文件中，您可以看到某些线程在启动但从未完成时挂起。可能的线程 ID 范围数。这是一些伪代码:

    REGEX = "ScriptExecThread(\\([0-9]+\\)).*?(finished|starting)" //in java
    Set started, finished
    for (int i=log.size()-1; i >=0; i--) {
    if(group(2).contains("starting")
        started.add(log.get(i))
    else if(group(2).contains("finished")
        finished.add(log.get(i)    
    }
    started.removeAll(finished);

搜索挂起的线程

Set<String> started = new HashSet<String>(), finished = new HashSet<String>();
            
for(int i = JAnalyzer.csvlog.size()-1; i >= 0; i--) {
    if(JAnalyzer.csvlog.get(i).contains("ScriptExecThread")) 
        JUtility.hasThreadHung(JAnalyzer.csvlog.get(i), started, finished);     
}
started.removeAll(finished);
            
commonTextArea.append("Number of threads hung: " + noThreadsHung + "\n");
for(String s : started) { 
    JLogger.appendLineToConsole(s);
    commonTextArea.append(s+"\n");
}

有线程挂起

public static boolean hasThreadHung(final String str, Set<String> started, Set<String> finished) {      
    Pattern r = Pattern.compile("ScriptExecThread(\\([0-9]+\\)).*?(finished|starting)");
    Matcher m = r.matcher(str);
    boolean hasHung = m.find();
    
        if(m.group(2).contains("starting"))
            started.add(str);
        else if (m.group(2).contains("finished"))
            finished.add(str);
        
        System.out.println("Started size: " + started.size());
        System.out.println("Finished size: " + finished.size());
        
    return hasHung;
}

示例数据

ScriptExecThread(1) started on afile.xyz

ScriptExecThread(2) started on bfile.abc

ScriptExecThread(3) started on cfile.zyx

ScriptExecThread(4) started on dfile.zxy

ScriptExecThread(5) started on efile.yzx

ScriptExecThread(1) finished on afile.xyz

ScriptExecThread(2) finished on bfile.abc

ScriptExecThread(3) finished on cfile.zyx

ScriptExecThread(4) finished on dfile.zxy

ScriptExecThread(5) finished on efile.yzy

ScriptExecThread(1) started on bfile.abc

ScriptExecThread(2) started on dfile.zxy

ScriptExecThread(3) started on afile.xyz

ScriptExecThread(1) finished on bfile.abc

END OF LOG

如果您以此为例，您会注意到线程 2 和 3 已启动但未能完成(不需要原因，我只需要获取线程)。

示例数据

09.08 15:06.53, ScriptExecThread(7),Info,########### starting

09.08 15:06.54, ScriptExecThread(18),Info,###################### starting

09.08 15:06.54, ScriptExecThread(13),Info,######## finished in #########

09.08 15:06.54, ScriptExecThread(13),Info,########## starting

09.08 15:06.55, ScriptExecThread(9),Info,##### finished in ########

09.08 15:06.55, ScriptExecThread(0),Info,####finished in ###########

09.08 15:06.55, ScriptExecThread(19),Info,#### finished in ########

09.08 15:06.55, ScriptExecThread(8),Info,###### finished in 2777 #########

09.08 15:06.55, ScriptExecThread(19),Info,########## starting

09.08 15:06.55, ScriptExecThread(8),Info,####### starting

09.08 15:06.55, ScriptExecThread(0),Info,##########starting

09.08 15:06.55, ScriptExecThread(19),Info,Post ###### finished in #####

09.08 15:06.55, ScriptExecThread(0),Info,###### finished in #########

09.08 15:06.55, ScriptExecThread(19),Info,########## starting

09.08 15:06.55, ScriptExecThread(0),Info,########### starting

09.08 15:06.55, ScriptExecThread(9),Info,########## starting

09.08 15:06.56, ScriptExecThread(1),Info,####### finished in ########

09.08 15:06.56, ScriptExecThread(17),Info,###### finished in #######

09.08 15:06.56, ScriptExecThread(17),Info,###################### starting

09.08 15:06.56, ScriptExecThread(1),Info,########## starting

目前代码只显示整个日志文件，其中的行以“starting”开头。当我查看代码时，这确实有些道理。

我已经删除了所有不想显示的冗余信息。如果有任何我可能遗漏的内容，请随时告诉我，我会添加。

最佳答案

如果我没理解错的话，你有大文件并且正在尝试为 X 的所有数值查找“X 开始(但没有提到 X 完成)”形式的模式。

如果我要这样做，我会使用这个伪代码:

Pattern p = Pattern.compile(
   "ScriptExecThread\\(([0-9]+).*?(finished|started)");
Set<Integer> started, finished;
Search for p; for each match m,
     int n = Integer.parseInt(m.group(1));
     if (m.group(2).equals("started")) started.add(n);
     else finished.add(n);
started.removeAll(finished); // found 'em: contains started-but-not-finished

这需要一个正则表达式遍历每个文件和一个 O(size-of-finished) 集减法；它应该比您当前的方法快 20 倍。正则表达式将使用可选的 (|) 匹配来同时查找两个备选方案，从而减少遍历次数。

编辑:使正则表达式显式化。编译正则表达式一次而不是每行编译一次应该可以减少一些额外的运行时间。

编辑 2:实现的伪代码，对我有用

编辑 3:替换实现以显示文件和行。减少内存需求(不将整个文件加载到内存中)；但是打印该行确实需要存储所有“开始”行。

public class T {

    public static Collection<String> findHung(Iterable<String> data) {
        Pattern p = Pattern.compile(   
            "ScriptExecThread\\(([0-9]+).*?(finished|starting)");
        HashMap<Integer, String> started = new HashMap<Integer, String>();
        Set<Integer> finished = new HashSet<Integer>();
        for (String d : data) {
            Matcher m = p.matcher(d);
            if (m.find()) {
                int n = Integer.parseInt(m.group(1));
                if (m.group(2).equals("starting")) started.put(n, d);
                else finished.add(n);
            }                
        }
        for (int f : finished) {
            started.remove(f);
        }
        return started.values();
    }

    static Iterable<String> readFile(String path, String encoding) throws IOException {
        final Scanner sc = new Scanner(new File(path), encoding).useDelimiter("\n");
        return new Iterable<String>() {
            public Iterator<String> iterator() { return sc; }
        };
    }

    public static void main(String[] args) throws Exception {
        for (String fileName : args) {
            for (String s : findHung(readFile(fileName, "UTF-8"))) {
                System.out.println(fileName + ": '" + s + "' unfinished");
            }
        }
    }
}

输入:上面的示例数据，作为第一个参数，称为“data.txt”。另一个名为“data2.txt”的文件中的相同数据作为第二个参数(javac T.java && java T data.txt data2.txt)。输出:

data.txt: '    09.08 15:06.54, ScriptExecThread(18),Info,###################### starting' unfinished
data.txt: '    09.08 15:06.53, ScriptExecThread(7),Info,########### starting' unfinished
data2.txt: '    09.08 15:06.54, ScriptExecThread(18),Info,###################### starting' unfinished
data2.txt: '    09.08 15:06.53, ScriptExecThread(7),Info,########### starting' unfinished

关于java - 基于文本搜索的算法未按预期运行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29896724/