场景如下:我正在尝试针对某些文本评论建立一种机制。例如我想计算一些评论中最常用的词。这是 my code :

function cleanWord( &$word ){
    $word = trim($word, "'\".!<>{}()-/\*&^%$#@+~ ");
}

// list of comments
$arr_str =  [
            "  this!! is     the first &test message./",
            "*Second ^message this (is) ",
            "'another\ **message*** !\"}& it is. also the favorite one (message)."
            ];

// To join array's items      
$str = implode(" ", $arr_str);

// To chop the string based on the space
$words = explode(" ",$str);

// To remove redundant character(s)
array_walk($words, 'cleanWord');

// To remove empty array elements
$words = array_filter($words);

print_r($words);

/* Output:
Array
(
    [2] => this
    [3] => is
    [8] => the
    [9] => first
    [10] => test
    [11] => message
    [12] => Second
    [13] => message
    [14] => this
    [15] => is
    [17] => another
    [18] => message
    [20] => it
    [21] => is
    [22] => also
    [23] => the
    [24] => favorite
    [25] => one
    [26] => message
)

正如您在 fiddle 中所见，$words 包含一个数组，其中包含来自这些评论的所有单词。我在数据库中也有一个表，我像这样在其中插入单词:

foreach( $words as $word ){
    $db->query("INSERT INTO words (word) 
                       VALUES $word
                ON DUPLICATE KEY UPDATE used_num = used_num + 1");
                -- there is a unique index on "word" column
}

/* Output:
// words
+----+----------+----------+
| id |   word   | used_num |
+----+----------+----------+
| 1  | this     | 2        |
| 2  | is       | 3        |
| 3  | the      | 2        |
| 4  | first    | 1        |
| 5  | test     | 1        |
| 6  | message  | 4        |
| .  | .        | .        |
| .  | .        | .        |
| .  | .        | .        |
+----+----------+----------+

然后我像这样选择最常用的词:

SELECT * FROM words
ORDER BY used_num DESC
LIMIT $limit

我的问题是什么？!实际上，该数组如下所示:

$arr_str =  [
               ["  this!! is     the first &test message./", "Jack", "1488905152"],
               ["*Second ^message this (is) ", "Peter", "1488901178"],
               ["'another\ **message*** !\"}& it is. also the favorite one (message).", "John", "1488895116"]
            ];

如您所见，每条评论都有一个作者和一个发布时间。现在我想要:

• 基于该 unix 时间戳制作过滤系统。 (例如获取 x 和 y 次之间最常用的单词)

• 为每个词制作一个作者列表。 (例如，“消息”一词在这些评论中使用了 4 次。现在我想访问这些评论作者的列表，即 [Jack, Peter, John])

您对实现这些的算法有什么建议吗^？

最佳答案

您可以使用正则表达式来清理单词:

$comments = [
  "  this!! is     the first &test message./",
  "*Second ^message this (is) ",
  "'another\ **message*** !\"}& it is. also the favorite one (message)."
];

foreach($comments as $k => $str){
  preg_match_all('/([a-zA-Z]+)/', $str, $matches);
  $exploded[] = $matches[0];
}

print_r($exploded);

但是，如果要为每个“词”附加数据，则必须先添加一个表格。您的表中的每个单词都有一个主键，这很好，因为我们不想存储过多的数据。

现在是第二个表(worddata):

+----+----------+-----------+
| id |  wordid  | commentid |
+----+----------+-----------+
| 1  | 1        | 2         |
+----+----------+-----------+
          |          \-> refers to the primary key of the comments table
          |
          -> refers to 'this'

现在我假设您有一个表，其中存储了所有评论(将其称为 comments)，这些评论与发布时间相关联并具有作者 ID。

本质上，像这样填写这个表:

SELECT comments_id, comments_text FROM comments

过滤你的词并将它们插入到表中:

INSERT INTO worddata (wordid, comment_id)

我建议为此使用一个临时表，因为每个评论中的每个词都应该有自己的行，这可能会汇总大量数据。 wd.wordid = 1 应该根据您的 wordlist 表引用单词 'this'。

如果该值已知，您可以选择日期之间的所有评论，并且只插入这些评论中的单词。

现在你可以连接表数据了:

SELECT c.id, c.userid, c.created
FROM `comments` as c
  JOIN `worddata` as wd on wd.commentid = c.userid
WHERE wd.wordid = 1

现在这个例子应该返回所有的评论 id，其中单词是 this。如果您想按 author 过滤，您应该更改或添加 c.userid = # 到 WHERE 子句。可以使用 c.created > NOW() - 3600 来选择最后一小时内的评论。

当然，如果需要，您可以选择更多数据，但这更像是一个连接示例，而不是复制粘贴代码。

关于php - 如何在执行 ON DUPLICATE KEY 时保留数据？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42654054/