首先，让我先声明一下，我已经对这个主题进行了大量研究，并且已经投入了大量时间来寻找可行的解决方案。话虽如此，我遇到了一些我似乎无法克服的问题，因此正在寻求一些正确方向的指导。

小背景故事:我为网站编写/维护 php/mysql。我们基本上是一个发布文章、评论、视频等的游戏网站。

问题:我有一个存储网站所有内容的 mysql 数据库。这个数据库中基本上有 4 个字段，我从中提取单词，然后我想匹配数据库中的所有其他文章并确定前 3 篇相关文章，以便显示它们。实现此目标的最有效和最佳方法？

这是我到目前为止所做的:

在我设计的CMS中，我基本上设计了一个“词袋”类型的系统。该程序遍历所有文章(大约有 4,000 篇)并将每个单词分解到一个单独的数据库中。在这个单独的数据库中，存储了单词、文章中的单词计数、tf*idf(稍后会详细介绍)和文章 ID(内容数据库的外部引用)。所以，一个词可以在这个数据库中出现不止一次，但对于一篇文章来说不能超过一次。处理完成后(大约需要 4 分钟)，这个新数据库中有近 700,000 个条目。

然后，我有另一个程序遍历这个新单词数据库并解析它的 tf*idf .浏览包含 700,000 个条目的整个列表需要该程序大约 15 分钟。

现在，这是我坚持的部分。我正在研究这方面的前端部分，以实际使系统可用。前端部分在数据库中查询当前正在查看的文章 (article_id) 并提取按 tf*idf 排序的前 20 个单词。然后，我提取这些词并针对包含这些词的其他文章查询它们，并有一个数组存储被比较的文章和它们匹配的次数。然后，对数组进行排序，拉取比较次数最多的前3篇文章。

这最后一部分工作得很好而且花花公子，实际上我使用 tf*idf 和词袋之间的混合得到了很好的比较。问题是前端部分发生，需要 30-45 秒。显然这是不可行的......它必须在几分之一秒内完成，这就是我遇到问题的地方。

我知道这真的很长，对此我深表歉意。我基本上是在寻找一些帮助来清理这个想法，有些地方我出错了，不同的方法。我对所有建议持开放态度，并且很乐意提供任何更多信息，如果它能让这些更清楚的话。感谢您的宝贵时间!

每个请求、表架构和前端代码...

--
-- Table structure for table `bagofwords`
--
CREATE TABLE IF NOT EXISTS `bagofwords` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `article_id` int(11) NOT NULL,
  `article_total_word_count` int(11) NOT NULL,
  `word` text NOT NULL,
  `count` int(11) NOT NULL,
  `timestamp` int(11) NOT NULL,
  `tfidf` float NOT NULL,
  KEY `id` (`id`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=660930 ;


public function related_articles($article_id, $count = 3) {
        $query = "SELECT * FROM `bagofwords` WHERE `article_id` = '$article_id' ORDER BY `tfidf` DESC LIMIT 20";
        $result = $this->db->query($query);
        $num_rows = $this->db->num_rows($result);

        $articles_list = array();
        for ($i=0; $i<$num_rows; $i++) {
            $word = $this->db->fetch_field($result, 'word', $i);

            $query_word = "SELECT `article_id` FROM `bagofwords` WHERE `word` = '$word' AND `article_id` != '$article_id' ORDER BY `tfidf` DESC";
            $result_word = $this->db->query($query_word);
            $result_num_rows = $this->db->num_rows($result_word);
            for ($x=0; $x<$result_num_rows; $x++) {
                $article_id_word = $this->db->fetch_field($result_word, 'article_id', $x);
                if (isset($articles_list["$article_id_word"])) $articles_list["$article_id_word"]++;
                else $articles_list["$article_id_word"] = 1;
            }
        }

        array_flip($articles_list);
        asort($articles_list);
        return $articles_list;

    }

好的，这几乎是前端代码部分，截至目前，它在前端返回整个数组和 var_dumps，只是为了查看我得到了什么样的数据。但是，是的，必须有更好的方法来使用嵌套的东西或临时表在单个 mySQL 语句中编写所有这些。我想不通!

最佳答案

显而易见的是将此查询作为自连接运行。我需要测试生产量来优化它，但是像这样:

select word, count(*) as article_count
from   bagofwords article, 
       bagofwords relations
where  article.article_id = '$article_id'
and    article.word       = relation.word
group by word
order by article.tfidf, article_count

limit 20

您还需要“word”列的索引:

create index word on bagofwords(word)

关于php - 创建一种使用 php 和 mysql 构建相关文章功能的有效方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9467774/