java - 如何加速程序？ (很多慢mysql查询)

Question

我的数据库有 300 000 行，我需要通过算法过滤一些行。

protected boolean validateMatch(DbMatch m) throws MatchException, NotSupportedSportException{

    // expensive part
    List<DbMatch> hh = sd.getMatches(DateService.beforeDay(m.getStart()), m.getHt(), m.getCountry(),m.getSportID());
    List<DbMatch> ah = sd.getMatches(DateService.beforeDay(m.getStart()), m.getAt(), m.getCountry(),m.getSportID());
    ....

用于从 Mysql 加载数据的 hibernate dao 函数使用了初始化数组大小的 2 倍。

public List<DbMatch> getMatches(Date before,String team, String country,int sportID) throws NotSupportedSportException{
    //Match_soccer where date between :start and :end
    Criteria criteria = session.createCriteria(DbMatch.class);
    criteria.add(Restrictions.le("start",before));
    criteria.add(Restrictions.disjunction()
            .add(Restrictions.eq("ht", team))
            .add(Restrictions.eq("at", team)));

    criteria.add(Restrictions.eq("country",country));
    criteria.add(Restrictions.eq("sportID",sportID));
    criteria.addOrder(Order.desc("start") );
    return criteria.list();
}

我如何尝试过滤数据的示例

function List<DbMatch> filter(List<DbMatch> mSet){
   List<DbMatch> filtred = new ArrayList<>();
   for(DbMatch m:mSet){
      if(validateMatch(DbMatch m))filtred.add(m);
   }
}

(1)我尝试了不同的标准设置并用秒表计算了功能时间。我的结果是，当我使用 filter(matches) matches size 1000 时，我的程序需要 3 分 21 秒 659 毫秒。

(2)我尝试删除 criteria.addOrder(Order.desc("start"));，而不是在 3 分 12 秒 811 毫秒后过滤程序。

(3)但是如果我删除 criteria.addOrder(Order.desc("start")); 并添加 criteria.setMaxResults(1); 结果是 22秒 311 毫秒。

使用最后的配置，我可以按 22,3 * 300 = 22300 秒(约 6 小时)过滤所有 300 000 条记录，但如果使用第一个功能，我应该等待(约 60 小时)。

如果我想使用没有顺序和限制的条件，我必须确保我的表按数据库上的日期排序，因为获取最后一个匹配很重要。

所有数据都存储在matches表中。

表索引:

表、Non_unique、Key_name、Seq_in_index、Column_name、排序规则、基数、Sub_part、打包、Null、Index_type、注释、Index_comment

匹配项, 0, PRIMARY, 1, mid, A, 220712, , , , BTREE, ,
匹配, 0, UK_kcenwf4m58fssuccpknl1v25v, 1, beid, A, 220712, , , YES, BTREE, ,

UPDATED

添加ALTER TABLE 匹配ADD INDEX(运动ID，国家/地区)后； 现在，1000 场比赛的程序时间缩短为 15 秒。但如果我不使用 order by 并添加 limit 只需等待 4 秒即可完成 1000 个数学运算。

针对这种情况我应该如何采取行动来提高程序执行速度？

Answer 1

您的首要任务是计算出每个组件处理请求所需的时间。

找出 ORM 生成的 SQL 查询，并在 MySQL Workbench 中手动运行该查询，看看需要多长时间(非缓存)。您还可以要求它解释索引的用法。

如果它足够快，那么就是你的 java 代码花费了更长的时间，你需要优化你的算法。您可以使用 JConsole 进一步深入研究。

如果您确定哪个组件花费了更长的时间，您可以在此处发布您的分析，我们可以相应地提出建议。