关键词搜索

源码搜索 ×
×

性能优化反思:不要在for循环中操作DB

发布2021-11-02浏览901次

详情内容

如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。

我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。
在for循环中进行数据的匹配组装。

举个栗子

场景说明

  1. 业务在多个情景下需要获得用户的详细信息,有点可以通过查询用户表直接获取到,有的需要查询关联关系表获取到,有的只保存了关联的id,并没有单独创建关联关系表,需要单独写获取函数取值。
  2. 既然多个场景下需要调用,那么封装成一个公共方法,让多个场景统一调用公共方法是基本的优化思路。
  3. 上面提到了复杂的存取值关系,我们需要分析一下,哪些操作是耗时的,耗时的操作如何优化,能否减少sql查询的次数。

举例说明:

  1. 下面的代码示例,我们封装了 CommonRender 的类,所有可以统一输出的方法都在这里
  2. 下面代码标注了优化之前优化之后
  3. 优化之前:在每次查询都需要根据保存的id,去数据库查询;如果列表页每次返回30条数据,那这部分就需要30次sql查询。
  4. 优化之后:采用的是提前批量取值,又写了一个函数 _renderHobby ,只需要1次sql。
  5. 这样就极大的减少了sql查询,提高了程序响应的速度。
<?php

namespace App\Render;

.
.
.

class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [])
    {
        if (!is_array($data)) {
            return [];
        }

        $ret = [
            'uid' => !isset($data['id']) ? 0 : $data['id'],
            'userid' => !isset($data['userid']) ? '' : $data['userid'],
            'username' => !isset($data['username']) ? '' : $data['username'],
            'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
            .
            .
            .
            
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),

//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
           
            .
            .
            .
            
        if (!empty($ret['birth'])) {
            $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
        } else {
            $ret['zodiacSign'] = '';
        }

        return $ret;
    }

    protected static function _renderHobby($userHobby, $hobbyInfo)
    {
        $ret = [];
        if ($userHobby) {
            $userHobbyIds = explode(',', $userHobby);
            foreach ($userHobbyIds as $key => $userHobbyId) {
                $ret[$key] = $hobbyInfo[$userHobbyId];
            }
        }
        return $ret;
    }

    //用户列表卡片常用字段
    public static function renderListCardUserinfo($data)
    {
        .
        .
        .
    }
}

    进一步优化

    上面的代码已经优化了性能,但是还不够优雅。

    获取单用户信息场景比较多,比如编辑,登录,查看单人信息等,这种情况下我还每次都提前批量查询吗?这样的话需要改造的地方太多了。

    下面做进一步优化:

    1. 在render方法内部封装了一层,如果外部没有传入或传入空数组,自己再查询db获得一次需要的数据源。
    <?php
    
    namespace App\Render;
    
    .
    .
    .
    
    class CommonRender extends BaseRender
    {
        public static function renderUserinfo($data, $hobbyInfo = [])
        {
            //区别在这里:批量查询外部传入,减少sql查询次数; 单次查询在render内查一次
            $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
    
            if (!is_array($data)) {
                return [];
            }
    
            $ret = [
                'uid' => !isset($data['id']) ? 0 : $data['id'],
                'userid' => !isset($data['userid']) ? '' : $data['userid'],
                'username' => !isset($data['username']) ? '' : $data['username'],
                'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
                .
                .
                .
                
    //优化之前
    //          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
    
    //优化之后
                'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
               
                .
                .
                .
                
            if (!empty($ret['birth'])) {
                $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
            } else {
                $ret['zodiacSign'] = '';
            }
    
            return $ret;
        }
    
        protected static function _renderHobby($userHobby, $hobbyInfo)
        {
            $ret = [];
            if ($userHobby) {
                $userHobbyIds = explode(',', $userHobby);
                foreach ($userHobbyIds as $key => $userHobbyId) {
                    $ret[$key] = $hobbyInfo[$userHobbyId];
                }
            }
            return $ret;
        }
    
        //用户列表卡片常用字段
        public static function renderListCardUserinfo($data)
        {
            .
            .
            .
        }
    }
    
      65
    • 66
    • 67
    1. 这样,那些获得单个用户资料的方法就不需要修改了。
        //编辑用户资料
        public function editUserInfo(Request $request)
        {
            $userInfo = UserInfo::editUserById($this->_userid, $request);
            return [
                'user' =>
                    CommonRender::renderUserinfo($userInfo)
                    + UserInfo::formatCoverAndPickedFootprint($userInfo)
            ];
        }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    性能对比

    批量获得用户信息对比:性能提升立竿见影。

    1. 比如每次取30个用户数据,之前获得爱好,职业,期望部分要查询30次db。

    2. 优化之后只需要查询3次db。

        public static function getBatchUserIntro($userid, $userList)
        {
            $retData = [];
            if (empty($userList)) {
                return $retData;
            }
            .
            .
            .
            //批量获得爱好、职业、期望遇到 在foreach中计算取值,不重复请求DB取值
            $hobbyInfo = HobbyInfo::getAllInfo();
            $professionInfo = ProfessionInfo::getAllInfo();
            $expectInfo = ExpectInfo::getAllInfo();
    
            foreach ($batchUserInfo as $item) {
                $retData[$item['userid']] = array_merge(
                        ['wxnumber' => Utility::maskWxnumber($item['wxnumber'], $batchExchangeStatus[$item['userid']] == UserUserWeixinExchange::TYPE_TRUE)]
                        + CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
            }
            .
            .
            .
            return $retData;
        }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    注意

    为了行文紧凑,代码段中省略了和文章无关的代码,用竖着的三个.省略。

    参与互动

    大佬们有啥好的方案欢迎在评论区指教。

    相关技术文章

    点击QQ咨询
    开通会员
    返回顶部
    ×
    微信扫码支付
    微信扫码支付
    确定支付下载
    请使用微信描二维码支付
    ×

    提示信息

    ×

    选择支付方式

    • 微信支付
    • 支付宝付款
    确定支付下载