文档中心MogDBMogDB StackUqbar
v2.1

文档:v2.1

支持的版本:

其他版本:

使用指导

前提条件

  • 需要保证用户提供训练数据。
  • 如果用户通过提供的工具收集训练数据,则需要启用WDR功能,涉及到的参数为track_stmt_stat_level和log_min_duration_statement,具体情况见下面小节。
  • 为保证预测准确率,用户提供的历史语句日志应尽可能全面并具有代表性。
  • 按照要求配置python 3.6+环境及其依赖。

环境配置

本功能运行环境要求Python 3.6版本及以上,需要的第三方依赖包记录在requirements.txt文件中,可以通过pip install命令安装依赖,如:

pip install requirements.txt

SQL流水采集方法

本工具需要用户提前准备数据,训练数据格式如下,每个样本通过换行符分隔:

SQL,EXECUTION_TIME

预测数据格式如下:

SQL

其中SQL表示SQL语句的文本,EXECUTION_TIME表示SQL语句的执行时间,样例数据见sample_data中的train.csv和predict.csv。

用户可以按照要求格式自己收集训练数据,工具也提供了脚本自动采集(load_sql_from_rd),该脚本基于WDR报告获取SQL信息,涉及到的参数有log_min_duration_statement和track_stmt_stat_level:

  • 其中log_min_duration_statement表示慢SQL阈值,如果为0则全量收集,时间单位为毫秒;
  • track_stmt_stat_level表示信息捕获的级别,建议设置为track_stmt_stat_level='L0,L0'

参数开启后,可能占用一定的系统资源,但一般不大。持续的高并发场景可能产生5%以内的损耗,数据库并发较低的场景,性能损耗可忽略。

使用脚本获取训练集方式:
load_sql_from_wdr.py [-h] --port PORT --start_time START_TIME
                            --finish_time FINISH_TIME [--save_path SAVE_PATH]
例如:
    python load_sql_from_wdr.py --start_time "2021-04-25 00:00:00" --finish_time "2021-04-26 14:00:00" --port 5432  --save_path ./data.csv

操作步骤

  1. 提供历史日志以供模型训练

  2. 进行训练与预测操作:

    基于模板法的训练与预测:
        python main.py [train, predict] -f FILE --model template --model-path template_model_path
    基于DNN的训练与预测:
        python main.py [train, predict] -f FILE --model dnn --model-path dnn_model_path

使用方法示例

在本工具的根目录中,执行下列语句可以实现对应功能。

使用提供的测试数据进行模板化训练:

python main.py train -f ./sample_data/train.csv --model template --model-path ./template

使用提供的测试数据进行模板化预测:

python main.py predict -f ./sample_data/predict.csv --model template --model-path ./template --predicted-file ./result/t_result

使用提供的测试数据进行模板化模型更新:

python main.py finetune -f ./sample_data/train.csv --model template --model-path ./template

使用提供的测试数据进行DNN训练:

python main.py train -f ./sample_data/train.csv --model dnn --model-path ./dnn_model

使用提供的测试数据进行DNN预测:

python main.py predict -f ./sample_data/predict.csv --model dnn --model-path ./dnn_model --predicted-file

使用提供的测试数据进行DNN模型更新:

python main.py finetune -f ./sample_data/train.csv --model dnn --model-path ./dnn_model
Copyright © 2011-2024 www.enmotech.com All rights reserved.