本项目提供一个基于 Gymnasium 的 PX4 四旋翼仿真环境(QuadcopterEnv),并给出使用 Tianshou 的 PPO 算法进行训练与评估的完整脚本。
- 环境:四旋翼动力学 + 轨迹生成 + PID 控制器
- 算法:PPO(优势函数、GAE、熵正则、梯度裁剪等)
- 特性:滑动窗口奖励、课程学习、日志与数据导出
建议的项目目录(关键文件):
project/
├─ envs/
│ └─ quadcopter_env.py # 你的 QuadcopterEnv(Gym 环境)
├─ quadFiles/ ... # 四旋翼相关模块
├─ utils/ ... # 工具函数、风模型等
├─ train_px4_ppo.py # 训练与测试脚本(PPO)
├─ README.md # 本文件
└─ requirements.txt # 依赖
- Python 3.9+
- Gymnasium
- NumPy
- PyTorch (CUDA 可选)
- Tianshou >= 0.5.0
- Matplotlib(用于数据渲染)
- WandB(可选,用于云端日志)
# 建议使用虚拟环境
conda create -n px4-ppo python=3.11 -y
conda activate px4-ppo
# 安装核心依赖
pip install -U pip
pip install gymnasium numpy torch tianshou matplotlib
# 可选:WandB
pip install wandb如果你有
requirements.txt,直接pip install -r requirements.txt。
- 动作空间:连续 Box,shape=(20, ),范围 ([0, 1]),映射到 PID 参数安全区间
- 观测空间:连续向量,shape=(24, ),包含参考与反馈的 [位置/速度/姿态/角速度]
- 奖励:密集奖励(每仿真子步)+ 滑动窗口分段奖励(近 3s)
- 终止条件:步数达上限或位置/姿态越界
- 渲染:
mode='data_log':输出列式 CSV,包含整回合数据mode='human':静态图和动画(需要 GUI 环境)
此脚本基于 Tianshou 的 PPOPolicy,适配 QuadcopterEnv,支持:
- 向量化环境并行采样(SubprocVectorEnv)
- 课程学习(可选)
- 学习率线性衰减(可选)
- TensorBoard/WandB 日志
- 定期保存 checkpoint 与 Best Policy
- 评估与数据导出
# 基础训练(推荐)
python train_px4_ppo.py --training-num 8 --test-num 4 --epoch 500
# 启用课程学习
python train_px4_ppo.py --use-curriculum --curriculum-stages 5 --training-num 8
# 使用 WandB 记录
python train_px4_ppo.py --logger wandb --wandb-project px4-pid-optimization
# 恢复训练(从 checkpoint 或 best policy)
python train_px4_ppo.py --resume-path log_px4/px4_quad/ppo/0/<timestamp>/best_policy.pth--control-type:控制模式,默认xyz_pos,可选xy_vel_z_pos、xyz_vel--trajectory-type:轨迹类型(0-13),默认 5--yaw-type:偏航控制类型(0-4),默认 3--max-episode-steps:每回合最大步数(RL 步),默认 2000--rl-dt:RL 决策步长(秒),默认 1.0(每个 step 执行多个仿真子步)--sim-dt:仿真积分步长(秒),默认 0.005--segment-window:滑动窗口奖励时长(秒),默认 3.0--wind-type:风扰类型,默认None--wind-strength:风强度,默认 2.0
--training-num:并行训练环境数,默认 8--test-num:测试环境数,默认 4--buffer-size:回放缓冲区大小(on-policy 也会用到),默认 20000--hidden-sizes:网络隐藏层维度,默认[256, 256]--lr:学习率,默认 3e-4--gamma:折扣因子,默认 0.99--epoch:训练轮数,默认 500--step-per-epoch:每个 epoch 的环境步数,默认 100000--step-per-collect:每次收集的步数,默认 4096--repeat-per-collect:每收集一次的更新次数,默认 10--batch-size:批大小,默认 256--eps-clip:PPO 概率比裁剪阈值,默认 0.2--vf-coef:价值函数损失权重,默认 0.5--ent-coef:熵正则化,默认 0.01--gae-lambda:GAE 参数,默认 0.95--value-clip:是否对价值函数做裁剪,默认 1--norm-adv:优势归一化,默认 1--recompute-adv:重新计算优势(提高稳定性),默认 1--lr-decay:线性学习率衰减,默认 1--max-grad-norm:梯度裁剪,默认 0.5
--logdir:日志根目录,默认log_px4--logger:tensorboard或wandb或both(若脚本支持),默认tensorboard--render:测试时渲染间隔(秒),默认 0(不渲染)--save-interval:每 N 个 epoch 保存一次 checkpoint,默认 10--watch:仅测试(不训练),默认 False--save-video:测试后保存数据日志(CSV),默认 False--resume-path:加载的模型路径--resume-id:日志 run id(与 logger 相关)
脚本将创建类似如下的目录结构:
log_px4/
└─ px4_quad/
└─ ppo/
└─ 0/
└─ 250101-120000/ # 时间戳
├─ events.out.tfevents* # TensorBoard 日志
├─ best_policy.pth # 表现最佳的策略
├─ checkpoint_epoch_XX.pth
└─ final_policy.pth
best_policy.pth:训练过程中自动保存的最佳策略(基于测试回报)checkpoint_epoch_XX.pth:按--save-interval定期保存final_policy.pth:训练结束后的最终策略
使用 TensorBoard 查看日志:
tensorboard --logdir log_px4
# 仅测试,不训练
python train_px4_ppo.py --watch --resume-path ./log_px4/100/250925-134056/best_policy.pth --test-num 10
# 测试并保存完整一集的飞行数据(CSV)
python train_px4_ppo.py --watch --resume-path ./log_px4/100/250925-134056/best_policy.pthpython train_px4_ppo.py --watch --resume-path ./log_px4/100/250925-134056/best_policy.pth --render=0.1
保存的 CSV 位于当前运行的日志目录下的一个 episode_<timestamp> 子目录中,包含整回合时序数据,便于分析或绘图。
启用课程学习后,训练会从简单任务逐步过渡到复杂任务。脚本中提供了一个简单的 CurriculumManager 示例,它会:
- 根据测试回报估算一个“成功率”
- 在达到阈值(
--stage-threshold)时切换到下一个阶段 - 自动调用环境的
set_course_stage(stage)更新任务配置
使用方式:
python train_px4_ppo.py --use-curriculum --curriculum-stages 5 --stage-threshold 0.75你可以在
CurriculumManager中自定义每个阶段使用的trajectory_type与control_type。
- 显存/内存不足:适当降低
--training-num、--step-per-collect、--batch-size。 - 训练不收敛:
- 检查动作是否已在环境中映射到 PID 安全范围(脚本已设置
action_scaling=True且unbounded=False)。 - 降低
--ent-coef或增大--vf-coef。 - 减小
--eps-clip,或启用--value-clip 1。 - 减小风强度,简化轨迹,或启用课程学习。
- 检查动作是否已在环境中映射到 PID 安全范围(脚本已设置
- 训练太慢:使用 SubprocVectorEnv(默认),增大
--training-num,或开启 CUDA。 - 日志看不到:确认
--logdir权限;TensorBoard 指向根目录log_px4。
python train_px4_ppo.py \
--training-num 8 --test-num 4 \
--epoch 500 --step-per-epoch 100000 \
--step-per-collect 4096 --repeat-per-collect 10 \
--batch-size 256 --hidden-sizes 256 256 \
--ent-coef 0.01 --vf-coef 0.5 --eps-clip 0.2 \
--value-clip 1 --norm-adv 1 --recompute-adv 1 \
--lr 3e-4 --lr-decay 1- 环境代码遵循你给出的许可证声明(MIT)。
- 本训练脚本及 README 默认为 MIT 开源(可按需更改)。
- Tianshou
- Gymnasium / PyTorch 社区贡献
- PX4 相关研究和开源项目
默认命令:
python /home/ai/package/ppo_px4_package/train_px4_ppo.py
或者
/home/ai/miniconda3/envs/tianshou_env/bin/python /home/ai/package/ppo_px4_package/train_px4_ppo.py
尝试: ->考虑把 ent_coef 从 0.01 稍增到 0.02,或对后期阶段动态调高一点,促进探索,防止过早收敛在次优解。 python /home/ai/package/ppo_px4_package/train_px4_ppo.py --ent-coef=0.02 ->考虑把
测试:初始化一个train环境用于测试奖励构成和权重是否合适 python train_px4_ppo.py --test-env-mode
观看模式:绘制状态图片,或者动态plot状态 python train_px4_ppo.py --watch --resume-path=./log_px4/px4_quad/ppo/0/250918-196267/best_policy.pth --render=0.02
v1.1.0 完成基本的 tianshou(ppo)+ PX4 架构的PID自适应控制器实现航迹跟踪飞行。 v1.2.0 实现远距离waypoint,和高速 的航迹跟随,改进角速率跟踪性能 最大允许速度: ->x,y分轴最大速度:5->15 ->z分轴速度:5 ->总速度:5->20 航点:x,y,z放大10倍 平均速度:1.6m/s -> 8m/s v1.2.0 实现 课程学习 stage1:慢速,小位置移动 stage2:
python train_px4_ppo.py --use-curriculum=True
v2.1.0 基于tianshou(ppo) + PX4 + Gazebo 实现模拟在线强化学习功能; v2.2.0 基于tianshou(ppo) + PX4 + Gazebo 实现手动控制测试,航线跟踪飞行测试
cd autodl-tmp && rm -rf ppo_px4_package git clone https://github.com/tz120012/ppo_px4_package.git
tz120012 -- tianzh25@SYU vGPUs: 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 ###########################################################
vGPU-1: ssh -p 15919 root@connect.westc.gpuhub.com 2BXzUvq6rQz4
vGPU-2: ssh -p 39048 root@connect.westb.seetacloud.com bvXn/cOiqoz4
vGPU-3: ssh -p 26573 root@connect.westc.gpuhub.com tkEAJcq9lURp
vGPU-4: ssh -p 14899 root@connect.westc.gpuhub.com yk+hPKVMAstV
vGPU-5: ssh -p 46654 root@connect.westc.gpuhub.com 2NxLLVHHSiwy
vGPU-6: ssh -p 47913 root@connect.westc.gpuhub.com RoQgM27nSp/Y
4090: ssh -p 32026 root@connect.cqa1.seetacloud.com Z6rwaoc7XaIO
############################################################
tmux attach -t rl # 简写:tmux a -t rl
tmux set -g mouse on
tmux set -g history-limit 100000
############################################################ ->vGPU-1<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=512 --step-per-collect=128 --buffer-size=1024 --batch-size=64 --lr=3e-4 --repeat-per-collect=5 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
->vGPU-2<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=1024 --step-per-collect=256 --buffer-size=2048 --batch-size=128 --lr=3e-4 --repeat-per-collect=5 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
->vGPU-3<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=2048 --step-per-collect=512 --buffer-size=4096 --batch-size=256 --lr=3e-4 --repeat-per-collect=5 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
->vGPU-4<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=512 --step-per-collect=128 --buffer-size=1024 --batch-size=64 --lr=3e-4 --repeat-per-collect=10 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
->vGPU-6<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=1024 --step-per-collect=256 --buffer-size=2048 --batch-size=128 --lr=3e-4 --repeat-per-collect=10 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
->4096<- clear tmux new -s rl && tmux set -g mouse on
conda activate tianshou_env cd /root/autodl-tmp/ppo_px4_package
python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=2048 --step-per-collect=512 --buffer-size=4096 --batch-size=256 --lr=3e-4 --repeat-per-collect=10 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.02 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
############################################################
250926-224416 python train_px4_ppo.py --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=200 --step-per-epoch=2048 --step-per-collect=512 --buffer-size=4096 --batch-size=256 --lr=3e-4 --repeat-per-collect=10 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.01 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log
python train_px4_ppo.py --use-curriculum --max-episode-steps=60 --rl-dt=0.5 --sim-dt=0.005 --epoch=1000 --step-per-epoch=2048 --step-per-collect=512 --buffer-size=4096 --batch-size=256 --lr=3e-4 --repeat-per-collect=10 --training-num=16 --test-num=16 --gamma=0.99 --vf-coef=0.5 --ent-coef=0.01 --gae-lambda=0.95 --max-grad-norm=0.6 --eps-clip=0.25 --lr-decay=1 2>&1 | tee -a train_$(date +%F_%H%M).log ############################################################ 简化课程学习命令: 默认: python train_px4_ppo.py --use-curriculum
尝试调整参数值:--rl-dt=0.2 --lr=1e-4