登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
Gitee 2025年度开源项目评选启动,快来选出你心中的最佳开源项目!
代码拉取完成,页面将自动刷新
开源项目
>
人工智能
>
机器学习/深度学习
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
19
Star
153
Fork
27
PaddlePaddle
/
PARL
代码
Issues
4
Pull Requests
0
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
两个具有聚合关系的类(Agent和Algorithm)都有相同名称的方法,违背了类的职责单一原则
待办的
#IC06BG
阿甘
创建于
2025-04-10 20:08
在parl架构设计中,核心的抽象类Agent和Algorithm之间的关系是,Algorithm聚合于Agent,但二者都提供了相同名称的接口,predict,sample,learn,这不是pythonic风格,易导致二者职责混乱不清。不是好的设计。我建议algorithm只负责根据经验数据更新模型参数,至于在训练期间如何sample动作,应该是agent的责任(当然它可以通过调用Algorithm的属性Model来协助完成),同样,predict动作,也应该是agent的责任。强化学习算法,不仅涉及到模型参数的更新,还隐含了如何与环境交互获得数据。因此,算法的最终应该以Agent的各种子类展现给用户,而不是以Algorithm展现给用户,否则,对用户来说,去对已有算法自定义Agent,是一件重复性的工作。
在parl架构设计中,核心的抽象类Agent和Algorithm之间的关系是,Algorithm聚合于Agent,但二者都提供了相同名称的接口,predict,sample,learn,这不是pythonic风格,易导致二者职责混乱不清。不是好的设计。我建议algorithm只负责根据经验数据更新模型参数,至于在训练期间如何sample动作,应该是agent的责任(当然它可以通过调用Algorithm的属性Model来协助完成),同样,predict动作,也应该是agent的责任。强化学习算法,不仅涉及到模型参数的更新,还隐含了如何与环境交互获得数据。因此,算法的最终应该以Agent的各种子类展现给用户,而不是以Algorithm展现给用户,否则,对用户来说,去对已有算法自定义Agent,是一件重复性的工作。
评论 (
0
)
登录
后才可以发表评论
状态
待办的
待办的
进行中
已完成
已关闭
负责人
未设置
标签
未设置
标签管理
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (126)
标签 (9)
develop
win_compat
r2.2
sophisticated_class
doc_compile
doc
debug
TomorrowIsAnOtherDay-patch-2
seperated_test
unittest
zhoubo01_tmp
TomorrowIsAnOtherDay-patch-2-1
gpu_test
logging
rical730-patch-1
test_mp
ci
clean_workspace
maddpg-readme-1
r2.1.1
dev2.1.1
es-readme
update_setup
r2.1
revert-1002-r2.1
zhoubo02
readme-re
TomorrowIsAnOtherDay-patch-1
parl2.1.0
impala-paddle
impala_paddle
maddpg-readme
r2.0.5
fix_max_memory_unittest
r2.0.4
distributed_maddpg
fix_offline_rl
r2.0.3
fix_bug
refine_set_weights
action_wrapper
fix_xparl_status2
fix_xparl_status
r2.0.2
r2.0.1
r2.0.0
r2.0.0rc0
fix_remote_class_args
TomorrowIsAnOtherDay-patch-3
windows_unittest_fix
windows_unittest
r1.4.3
fix_worker
fix_grpc_test
r1.4.2
dy_dqn
master_worker_heartbeat
multiprocessing
UT_hang
CI_verbose
remote_class
windows_CI_proxy
windows_ci_timeout
master_client_heartbeat
windows_ci
r1.4.1
test_windows_unittests
worker_logserver_heartbeat
fix_distributed_files
test
worker_job_heartbeat
csv_logger
r1.4
fix_pycharm
grpc_heartbeat_PR1
sac
grpc_heartbeat
xparl_stderr2
dygraph
log_server_heartbeat
xparl_stderr
remove_pyarrow
xparl_debug
async_wait
r1.3.3
zhs
save_multi
maddpg_update
xparl_gpu
xparl_doc
xparl_test
xparl_hung
xparl_submod
monitoring
rpm_bug
fix_remote
ddqn_bug
r1.3.2
zhoubo01
new_docs
CN_docs
lkj
r1.3.1
import_collision
tutorials
dqn_lr
fix_recursive_bug
alphazero
ping
TomorrowIsAnOtherDay-AAAI2020-papers
r1.3
zhs_win
lkj_lib
icode
lkj_es_sampling
remove_clone
lkj_es2
lkj_es
r1.2.3
lkj_coma
ICLR2020
r1.2
r1.1.2
r1.1.1
r1.1
master
v2.2
v2.1
v2.0.0
v1.4
v1.3
v1.2
v1.1.1
v1.1
v1.0
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
参与者(1)
Python
1
https://gitee.com/paddlepaddle/PARL.git
[email protected]
:paddlepaddle/PARL.git
paddlepaddle
PARL
PARL
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册