毕设情况

利用 Virtualhome、AI2THor等虚拟机器人仿真环境，基于大规模预训练语言模型，研究支持自然语言指令的机器人任务规划模型与方法。参考https://zhuanlan.zhihu.com/p/541492104，Hierarchical Task Learning from Language Instructions with Unified Transformers and Self-Monitoring
https://github.com/594zyc/HiTUT，Robot Task Planning and Situation Handling in Open Worlds https://cowplanning.github.io/，
Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents
https://huangwl18.github.io/language-planner。

还在记录中…现在没有思路…

iGibson – 斯坦福

文档：https://stanfordvl.github.io/iGibson/installation.html

仓库：https://github.com/StanfordVL/iGibson

环境无法搭成功。家里windows安装失败，双系统ubuntu下安装失败，云服务器ubuntu安装失败。最后都是cmake错误，根据GitHub上issue排查仍无法解决。

AI Habitat – Facebook

文档：https://aihabitat.org/docs/habitat-lab/

仓库：https://github.com/facebookresearch/habitat-sim、https://github.com/facebookresearch/habitat-lab

教程：https://aihabitat.org/tutorial/2020/

Colab上能运行教程用例，但不知道如何使用进行学习。而且教程用例错误较多，需要自己debug调试。

环境库依赖下载成功，但test样例无法运行成功。

allenact，框架 – allen实验室

仓库：https://github.com/allenai/allenact

教程能跑起来，但不知道如何使用进行学习。

不同教程用的库版本和插件不同，可能这个教程能跑，但跑另一个教程又会出现某些库版本过高或过低导致无法运行。

导致需要自己又到每个插件去看符合范围的库版本进行调整，到最后又会发现之前能跑的用例结果不能跑了。。

ai2thor – allen实验室

文档：https://ai2thor.allenai.org/ithor/documentation/

仓库：https://github.com/allenai/ai2thor

环境能运行起来，但不知道如何使用进行学习。

外网参考视频：ASR Using HMM in Ai2Thor，Demo video – Ứng dụng xử lý tiếng nói cho AI2Thor，语音识别生成动作控制机器人运行，但不涉及embodied ai。

ai2thor环境:https://ai2thor.allenai.org/

habitat环境:https://aihabitat.org/（搭不起来）

allenact学习框架：https://allenact.org/

2.17

https://embodied-ai.org/

可以基于这个workshop里面的两个challenge来做，两个challenge都给了基准实现，先能把基准实现跑通也可以。

https://ai2thor.allenai.org/rearrangement/

https://github.com/allenai/ai2thor-rearrangement#-training-baseline-models-with-allenact

https://askforalfred.com/EAI22/

https://github.com/soyeonm/FILM

https://github.com/askforalfred/alfred 后面3个链接是ALFRED的

 conda install pytorch=1.7.1 torchvision=0.8.2 torchaudio=0.7.2 cudatoolkit=11.0

python models/train/train_seq2seq.py --data data/json_2.1.0 --model seq2seq_im_mask --dout exp/model:{model},name:pm_and_subgoals_01 --splits data/splits/oct21.json --gpu --batch 8 --pm_aux_loss_wt 0.1 --subgoal_aux_loss_wt 0.1 --preprocess

 python main.py  -n1 --max_episode_length 1000 --num_local_steps 25  --num_processes 2 --eval_split tests_unseen --from_idx 0 --to_idx 120 --x_display 0  --max_fails 10  --debug_local --learned_depth  --use_sem_seg --which_gpu 1 --sem_gpu_id 0 --sem_seg_gpu 0 --depth_gpu 1 --set_dn first_run   --use_sem_policy  --save_pictures