2023年终总结
2023年终总结
一句话概括
- 相比 2022 的乏善可陈，2023年实在有点跌宕起伏了
上半年
上半年总体上还是去年下半年的生活节奏
- 上课
- 平均一个月出岛一次
- 断断续续的科研——师兄论文改期刊->可做空间很小->放弃->想其它的 idea->初步实验->放弃/进一步看看能怎么做
2023 从六月开始加速了
长沙
- 六月底临时前往长沙出差，本来是晚上去，第二天中午回，因为买不到回程高铁票被迫多住了一天
- 特种兵式打卡了橘子洲头和岳麓山，坐在山顶的长椅上，看着天色渐暗，城市逐渐璀璨起来，思考人生
长沙物价真低啊，长沙30W>深圳50W
南昌&青岛
- 八月初去南昌参加了 CCF-SYS，顺便回了趟家；八月底去青岛参加了 CCF-HPC
- 怎么说呢，学术圈子也是名利场
- 当时听的各种分论坛报告已经记不得多少了，翻看 PPT 截图还能回忆起一些干货
- 最让我印象深刻的还是晚宴上各种大佬的觥筹交错和主会场上冗长无聊的报告
- 说起来非常离谱，在南昌的晚宴上竟然抽中了一等奖，还以为是什么好东西，打开一看就一个保温杯一支钢笔
组委会疑似有点太抠了 - 在青岛和小伙伴们逃了主会场报告，跑去了啤酒博物馆，故地重游了青岛栈桥，吹着海风，看着一望无际的大海，思考人生
- 参加学术会议总归是有点好处的，可以看看其它人都在做什么，一般报告结束后的提问和回答也很有价值
- 一些报告提到的“性能-可移植性-易用性”不可能三角让我对各种工具和方向有一些思考
许嵩
- 因为许嵩去抢了八月中旬广州星巢秘境音乐节的票
- 怀着试一试的心态，没想到抢到了
- 在许嵩出场前有一大串我不认识的歌手，
感觉大部分都是 rapper，因为我是内场票，嫌音响太吵污染耳朵，音乐节也没有座位，索性直接坐到了最后面体育场的台阶上开始了 zty 的人类观察- 偌大的会场其实没多少人在欣赏“音乐”，歌手的互动只能收到一小撮核心粉丝和官方“演员”的回应
- 至于其它观众，要么是忙着拍照，要么是找个地方自顾自地玩手机，或许是和我一样只是来看最后一两位出场的歌手
- 音乐果然是需要天赋和热度的行业，大部分人只会关注头部，粉丝基础差了好几个数量级
- 在许嵩出场前，我对这次音乐节已经感到比较失望了，但是当许嵩，袭击心脏的前奏，炫目的灯光和高举的双手一齐出现，心中还是有种“合群”的氛围感，这或许就是环境的魔力吧
- 听到了现场版的《有何不可》、《天龙八部之宿敌》和《素颜》，很幸福
- 说实话，因为自己曲库的扩大，高考后能随机播放到许嵩的歌的机会不高，平时也不会特别去听许嵩的歌；在回学校的路上想到中学时许嵩的歌陪自己走过的漫长岁月，有一种后知后觉的感慨
深圳
- 大四时因为师兄的推荐一直在关注 TVM，九月社区在深圳腾讯有一场活动，没太考虑就报名了，后面还拉上了一个实验室小伙伴一起
- 因为比较小众，活动也比较简短，就一个下午，当天往返
- 各位大佬的报告都很精彩，大部分是企业的一些实践，全程干货，和国内的学术会议完全不一样
- 压轴出场的报告还是给了我很大冲击
- 上层：transformer
- 下层：NV
- 结论：机器学习编译器要寄，这下彻底变成学术玩具了
- 至于演讲者后面说寄希望于 AIGC 和大模型在各种设备上的部署，我只能说我不好说
- 回去的路上路过腾讯滨海大厦，实习居然已经过去两年了
- 还去深圳湾走了走，想象着两年前的自己，思考人生
日本
- 详见日本旅行
论文
- 之前一直做的一个 idea 感觉有点效果，中秋长假后导师便希望以 11 月的一个会作为 DDL，虽然觉得自己做的东西只是一个很小的点，完全发不了这个会，但利用这个 DDL push 自己一下把事情做完也挺好
- 刚开始两个礼拜还挺开心地写代码补实验，后面仔细深究发现结果并没有想象中那么好，覆盖率太低了，这个工作只是在很少的例子上有一些效果
- 一方面，自己还在反复跑实验，看看能不能在某些参数组合下有更好地效果，另一方面，导师也时不时地 push 画图和整理数据，但是数据实在太难看了，而且因为之前没有参与过论文的工作，很多 best practice 也不知道怎么回事
- 反复来回几次，把心态搞崩了，想到这个工作就 emo，但想着还是尽力去做，把这个工作尽可能做完
- 反正最后投是投出去了，但我感觉依托，实验部分的逻辑我感觉是崩坏的，Design 部分也有 overdesign 的问题，总之到了我不想看第二眼的程度
- 现在回头看，要么想办法提高覆盖率，要么加个正交的工作补充一些内容，总之这个工作还有不少要补的
找实习
本来理想的情况下是准备论文投出去告一段落就开始找实习的，但这个工作并没有做完，而且直接把我心态搞崩了，短时间内是不想再看它了，于是开始
复习学习 cuda，其实单纯复习一个技术点未必是找实习的最好方式，但当时单纯就想沉浸到某个技术领域换换脑子12月初，心态大致调整过来了，还能怎么办呢，要毕业的，虽然是个很烂的科研工作，但至少还是个工作，继续尝试修修补补
12月中旬开始投实习，先投了波中小厂高性能计算的岗位试试水，年底大部分公司可能都没 HC 了，大部分没什么反应，这波基本是裸面的
过了一周投了一波大厂，这波（其实也就只有字节捞人了）面试前复习了一些八股，但其实面试完全没问，都在问项目，感觉直接裸面也问题不大
结果
- 拿了沐曦，商汤，字节的 offer
- 确定去北京字节实习了，大概会实习半年，并且不是单纯的写 GPU 算子的组，是方向更广的 AI Infra 组，可能进去要学很多，好处是组比较顶，可以一直待，可能不用再找暑期实习了
- 已经好过我最乐观的预期了
再次感谢我导愿意放这么久实习
总结
- 室友曾说我是一个很有目标的人，同届的同学不少还在迷茫着，还在体验青春，但我每个阶段都有明确的目标，焦虑来源于此，快乐来源于此，痛苦也来源于此
要有目标。你需要有目标。短的也好，长的也好。认真定下的也好，别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。
坚持走。不管你的目标多复杂，随机梯度下降都是最简单的。每一次你找一个大概还行的方向（梯度），然后迈一步（下降）。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去，能多走几步就多走几步。
痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走，因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。
可以躺平。你用你内心的激情来迈步子。步子太小走不动，步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。
四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化，那么要么你的目标太简单，要么你困在你的舒适区了。随机梯度下降的第一个词是随机，就是你需要四处走走，看过很多地方，做些错误的决定，这样你可以在前期迈过一些不是很好的舒适区。
快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子，他们每一步都在别人前面。但经验告诉我们，随机梯度下降前期进度太快，后期可能乏力。就是说你过早的找到一个舒适区，忘了世界有多大。所以你不要急，前面徘徊一段时间不是坏事。成名无需太早。
很远也能到达。如果你是在随机起点，那么做好准备前面的路会非常不平坦。越远离终点，越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们，不管起点在哪里，最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了，那么你随机一个起点，调整步子节奏，重新来。
独一无二。也许大家有着差不多的目标，在差不多的时间毕业买房结婚生娃。但每一步里，每个人内心中看到的世界都不一样，导致走的路不一样。你如果跑多次随机梯度下降，在各个时间点的目标函数值可能都差不多，但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值，除了你自己。
简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准，想步子迈最大。但如果你的目标很复杂，简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前，每次抬头瞄一眼世界，快速做个决定，然后迈一小步。小步快跑。只要你有目标，不要停，就能到达。
- 曾经看过李沐老师的用随机梯度下降来优化人生，虽然文章有点半开玩笑的意思，但是有一些点深以为然
- 这也是我为什么开始写年终总结的原因，每个阶段有一个目标，或高或低，总比没有好
- 但是另一方面，如果没有想象中那么顺利，自己就可能活得比较焦虑，造成了一定程度的内耗
- 那就把步长调小，从最简单的小事做好开始吧，毕竟我们一日日度过的所谓日常，实际上是接连不断的奇迹
- 这一年有目标，坚持走，积极地四处看看，对于去年年底的两个目标，科研上比较失败，找实习上比较成功，也算是很圆满的一年了
- 今年的心境大概是 MyGO!!!!! 的 ED 吧
“普通”とか”あたりまえ”ってなんだろう
“普通”“理所当然”什么的是什么呢
今 手にある物差しでは
就拿出现在手里拥有的所有东西
全然上手く測れなくって
也无法好好的测量出来吐いては また吸い込んだ不安に
无计可施地滞足在原地
僕は為すがまま立ち尽くして
将不安从口中吐出又再次吸入
不器用で 空回って
不成器地兜兜转转
傷つくことから逃げている
想从创伤中逃走
現実とノートで行ったり来たり 慰めて
不断在现实与笔记本的小小世界中穿行 以求得安慰
あぁ なんて生きづらい世界なんだろう
啊啊 为什么这世界是这样的难以生存呢
だけど だけど
但是 但是
ぜんぶ ぜんぶ 僕だから
因为这全部全部都是我啊
うじうじ しくしく 僕だから
一直犹豫不决 抽抽噎噎的是我啊
24
- 昨天晚上还在和室友感慨，不知不觉就到了 2023 的最后一天，可能是因为在象牙塔里，自己和两年前好像也没什么变化，感觉自己心态上还活在 2021 年。自己待够了珠三角的一个原因是，一年中大部分时间都只要穿个T恤，感觉不到四季和时间的变化
虽然春天非常美丽但是依然很热 - 但真的要去北京实习，看到高昂的租房和通勤成本时，又想到了珠三角的好
- 零点钟声已经敲响，展望 2024，大概率是自己学生生涯的倒数第二年，不久就要去字节实习，目测工作上的挑战也不小；另外科研这边仍有小论文的达摩克里斯之剑高悬，前 9 个月可能比较忙碌
FLAG
- 找到一份理想的工作
- 把小论文投出去
然后，下一曲要开始了