type
status
date
Jan 1, 2024 04:55 PM
slug
summary
tags
category
icon
password
仅以此回顾2023。
数据源的获取方式发生结构性改变。主动去问为什么的频次远多于被动接受；问题导向型的输入更偏向于从chatgpt、论文以及书本获取；日常信息积累的优先级变成了：twitter、小红书、微信公众号与微博，并忽视扰乱心流的信息源。
数据集追求高质量。训练数据集覆盖的领域和2022年相比，并无太多拓展，感兴趣的还是<数据挖掘>&<视音娱乐>。 但输入的数据更纯粹了。开始更系统去了解LLM APPLICAITONS、CASUAL INFERENCE、GRAPH LEARNIG & THE SCIENCE OF SCIENCE，同时在学习时更强调知识链接和现实应用。而在娱乐上，喜欢的音乐风格越来越固定。细数歌手列表后，发现还是偏爱<陶喆、袁娅维、洪佩瑜、小霞、郭顶、艾怡良、徐佳莹>，所以许多时间都花在和他们相关的资讯上。而低质量数据的来源是爆米花影视剧和电影，在年终回顾时，能留下印象的、值得盘点和品味的不过尔尔。
训练tricks。我其实还在不断完善有效的，系统的，适合自己的可以在有限资源和时间内达到稳定SOTA的技巧。在学习的过程中，在“超参选择、防止过拟合和并行策略 “等上的设计都值得研究和借鉴。
模型新能力。开始主动向外链接，形成自己的社交网络。学会将学习和生活分开，更多的注意力放在自我成长、身心健康和休息上。关注情绪变化，尽量规避和远离任何令自己不适的、胡思乱想的、难过的人事物。
硬件。相比于前几年有了明显的改善。身体素质的提升、睡眠质量的改善和心理健康都起了极大的作用。同时，希望今年能达成早睡早起成就，有更多时间用在运动上。虽然去年系统地了解了健身并在1/3的天数里都选择走进健身房，但在质和量还有巨大的进步空间。
Future work。希望维护好硬件，不断完善数据、框架和训练技巧。在下一版本相见时，能有令自己欣慰的表现。
最后，感谢调参侠们。因为有你们在现实和互联网上的陪伴，让我更坚定地走在现在这条路上，很幸运有机会能和你们产生交集。谢谢吴老师、赵老师、wang老师、Henry、Pier、凯子、kk、hai、猫斯拉、男大、富贵…从你们身上我汲取了许多能量，希望新的一年还能与你们相伴。
在2024伊始，别回头，向前看!
- 作者:Simon Yang
- 链接:https://myblog.simonyang.top//article/2023_summarized
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章
