PI:Ziming LIU
研究方向:AI+Science
课题组简介我们立志于解决科学(Science)和人工智能领域(AI)的基础大问题。我们不限制解决方案,但目前觉得AI+Science的范式特别有前景——Science可以帮助AI从经验主义过渡到科学,让研究者能够科学地理解和设计AI;而AI补足传统Science的短板,给Science带来新的范式。
AI领域的大问题:
1. Science for AI: 让AI具有人的能力(AI不一定要类人,但是至少需要有人的能力!)。这包括视觉推理,物理推理,从少样本学习的能力,快速适应的能力。我们希望从更基础的角度——表征学习,信息论(智能即压缩),脑科学启发等,研发新的模型和算法,开创出一条不同于当前规模定律的道路。
2. Science of AI: AI的科学理论。我们希望从科学研究的方法论出发,从可控性强的“玩具”实验中获得启发,构建相关的AI理论(模型),并且通过这些模型启发设计出更好的算法。具体地,我们希望能更科学地理解和控制当前流程中的各个元素——模型,目标函数,优化,数据,以及各种神奇的现象——Grokking,Neural Scaling Laws等。
Science领域的大问题:
1. AI for fundamental science: 涌现(Emergence)。涌现和很多科学上的谜题都有直接或间接的关系——比如希尔伯特第六问题,高温超导,可控核聚变。这些问题/系统之所以复杂,是因为研究涌现的科学工具非常有限,而AI现在提供了一种新的工具、带来了新的可能。
2. AI for everyday science: AI assistants。辅助日常任务,比如智能地做数据分析和可视化,根据数据提出假设和验证方案,等等。
代表性论文Science for AI:
▪ KAN: Kolmogorov-Arnold Networks, ICLR 2025 (Oral)
▪ Poisson Flow Generative Models, NeurIPS 2022
▪ Seeing is Believing: Brain-inspired Modular Training for Mechanistic Interpretability, Entropy (2023)
Science of AI:
▪ Towards Understanding Grokking: An Effective Theory of Representation Learning, NeurIPS 2022 (Oral)
▪ Omnigrok: Grokking Beyond Algorithmic Data, ICLR 2023 (Spotlight)
▪ The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks, NeurIPS 2023 (Oral)
AI for Science:
▪ Machine Learning Conservation Laws from Trajectories, Physical Review Letters (2021)
▪ Machine Learning Hidden Symmetries, Physical Review Letters (2022)
▪ Scientific Discovery in the Age of Artificial Intelligence (review article), Nature (2023)
课题组成员

新闻动态