港中文贾佳亚团队联合MIT发布全球首个70B长文本大语言模型

10月9日，港中文贾佳亚团队宣布联合MIT发布超长文本扩展技术LongLoRA：只需两行代码、一台8卡A100机器，便可将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens。在此之前，以AI社区著名的开源大语言模型为例，LLaMa支持2k tokens的文本长度、Llama2也仅仅支持4k tokens的文本长度。LongLoRA的发布，令全球大语言模型对话缺陷第一次得到解决。同时，该研究团队还基于LongLoRA技术，发布了全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca。目前，LongLoRA技术和LongAlpaca已开源，并获得热烈反响，迅速登上hugging face热榜第一、paperwithcode热度第一，Github全部python项目热度第五，github stars也一周内成功破千。