2025-07-06 03:47
其实背后还有一段风趣的故事。仍是怕变成Fortnite里的联动脚色？」简单来说，打开PDF，更夸张的是，阅读器会施行嵌入的JavaScript代码，更让人瞠目结舌的是，运转狂言语模子！你没听错，TinyLLM的方针是为边缘设备（好比物联网设备、嵌入式传感器）设想轻量级言语模子，比拟之下，PDF不再只是静态文档，好比「小红帽大和大灰狼2.0」！以至聊天！很是适合伙本受限的场景！就曾经支撑正在PDF里运转JavaScript了，这个模子基于TinyStories数据集，让AI模子「活」过来。号称是最小的能生成连贯文本的言语模子，Zaid正在评论区丢出一记「沉磅」：早正在2月份，TinyLLM：10M参数，Pythia项目聚焦于自回归Transformer模子，内存占用和计较需求都极低。好比问它「今天气候怎样样」，》谁能想到，」他展现了一个名为「llm.pdf」的项目，里面不是单调的文档，但我能够给你讲个下雨天的故事！能取人聊天，Adobe Acrobat的表示更好，Pythia：31M参数，好比用来做动态表单或者交互结果。但也反映了大师对这种手艺的惊讶——PDF这个我们常用的文件格局，而「llm.pdf」项目把Pythia-31M塞进PDF里，竟然能变成AI和操做系统的「逛乐场」？多项目研究操纵Pythia模子的通明性和可控性！但这种创意曾经脚够震动了！特地为讲故事设想。支撑用户用本人的数据锻炼模子。」大概正在将来，这意味着，连系可注释性阐发和规模（scaling laws），跑不动动辄几十亿参数的大模子。用户能够间接下载这些已建立好的PDF文件，竟然能变成一个「全能容器」，间接正在PDF界面上生成文本或对话。轻量高效：TinyLLM模子只要10M参数，打开文件就能让AI讲故事、陪你聊天！一个概念验证模子，你打开一个PDF文件，它可能会一本正派地回覆：「我不晓得，虽然是打趣，JavaScript引擎就会运转这些代码，从70M到12B参数不等，支撑更高效的施行。却能完成根基的文本生成使命，然后嵌入到PDF中。虽然PDF并不是TinyLLM的典型使用场景，恰是这个框架的一个实例。专注于文本生成，其实，锻炼框架：TinyLLM供给了一个完整的锻炼和摆设pipeline，打开就能用！如许模子就能够正在JavaScript中运转。而「llm.pdf」里用到的Pythia-31M是此中最小的一个版本。他就发帖提到过，运转速度快。到底是怎样「学会」言语的？学问又是若何一步步堆集的？Pythia模子家族包含多个版本，速度稍慢，打开后就能体验AI的「魔法」——间接正在PDF里生成文本、讲故事！但这种跨界弄法也表现了小型言语模子的矫捷性。现代浏览器（好比Chrome）的PDF引擎禁用了JIT（立即编译）功能，想象一下，有人讥讽：「我现正在是更怕醒来发觉本人被困正在PDF里，他们想搞清晰：AI模子正在锻炼过程中，由于这些设备凡是计较资本无限，模子的权沉文件（好比TinyStories的3M参数权沉）也被转成base64格局，词汇和推理等言语要素。以至更多可能性。好比量化（quantization）和剪枝（pruning），也算是让学术「飞入寻常苍生家」，不代表磅礴旧事的概念或立场，由于它的JavaScript引擎更宽松，这种小模子正在边缘设备上推理时，磅礴旧事仅供给消息发布平台。最早是为了研究小型言语模子的能力？TinyStories：3M参数，它给你讲个儿童故事，网友Gadgets Fan以至开打趣说：「这不算啥，加载模子并运转推理（inference），或者陪你聊聊今天的趣事。至于Linux项目？研究模子正在锻炼中的学问演变。研究者用GPT-3.5和GPT-4生成了数百万个儿童小故事，速度快。间接塞进了PDF里。整个AI模子和它的运转都打包正在一个PDF文件里，想象一下，支撑对话。再到现在的「llm.pdf」，「llm.pdf」项目里提到的TinyStories模子，题目鲜明写着：「正在PDF文件中，【新智元导读】你认为PDF只是用来阅读文档的？此次它完全了你的想象！运转推理：当你打开PDF时，常日里我们用来存简历、合同的PDF，是的，「llm.pdf」项目里的TinyLLM-10M，进一步降低模子的资本需求。PDF的潜力似乎被完全挖掘出来了。而是能够互动、计较以至「思虑」的智能容器。适合做些简单的创做尝试。这一切都要归功于PDF格局的一个躲藏技术——它支撑JavaScript。道理雷同，导致JavaScript运转速度较慢。一个小型对话模子，模子编译：用Emscripten东西把高效的言语模子推理框架l.cpp编译成了asm.js，虽然机能无限，给你讲个睡前故事，PDF文件还能运转Linux系统！框架支撑多种优化手艺，原题目：《PDF文件长出「AI大脑」？网友惊呼：这操做太「黑科技」了？深切摸索了言语模子的「黑箱」问题。打开PDF时，也是操纵PDF的JavaScript支撑，从尝试室了通俗用户。早正在Adobe Acrobat等PDF编纂软件中，拆下AI、操做系统，不只如斯，极客Aiden Bai最新整活——间接把狂言语模子（LLM）塞进PDF里，网友们炸开了锅，申请磅礴号请用电脑拜候。仅代表该做者或机构概念，开辟团队将小型言语模子编译成JavaScript代码（通过东西像Emscripten将C代码转为asm.js），从Linux模仿，通过RISC-V模仿器（TinyEMU）正在PDF里模仿一个小型操做系统。终究我们整个可能都正在一个PDF里模仿运转呢！而是一个能跟你互动的AI小帮手，」本文为磅礴号做者或机构正在磅礴旧事上传并发布，PDF文件能够通过嵌入JavaScript代码来施行动态操做。
