- Rust+Wasm堆栈是AI推理中Python的强大替代品。 - Rust+Wasm应用程序与Python相比,体积可以减小到1/100,速度可以提高100倍,并且可以在任何地方安全运行,无需更改二进制代码。 - 使用WasmEdge运行Rust程序,可以在具有异构硬件加速器的设备上完全移植。 - WasmEdge运行时提供安全的执行环境,与容器工具无缝协作,在许多不同设备上执行可移植应用程序。 - Rust+Wasm堆栈是AI推理应用程序的强大选择,具有超轻量级、高速、可移植、易于设置、开发和部署的优势。 - Python在AI推理应用程序中的使用存在复杂的依赖关系、巨大的依赖包、速度慢等问题,不适合商业特定需求。 - Rust+Wasm堆栈提供统一的云计算基础设施,可在各种计算平台上运行,并且具有超轻量级、高速、可移植、易于设置、开发和部署的优势。 - Rust+Wasm推理程序使用简单,只有40行代码,可以通过Rust编译器和wasm32-wasi编译目标构建为Wasm文件。 - WasmEdge GGML插件可在支持WasmEdge运行时的设备上运行llama2模型,并自动利用设备上的硬件加速器。 - WasmEdge和WASI NN可用于构建除LLMs之外的其他流行AI模型的推理应用程序。 - WasmEdge和WASI NN仍处于早期阶段,有许多潜在的贡献机会,如添加更多硬件和操作系统平台的GGML插件,支持更多llama.cpp配置等。 - WasmEdge和WASI NN的轻量级AI推理在边缘计算上具有巨大潜力。
2023-11-18 04:23:34 +0800
- 作者在他们的PS/2型号80上运行MS-DOS游戏时遇到了OS/2 6.123的不稳定问题。 - 他们遇到了一个关于系统无法写入写保护的C:驱动器的错误消息,随后系统崩溃。 - 作者尝试运行一个名为BattleTech的旧游戏,但它不一致地工作。 - 他们怀疑不稳定性可能是由于系统中缺乏数学协处理器引起的。 - 作者获得了一个数学协处理器并安装在他们的系统中。 - 安装数学协处理器后,系统变得稳定,游戏可以正常运行。 - 作者推测早期的386处理器可能存在缺陷,导致OS/2 2.0的稳定性问题。 - 他们提到了Microsoft Beta 2工具可用于OS/2 2.0。 - 作者回顾了他们以前在运行AIX的不稳定的PS/2型号80上的经历。 - 他们得出结论,对于运行非DOS/Windows应用程序的旧系统来说,获得数学协处理器是重要的。
2023-11-18 04:23:35 +0800
2023-11-18 04:23:35 +0800
- Canva开发了一个名为Shape Assist的功能,使用机器学习将手绘图形转换为矢量图形。 - 使用计算机视觉启发式方法识别和识别用户绘制的形状,但在处理复杂形状时存在限制。 - 为了克服限制,他们使用机器学习模型,从大量用户绘制的形状数据集中学习,并适应新的形状和变化。 - 收集了大量用户绘制的形状数据,并使用这些数据训练了循环神经网络模型。 - 使用特殊的数据预处理方法保持模型的小巧和高效,并在浏览器中部署了模型。 - 模型可以在离线环境下运行,并准确识别用户绘制的形状。 - 使用模板匹配方法对齐用户绘制的路径和矢量图形表示。 - 功能的部署不需要与服务器的连接,几乎即时地识别形状。
2023-11-18 03:48:49 +0800
2023-11-18 05:23:37 +0800
- 作者受到大学餐厅人数统计设备的启发,决定设计一个蓝牙信标来收集校园内的人数数据。 - 初步测试表明蓝牙信标的计数准确性较高,能够反映人数变化趋势。 - 作者尝试使用树莓派Zero W,但遇到问题,最终选择了ESP32作为数据收集设备。 - 作者解决了ESP32设备内存不足的问题,并成功部署了数据收集设备。 - 作者计划进一步验证数据准确性,并探索更多应用场景和研究方向。
2023-11-18 03:48:50 +0800
2023-11-18 10:23:34 +0800
- CSS Grid是一种用于创建网格布局的技术。 - grid-template-columns和grid-template-rows用于定义网格的列和行。 - 列和行可以使用长度、百分比或fr单位来表示。 - 网格线可以通过指定名称来命名。 - 网格线可以有多个名称。 - 使用repeat()函数可以简化重复部分的定义。 - fr单位可以将网格大小设置为网格容器的可用空间的一部分。 - fr单位计算时不包括非灵活项的空间。
2023-11-24 14:52:15 +0800
- 最近的进展使得大型语言模型(LLMs)有可能展示推理能力 - 现有的解决方案是使用LLMs将自然语言逻辑问题解析为符号表示,然后采用外部逻辑求解器输出答案 - 解析错误会导致外部逻辑求解器执行失败,无法回答逻辑问题 - 本文介绍了LoGiPT,一种新颖的语言模型,直接模拟逻辑求解器的推理过程,通过学习严格遵守求解器的语法规则来避免解析错误 - LoGiPT在新构建的指令调优数据集上进行了微调,该数据集揭示和完善了演绎求解器的不可见推理过程 - 在两个公共演绎推理数据集上的实验结果表明,LoGiPT在竞争的LLMs上表现优于最先进的求解器增强LLMs和少样本提示方法
2023-11-18 07:53:38 +0800
- FMViT是一种高效的混合ViT架构,通过混合高频特征和低频特征,有效地捕捉局部和全局信息。 - FMViT在TensorRT平台上的ImageNet数据集上,比Resnet101在top-1准确率上提高了2.5%(83.3% vs. 80.8%),同时维持了类似的推理延迟。 - FMViT在CoreML上的ImageNet数据集上,比MobileOne在top-1准确率上提高了2.6%(78.5% vs. 75.9%),推理延迟与MobileOne相当。 - FMViT的推理速度比EfficientNet-B5提高了43%。 - FMViT的代码可以在https://github.com/tany0699/FMViT找到。
2023-11-18 07:53:38 +0800