#mark #language #bob

● https://github.com/GPT-language/gpt-tutor-for-chrome/blob/3c51f2d13773890de2a17319066758938b7181f8/src/common/services/Chinese.json

看到的一个挺好的语言翻译类的 prompt 合集, 可以给 Bob, 沉浸式翻译一类的自定义提供一些思路

目前我的 Bob 翻译插件的一个 Prompt:

role_setting: 请扮演一名经验丰富的英语单词学习教师，你这对门语言非常有研究，您清楚地知道如何帮助学生高效地理解这门语言中的表达。

user_instruction: 如果我的输入: "$query.text" 不是英语单词, 请你输出: "非英语单词", 否则, 针对该英语单词输出:

1. 最常见用法和场景
2. 2-3个同义表达及区别
3. 每种用法各举1个简单例句

不使用任何markdown符号
要求简短精炼,每部分1-2行

via Memos

Invalid media: image

#obsidian #tools

● https://github.com/Canna71/obsidian-janitor

一个 obsidian 用于清理孤立文件、空文件、大文件和过期笔记的插件

via Memos

#mark

防止使用 US 节点时, Google 搜索时的时区错乱情况:

● https://www.google.com/preferences?hl=zh-CN⟨=1&prev=https://www.google.com/preferences?hl%3Dzh-CN

选择 搜索结果区域 为 香港 or 新加坡 (东 8 区)

via Memos

#llm #leaderboard

● 比较 LLM API 性能: https://artificialanalysis.ai/leaderboards/models
● 另一个比较 LLM price 的: https://countless.dev/

via Memos

#cloud #storage #网盘

后续花了几十分钟抓包找原因, 发现是因为 *.ctyunxs.cn, 将这玩意分流到一个 300ms 的欧洲去都比在国内直连快, 分流到阿里 HK 更是比直连快了几百倍 (100kbps -> 200Mbps)

国内的运营商环境还是太烂了, 内卷严重, 以后网盘还是主力 google drive 吧😅

via Memos

#网盘 #cloud #storage

花了 300 开了个天翼云盘扩容 10t，发现对家里的联通宽带限速极为严重，体验不是很好。

不过算下来 10t 永久的价格还可以，运营商的网盘感觉也会比那些乱七八糟的稳定一些。

via Memos

Invalid media: image

#llm

Bilibili 技术: 大模型推理加速的研究与分析

加速方案的主要思路

1 - 算子层优化：

● Operator Fusion：通过将多个算子融合为一个复杂算子，减少内存访存次数，加快计算速度。
● High-Performance Acceleration Library：使用如ONNX Runtime、TVM、cuBLAS、FasterTransformer等高性能加速库，优化常见的神经网络算子的计算性能。
● Layer Fusion：在多头注意力机制中，将所有操作合并到一个计算核中，减少数据传输并提高数学密度。

2 - 算法层优化：

● Quantization Techniques：使用精度更低的单位来表示模型的权重或激活值，以节省空间和加速模型推理速度。
● Speculative Decoding：通过使用一个简洁且反应迅速的小型模型来辅助解码，提升推理速度。
● Sharding Strategy Optimization：通过模型分片将不同部分的计算任务分布到多个设备上，减少单个设备的内存压力和计算瓶颈。

3 - 框架层优化：

● Contiguous Batching：通过在推理过程中保持请求的连续批量处理，减少上下文切换和内存调度带来的开销。
● PageAttention：优化Attention机制中的KV存储，减少内存占用，提高内存访问效率。
● TensorRT-LLM和MindelIE-LLM框架：通过支持多种Attention机制和流水线并行、跨层并行等技术，提高推理的吞吐量和响应速度。

via Memos

#mark

看到的一个非常不错的讲 deepseek v3 paper 的分析: https://www.youtube.com/watch?v=OM7Sa_BlDIk

包括 kv cache 都从 0 开始讲了, 很适合新手看

via Memos

#tools #adguard

● https://github.com/AdGuardTeam/AdGuardBrowserExtension

adguard 浏览器插件版用起来不错, 适合一些轻量级的广告屏蔽需求

via Memos

#mark #jd

京东 plus 会员的积分兑换服务: https://u.jd.com/Qawyudg

via Memos

#bb

腾讯云 200m 正式上线了，但是完全没有购买的欲望了。如果是半年前的我估计会热火朝天的买个三五年、然后把 v4 和 v6 的转发全用上，再挂载几个国内云盘折腾 emby。

但是现在已经累了，不买立省 100%。

按照现在云服务厂商卷的速度，谁知道三五年之后会发生什么。

via Memos

#llm #ai

感觉现在 deepseek 的程度已经可以让我不用续费 gpt、claude 和 perplexity 了，搜索和 r1 目前都做的已经很好了。

下个月计划就只留下一个 Claude 用来查漏补缺了。

via Memos

#tools

macos 一个配置「默认打开方式」很好用的命令行工具: duti

安装: brew install duti

基本使用:

1. 配置默认打开方式: duti -s com.microsoft.VSCode .json all
2. 查看某个文件的默认打开方式: duti -x yaml
3. 如果不确定包 id, 可以通过 osascript -e 'id of app "Visual Studio Code"' 查看

via Memos

#mark #ai #llm #leaderboard

MTEB 是一个用于评估文本嵌入(Text Embedding)模型性能的基准测试集。这个榜单展示了不同模型在文本嵌入任务上的表现。

● https://huggingface.co/spaces/mteb/leaderboard

via Memos

Untitled

via Memos

#llm #cache

关于 LLM API 的 cache hit (缓存命中)

● deepseek 的解释(比较详细): https://api-docs.deepseek.com/zh-cn/guides/kv_cache
● 一篇知乎文章: LLM Best Practice：Prompt caching

via Memos

#mark #obsidian

https://github.com/logancyang/obsidian-copilot

一个不错的 obsidian ai 插件, 可以帮助:

● 自动关联相关笔记.
● 自动调用 embedding 模型建立索引, 并进行整个 vault 的 QA 对话.

via Memos

#mark #claude #gpt #deepseek #ai

手动查了下目前几个常见 LLM API 的官方价格差异 (输入均为缓存未命中价格):

1 - Claude 3.5 Sonnet

ref: https://www.anthropic.com/pricing?t#anthropic-api

● 输入成本: $3.00 每百万个令牌
● 输出成本: $15.00 每百万个令牌

2 - OpenAI GPT-4o

ref: https://openai.com/api/pricing/?t

● 输入成本: $2.50 每百万个令牌
● 输出成本: $10.00 每百万个令牌

3 - DeepSeek

ref: https://api-docs.deepseek.com/zh-cn/quick_start/pricing

● 输入成本: ¥2 每百万个令牌 (2025-02-08 后, 目前是1元, 下同)
● 输出成本: ¥8 每百万个令牌 (目前是2元)

via Memos

#mark #ai #deepseek

DeepSeek 的 ios 和 android 客户端都上线了, 体验了一下非常不错~

● https://apps.apple.com/cn/app/deepseek/id6737597349

via Memos

#gpt #claude #ai

同样是 claude 3.5, 看来 API 和官网还是有区别

via Memos