研究垂直领域预训练，先别急着看模型层数，看看 llm-legislativo 怎么处理巴西立法文档。 它把法案、修正案和意见书按关联图归为同一家族，再整族划… · @vintcessun · TwKit

@vintcessun

研究垂直领域预训练，先别急着看模型层数，看看 llm-legislativo 怎么处理巴西立法文档。 它把法案、修正案和意见书按关联图归为同一家族，再整族划分训练与测试集，避免相关版本跨集合泄漏；BPE 也只用训练集拟合。 模型是纯 PyTorch 从零实现的因果 Transformer，但更值得借鉴的是数据治理到评估的完整链路。适合拆解学习，不适合拿来当法律顾问 https://github.com/BaruqueRodrigues/llm-legislativo

曝光 80 · 评论 1 · 点赞 2 · 书签 0