多模态训练数据的瓶颈,卡在哪里
图片、视频与音频的清洗成本远高于文本。规模不再是唯一问题,标注质量成了新的瓶颈。
多模态模型的进步,很大程度取决于能否拿到足量、干净、成对的训练数据。
文本语料相对容易获取,图像与视频则要处理分辨率、编码格式、镜头质量等一长串问题。
文本之后是图像与视频
成对数据尤其稀缺,一段画面配上准确描述,往往需要人工标注,成本随规模线性上升。
清洗环节的难度被低估:重复、模糊、水印、字幕残留,都会让模型学到不该学的东西。
清洗比收集更难
自动筛选可以过滤掉一部分低质样本,但判断标准本身要靠人定,阈值松紧影响很大。
视频还带来时间维度,动作与因果关系的标注难度比单帧图像高出一个量级。
授权与来源的约束
来源授权是硬约束,用不了的数据再多也没意义,可商用语料的竞争因此相当激烈。
规模仍有作用,但边际收益在下降。同等算力下,数据质量带来的提升往往更直接。
本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。
读者留言 · 3 条
数
数据工程
清洗这段讲到了痛处。
算
算法从业
成对数据稀缺,确实难。
读
长期读者
没吹规模,客观。
留言为读者个人观点,不代表本站立场。