Watch and Buy: “边看边买”淘宝直播商品检索数据集
直播带货是淘宝连接商品和消费者的重要方式,通过对直播视频中商品进行实时识别和推荐,可实现消费者边看边买的消费体验, 可有效提高商品购买的转化。通常情况下直播对应的数百款商品之间相似程度高,且直播画面中存在大量的背景信息、灯光变化、商品遮挡和形变等,给直播画面中商品的匹配识别带来很大的技术挑战。 为提升直播中商品匹配识别的效果,依托淘宝直播海量数据,我们构建了业界最大规模的多模态视频商品检索数据集: Watch and Buy,数据集包含70,000个由直播视频片段和对应讲解商品构成的匹配对, 具有规模大、标注全、模态多、功能广的特点。可用于物体检测的算法、商品重识别算法、主播意图识别和多模态检索等多种前沿技术的研究。