《外国经济与管理》
2022第44卷第9期
一画胜千言:图像数据在营销领域的应用
徐婕1 , 肖莉2     
1.嘉兴学院 商学院, 浙江 嘉兴 314001;
2.复旦大学 管理学院, 上海 200433
摘要:随着图像生成、存储技术的发展,图像数据已成为越来越重要的信息载体,尤其是在社交媒体平台上,用户生成的图像内容包含了比文字更丰富的信息,是企业获取消费者洞察的重要数据来源。本文首先介绍了图像的定义和分类以及图像数据的存储方式,然后介绍了图像数据的分析方法以及分析步骤,接下来从营销活动的产品、价格和推广三大方面分别回顾了国内外利用图像数据开展的相关营销实践以及相关营销学术研究,并在此基础上提炼出基于图像分析的重要研究课题和前沿方向。
关键词图像数据图像分析机器学习深度学习
A Picture Is Worth a Thousand Words: The Application of Image Data in Marketing
Xu Jie1 , Xiao Li2     
1.College of Business, Jiaxing University, Jiaxing 314001, China;
2.School of Management, Fudan University, Shanghai 200433, China
Summary: With the vigorous development of image generation, storage technology and social media, image data has become an increasingly important information carrier and an important data source for enterprises to obtain consumer insight. However, image data is difficult to analyze and process because of its unstructured data characteristics, and there are few marketing studies on image analytics at present. Therefore, there is a certain gap between research and practice, and the existing theoretical results are difficult to give full guidance to the booming marketing practice. This paper first combs the relevant concepts of image analytics and the relevant marketing practice carried out by image analytics at home and abroad. Then, it reviews the relevant marketing literature based on image analytics, extracts important topics and cutting-edge directions, analyzes the theoretical gaps in the current research, and looks forward to future research. In the relevant marketing research field, we select 20 representative core papers from 19 international top journals in the field of marketing, management science, and information systems. Some well-cited working papers are also included to represent the cutting-edge marketing research utilizing image analytics. Generally speaking, the marketing research literature utilizing image analytics is somewhat sparse and mostly published after 2017, which mainly focuses on the fields of brand management, communication management and customer relationship management, and deep learning methods are ubiquitously used. Based on the review of relevant marketing research and practice, this paper further proposes and discusses six potential directions for future research: Consumer behavioral research that utilizes image analytics to investigate theoretical mechanisms; product design with artificial intelligence; real-time responses to customer needs; how to increase model interpretability; multi-type image data and multi-modal data; and how to improve the fairness of products or services. The main contributions of this paper are as follows: First, it reviews the fundamental concepts and methods of image analytics, providing guidance for marketing scholars to carry out relevant research. Second, it identifies and discusses some major research streams in marketing that image analytics could potentially be utilized. Third, it proposes several potential directions for future research, hoping to provide inspirations for domestic marketing scholars and call on more scholars to participate in this type of research.
Key words: image data; image analytics; machine learning; deep learning

一、引 言

人们使用图像来表情达意由来已久,英文中有句格言“A picture is worth a thousand words”(一画胜千言),就很好地说明了图像的意义。相较于文字描述,图像可以更有效地传递复杂的含义和想法(Trafton,2014;Vogel等,1986),是人们理解事物、表达观点和情感的重要载体。随着人们获取和分享图像便利程度的不断提高,图像数据越来越多,且越来越丰富。柯达公司在1888年推出了第一台带胶卷的相机,由此激发了人们通过摄影捕捉日常生活的灵感;到21世纪,智能手机和互联网行业的快速发展,让图像数据在社交媒体上获得了极为广泛的应用。现在,每天全球有超过50亿张图像在社交媒体上发布,据估计其中有将近5 000万张和品牌相关(Hartman等,2021)。而且,Jones(2017)发现消费者分享的这些包含产品和品牌的图片中有80%都没有在随附的文字中提及产品或品牌,只能通过图像分析来获取这些重要营销信息。图像数据已成为企业理解消费者偏好与需求的重要机会,是企业营销决策重要而不可或缺的依据(Chintagunta等,2016;Li和Xie,2020)。

尽管图像数据对营销决策有非常大的价值,但其分析难度很高,给研究和实践人员带来了极大的挑战。首先,图像数据的体量非常大,从海量的图像数据库中提取出有价值且易解释的信息极具挑战性。其次,如何实时利用图像数据辅助营销决策也是营销实践者迫切希望解决的问题。实时响应需求对分析模型、软硬件设备都提出了更高的要求。最后,图像数据通常是非结构化的,其分析处理难度比传统的结构化数据更高。机器学习和深度学习的不断发展,让营销学者可以从图像数据中提取出有用的图像特征,并以此为基础开发出有效的营销系统和工具,来帮助洞察消费者的动机、态度、偏好和行为,提高营销实践的效果(例如,Xiao和Ding,2014)。

综观国内外营销实践,图像数据分析的相关应用十分广泛,但与之相关的营销学术研究相对较少,难以对蓬勃发展的相关营销实践给予及时的指导。本研究致力于:首先,对图像数据分析相关营销实践和文献进行梳理,提炼出重要课题和前沿方向。其次,介绍图像分析的基本概念及常用方法,为营销学者开展相关研究提供方法指导。最后,指出目前相关研究中存在的理论空缺,提出未来的研究趋势,希望为国内的营销学者提供启发,同时也呼吁更多的学者参与到这一类型的研究中来。

在下文中,我们将首先对图像相关概念进行梳理,包括图像的定义和分类、图像数据的存储方式、图像的分析方法和步骤等。其次,梳理并总结图像分析在国内外营销实践中的应用。再次,回顾并梳理营销文献中应用图像分析方法的研究,从营销组合、营销领域、数据来源、图像分析方法、代表文献等维度进行深入探讨,探究该类研究可以获得的理论洞察。最后,讨论并展望图像分析在营销实践和研究中的未来发展趋势。

二、图像相关概念

(一) 图像的定义和分类

本研究专注于研究数字化图像,即通过摄像机、扫描仪、手机、相机等数字化设备和技术而采集获取的图像。相较于非数字化图像(例如手绘素描、油画等),数字化图像数据更加常见,更易获取,且可以通过计算机视觉(computer vision)技术进行分析和处理,因此在营销实践和研究中应用更为广泛。如无特别说明,本研究所提及的图像均指数字化图像。图像数据可以从应用的角度分为三类:(1)企业呈现给消费者的信息,例如平面广告、电商平台中的产品展示页面;(2)用于记录生活场景的数据,例如社交媒体平台用户拍摄的生活场景照片;(3)为满足特殊用途而抓取的用户数据,例如身份识别过程中抓取的人脸、虹膜、指纹照片。得益于智能手机和社交媒体平台的发展,其中第二类图像数据从总量和增长数量来看尤其值得关注(Diehl等,2016;Hauser,2017)。

(二) 图像数据的存储方式

数字化图像数据通过离散型的数组来表示图像中各个像素的信息。其中,黑白图像用二值模型来表示,其中黑色像素表示为0,白色像素表示为1;灰度图像通常用0—255来表示,0代表纯黑色像素,255代表纯白色像素,数值越高颜色越浅;彩色图像通常由RGB(red红色、green绿色、blue蓝色)颜色模型表示,分别由3个0—255的整数代表,例如纯黑色像素表示为(0,0,0),纯红色像素表示为(255,0,0),纯绿色像素表示为(0,255,0),纯蓝色像素表示为(0,0,255),而纯白色像素表示为(255,255,255)。一张长和宽分别为512像素的彩色图像,则由512×512×3(长,宽,颜色)的三维矩阵表示。

因此,从存储形式来看,图像数据的分析主要存在两大难点。首先,单张图像像素尺寸(image size)通常比较大。例如,一张1 200万像素手机图像的尺寸是4 000像素(长)×3 000像素(宽),即需要处理高达1 200万个变量,传统的统计模型难以处理。因此,从非结构化图像数据中提取出有价值的特征以用作后续分析极具挑战。其次,当图像数量增加后,需要处理的信息量也呈几何式增长,而如何高效地处理海量图像是制约实践和研究中图像分析的重要因素(Balducci和Marinova,2018;Chintagunta等,2016;Wedel和Kannan,2016)。

三、图像分析方法及步骤

(一)图像分析方法

图像分析现已成为营销实践和研究中不可或缺的一部分(Chintagunta等,2016;Rizkallah,2017;Urban等,2020;Xiao等,2013)。目前,图像分析的方法主要分成两类,即人工分析法和机器自动分析法。在机器自动分析法中,以机器学习和深度学习最为常用。接下来,将对人工分析、机器学习和深度学习这三类分析方法依次进行介绍。

1. 人工分析

人工分析是指手工从原始数据中提取所需特征。例如,Li和Xie(2020)对近1 100张发布在社交媒体平台上的图片进行人工编码,每张图片至少有三人从图像质量、是否是专业摄影师拍摄、是否和文字相一致的维度进行打分。Liu等(2017)在有关汽车产品外观设计的研究中,请三位编码人员标注202张汽车正面照片的50个特征点,这50个特征点囊括汽车设计的关键部件,例如前大灯、挡风玻璃等信息。

2. 机器学习

机器学习(machine learning)结合了计算机科学、统计学等学科的经验,致力于解决如何让计算机从经验和数据中学习并自动改进算法的问题(Jordan和Mitchell,2015)。得益于线上数据的爆发式增长以及计算机算力的增强,机器学习被广泛应用于医疗、营销、金融等行业。Mitchell(1997)将机器学习定义为“针对任务T(task)和其表现P(performance),计算机程序在任务T上的表现P随着经验E(experience)逐渐提高”。也就是说,机器学习从原始数据中自动提取识别模式(Goodfellow等,2016)。机器学习通常分为监督式学习、非监督式学习和强化学习。监督式学习(supervised learning)是指计算机从已标注的数据中学习,自动获得数据推断和预测的方法,例如支持向量机(support vector machine,SVM)、决策树(decision tree)等(Hastie等,2009)。非监督式学习(unsupervised learning)是指计算机从无标注的数据中进行学习(Murphy,2012),例如聚类分析(clustering)和主成分分析(principal component analysis,PCA)等。强化学习(reinforcement learning)是指计算机程序随着环境的变化,根据每一步行动后反馈的信号,逐步调整优化(Mnih等,2015;Sutton和Barto,1998),例如Q-learning。举个例子,在使用eigenface的监督式学法方法来进行人脸识别时,通过将人脸投射到一组主要特征向量(即eigenface)上(Sirovich和Kirby,1987),可以将每张非结构化的人脸图像转化为结构化的载荷(loadings)向量,进而通过比较不同人脸之间载荷向量的区别来识别人脸。

3. 深度学习

深度学习(deep learning)是机器学习的一个分支,是指由多个处理层组成的计算模型,可以学习到多个级别的抽象的数据表示(LeCun等,2015),通常这一多层级模型结构被称为神经网络(neural networks)。深度学习自2012年AlexNet(Krizhevsky等,2012)提出以来发展迅猛,在计算机视觉、语音识别、自然语言处理(natural language processing)等领域表现尤为突出。用于图像分析的模型主要有判别模型(discriminative models)和生成模型(generative models)。判别模型主要包括卷积神经网络(convolutional neural network,CNN)(LeCun等,1998),通常用于图像分类、检索、目标分割、人脸识别、医学图像分析等;生成模型主要包括生成式对抗网络(generative adversarial networks,GANs)(Goodfellow等,2020),通常用于生成特定类型的图像。GANs是一种自动和无监督的深度学习方法,通过对抗博弈的方式生成模型的估计,可以生成与训练数据没有区别的新数据。例如StyleGAN(Karras等,2019,2020)模型可以生成高质量且逼真的人脸图像、室内设计图、汽车外观图等。此外,生成模型还包括自编码器(auto-encoder,AE)(Rumelhart等,1986)等模型。

相较于一般机器学习方法,深度学习方法具有如下优势:首先,深度学习的模型结构“深”而且更加复杂,可以在每个隐藏层(hidden layer)学习到数据的非线性抽象表示,而这些数据表示是无法运用人工方法来进行编码的。其次,深度学习方法非常适合从非结构化数据中学习到数据表示,例如图像或音频数据。例如,可以通过深度学习模型识别图像中是否含有品牌信息(Hartmann等,2021)。再次,应用深度学习方法可以有非常好的预测表现,在未来的营销实践中,超市可以通过人脸识别,根据顾客过往购买历史,给予个性化的推荐和优惠(Urban等,2020)。最后,深度学习模型比较灵活,同样的模型结构可以应用到不同的数据类型中,包括音频、图像、视频等。

然而,深度学习方法也有其局限性。深度学习方法最大的局限在于模型解释性不强。虽然深度学习模型准确度高,但是所需使用的特征变量的数量非常多,而且特征变量经过多层模型结构处理,得出的预测或分类的特征变量非常复杂,很难与营销学中的常规概念进行对应和解释(Gabel和Timoshenko,2022;Hartmann等,2021;Urban等,2020;Xia等,2019)。其次,训练深度学习模型需要庞大的数据集,而且如果是应用监督式学习模型,还需要对这些训练数据进行标注,因此数据收集和标注成本非常高。而且,由于训练的数据量大,模型又很复杂,深度学习对算力的要求也很高。例如,VGG-16模型(Simonyan和Zisserman,2015)中含有超过1.38亿个参数需要估计,需要15.5 GFLOPs计算量,模型内存超过500MB。训练深度学习模型用于图像分类、物体识别任务时,一般需要图形处理器(graphics process unit,GPU)来处理。在营销实践中,如果需要满足实时响应需求,例如应用深度学习模型实时推荐产品和服务,或者实时监测品牌在社交媒体中的动向,则对模型和算力的要求会更高。

深度学习方法的应用让图像分析在营销实践中发挥出巨大潜力,主要有以下几方面原因:首先,如前文所述,大量数据变得容易获得和存储。发布在社交媒体及电商平台上的消费者生成的图像数据,是过去无法获得的新数据。其次,深度学习的软硬件设备不断升级,深度学习的模型结构和规模更加复杂,从而可以处理更为复杂的图像分析任务。与此同时,运行深度学习模型的成本越来越低,国内外有比较成熟的平台可以方便个人以及中小企业应用深度学习模型,例如,华为、亚马逊、微软、谷歌、阿里云、腾讯云等提供了在线应用深度学习模型分析图像的服务。再次,深度学习模型的准确度也日益提升,为实践中应用深度学习模型提供精准的营销决策提供了强有力的支持(Davenport等,2020)。

(二)图像分析步骤

在实践和研究中,用计算机进行图像分析大致包含五个基本步骤,即图像的获取、预处理、分割、特征提取以及高级处理(Xiao等,2013)。这五个基本步骤并不都是必需的,可以根据需要挑选使用。

图像获取(image acquisition)是指数字化图像的生成。通常,数字化图像可通过摄像机、扫描仪、手机、相机等设备和相关技术生成。图像预处理(image preprocessing)主要是指在数据分析过程的最开始阶段对图像所做的处理,目的是在不改变图像内容的前提下,改进图像的质量,为后续研究分析做准备。例如,在深度学习模型训练过程前,首先需要对训练集中的图像进行数据增强(Shorten和Khoshgoftaar,2019),通过调整图像的明暗、角度、倾斜角度等特征,生成新的图像数据,从而降低模型的过拟合情况。图像分割(image segmentation)是指将数字图像划分为图像的子区域,目的是简化信息,获取更容易分析和有价值的数据(Minaee等,2022)。例如,对一张广告照片进行图像分割,可以获得照片中人脸、电脑、桌椅等信息。图像特征提取(feature extraction)指的是从图像数据中提取出研究所感兴趣的属性,获得数据的表示。例如,Xiao和Ding(2014)通过机器学习方法从人脸图像中提取出12张eigenface特征。图像高级处理(high-level processing)是指基于从图像数据中获得的数据表示,进一步分析获得人们可以理解的信息和理论洞察。例如,基于eigenface特征,Xiao和Ding(2014)研究了广告中的人脸特征对于消费者对广告、品牌的态度以及购买意愿的影响。

四、图像分析方法在营销实践中的应用综述

得益于大量数据的应用、计算机视觉领域的发展,以及计算机存储和分析能力的提升,国内外营销实践中已经有大量基于图像分析方法的应用与尝试。接下来我们将从营销组合、营销领域、数据来源等维度对目前国内外的相关营销实践进行梳理和总结(详见表1)。每个应用会列举一到两个典型案例进行辅助说明。我们希望通过梳理国内外的相关营销实践,总结目前实践中应用图像分析可以解决的营销问题,并提出未来的发展方向,以期为企业应用图像分析辅助营销决策提供指导。

表 1 图像分析在营销实践中的应用
营销组合 营销领域 数据来源 实例
产品 新产品开发 产品图像 Nutella应用深度学习生成了数百万种独特的包装设计。
日产汽车应用深度学习设计汽车外观
品牌管理 logo图像 Brandmark提供应用深度学习设计logo方案的服务
用户生成图像 腾讯云应用深度学习,提供logo图像识别服务,为企业跟踪并分析品牌提供依据
定价 产品定价 产品图像 Mitchell保险公司对损坏的车辆进行自动分析,应用深度学习分析事故车辆图像,提供可靠而及时的成本估算
推广
广告投放 用户生成图像 Deepbrand应用深度学习,提供分析社交媒体平台网络红人合作效果的服务,以便品牌方选择更合适的网络红人
客户关系管理 用户生成图像 Netbase、Visua等公司应用深度学习,提供社交媒体图像分析服务,分析用户如何交流有关产品的信息
沟通管理 广告图像 诗云科技应用深度学习,为电商和广告商提供广告素材的内容服务
促销管理 用户图像
(人脸)
新氧医美应用深度学习,通过分析人脸外观为消费者推荐医美产品
Amazon Echo Look设备通过机器学习分析图像,以评估用户穿着,并提供个性化推荐
产品图像 Stitch Fix根据消费者的个人信息以及Pinterest个人账户上点赞收藏过的照片,提供个性化服装建议
广告图像 Talkwalker应用深度学习,基于社交媒体的图像信息,为客户提供有关促销活动投资回报率的见解

1.产品(product)

(1) 新产品开发

图像分析可应用于新产品开发,尤其是产品外观及包装的创意设计。企业可以借助机器学习和深度学习方法辅助甚至完全替代设计师,这不仅能减少设计成本,提高创意设计效率(Verganti等,2020),还能根据个人、细分市场等目标人群的需求来定制化设计创意。例如,Nutella(榛子果仁巧克力酱品牌)的制造商费列罗与奥美广告合作开展了一项名为“Nutella Unica”的项目(Aouf,2017)。他们应用深度学习算法从包含数十种图案和颜色的数据库中生成了700万个不同版本的Nutella外包装设计,并在意大利市场上推出这些印有特殊外包装设计的Nutella罐头。该创意在市场上大获成功,700万罐在一月之内售罄。在汽车行业,日产汽车(Nissan)通过深度学习算法设计汽车外观,期望缩短汽车开发周期(Nissan,2022)。

(2) 品牌管理

图像分析也可应用于品牌管理领域。一方面,可以应用深度学习方法来辅助设计符合品牌定位和需求的logo标识。例如,Brandmark公司基于深度学习方法来生成由图标、排版和配色方案组成的logo方案,大大提高了logo创意设计的效率。另一方面,也可以通过分析社交媒体平台上的图像,追踪消费者对品牌和竞争品牌的态度,来评估品牌的定位。例如,腾讯云提供logo图像识别服务,为企业跟踪并分析品牌以及竞争对手提供支撑。

2. 定价(price)

企业也可应用图像分析来辅助进行定价决策,例如进行成本估算。Mitchell保险公司应用深度学习模型,对损坏车辆的图像自动进行分析估算(Huetter,2016)。具体来说,基于事故车辆图像,确定汽车是否有损坏,哪些部分损坏了,损坏的汽车部件需要被维修还是需要完全替换,从而提供较为可靠而及时的成本估算。

3. 推广(promotion)

(1) 广告投放

图像分析也可应用于评估广告投放渠道的效果。尤其是在社交媒体平台上,有大量用户生成的图像数据,Deepbrand公司帮助企业从和品牌相关的图像中,分析出与网络红人的合作效果,从而选出更合适的网络红人来开展合作。

(2) 客户关系管理

在客户关系管理实践中,一些咨询公司基于社交媒体上用户上传的图像,帮助公司分析用户如何交流有关品牌和产品的信息(例如,Netbase、Visua)。例如,如果需要分析消费者对星巴克咖啡的消费习惯,首先需要识别出含有星巴克logo的图像,然后对这些图像进行目标物体(即星巴克产品及logo)识别、场景识别、人脸分析以及情绪识别等,以了解消费者对星巴克产品的态度、消费习惯和偏好。

(3) 沟通管理

在沟通管理实践中,可以应用深度学习模型生成产品展示图、模特形象图、广告等图像。例如,诗云科技应用深度学习生成适合产品和品牌特点的广告素材,从而帮助并服务电商和广告客户。

(4) 促销管理

在促销管理实践中,可以根据消费者的偏好以及个人信息,提供个性化的推荐。例如,新氧医美根据用户的人脸照片,应用深度学习进行人脸识别及分析,为消费者推荐个性化的医美产品。Amazon Echo Look设备为用户拍摄照片,应用深度学习进行图像分析,评估用户穿着,提供个性化服饰搭配推荐(Heater,2017)。Stich Fix是一家在线个人造型服务提供商,根据消费者的个人信息、身材信息以及Pinterest个人账户上点赞收藏过的照片,预测并推荐消费者可能喜欢的服装(Gaudin,2016)。

除此之外,还可以针对特定的促销活动,基于社交媒体平台上与该促销活动直接相关的图片,分析促销活动的投资回报率。例如,Talkwalker基于社交媒体上的图像信息,为客户提供有关用户参与度、用户评价等的图像分析服务,提供促销活动投资回报率的洞察(Liesa,2016)。

综上所述,可以发现应用机器学习和深度学习方法的图像分析已经渗透到营销实践的各个领域。而从图像的来源看,企业发布的和产品与服务相关的图像以及广告依然是图像分析的重要组成部分。更值得关注的是,用户生成的图像潜力巨大,数据更加多而复杂,是未来辅助营销决策的重要依据

未来应用机器学习和深度学习方法分析图像以辅助和指导营销实践,我们认为主要有两个方向:(1)从图像中获得有关消费者态度和行为的深入洞察,获得消费者对产品和品牌的态度和印象,并了解消费者的潜在需求等。(2)利用图像分析辅助定制化营销决策。例如,可根据消费者的偏好,定制生成图像的内容,包括广告、虚拟模特、产品设计等。

五、图像分析相关营销文献综述

图像数据在营销实践中的广泛应用吸引了一些学者的关注,鼓励了营销学者开展相关研究,以更好地指导实践(例如,Chintagunta等,2016;Urban等,2020;Xiao等,2013)。本小节对相关核心文献进行梳理,总结归纳营销研究探讨的前沿课题,特别是如何应对图像数据体量大、难以有效提取有价值信息等挑战,并对应用机器学习以及深度学习方法来进行自动化图像分析的相关研究进行探讨,以期为学者带来启发和思考。

尽管营销领域有大量针对图像的研究文献,但其中大部分研究都只针对图像的某个具体特征,例如图像的颜色、尺寸、长宽比例,图标的形状,图像呈现顺序,图像内容契合度等(例如,Berry和McArthur,1985;Pieters等,2010;Raghubir和Greenleaf,2006;Wedel和Pieters,2015;Zhang等,2009;范钧等,2014;费显政和肖登洋,2020;黄静等,2016;李伟等,2019;孟陆等,2017;田文惠等,2018;朱翊敏,2014)。这些基于图像分析的营销文献具有以下局限性:(1)偏重于研究图像的某个具体特征,而没有对图像进行全面的量化分析;(2)研究中采用图像的样本数量非常有限,通常只作为实验中使用的刺激物,因此得出的结论往往缺乏普遍性;(3)大部分研究使用手工编码的方式进行测量,这对于如今图像数据量庞杂的研究并不适用;(4)变量的选择较为随意,而且由于模型共线性问题,模型没有包含变量之间的所有交互作用(Xiao和Ding,2014)。为了克服上述局限性,近期的营销文献开始采用机器学习或深度学习的方法。本文将主要针对这部分文献进行梳理。

(一) 核心代表文献分析

为了探究关注图像分析的前沿营销研究,我们选取了国内外营销学科、管理学科和信息系统学科领域十九本重要学术期刊,并在梳理过程中也囊括了一些尚未发表在上述国际核心学术期刊上的高水平研究,这些文献已发布在社会科学研究网(SSRN)上。我们遵循下列标准进行筛选:(1)研究主体必须包含图像数据,且对图像进行定量分析;(2)采用人工分析、机器学习或深度学习方法对图像进行分析。共筛选出20篇有代表性的核心文献。总体来看,与蓬勃发展的应用图像分析的营销实践相比,图像分析在营销学研究中的应用目前仍非常有限。而且国内相关研究相对匮乏,仅在2018年之后发表过少数相关研究,而且只在论文中简单提及这些关键词,并未进行深入探讨或应用(例如,刘业政等,2020;钱明辉和徐志轩,2019)。下面,我们从营销组合、营销领域、数据来源、图像分析方法、代表文献以及文献概要等维度对这20篇核心文献进行归纳和梳理(详见表2)。

表 2 核心代表文献梳理
营销组合 营销领域 数据来源 图像分析方法 代表文献 文献概要
产品 新产品
开发
产品图像 人工分析 Liu等(2017) 作者通过量化汽车外观美学设计,研究其对消费者偏好的影响。其研究结果表明,美学设计可以对消费者的偏好产生重大影响
产品图像 深度学习(VAE、GANs) Burnap等(2019) 作者开发了一个生成汽车外观设计的模型,准确预测消费者对产品外观设计美学的评价,以优化汽车外观的创意设计
品牌管理 logo图像 机器学习(DBSCAN) Dew等(2022) 作者基于logo图像及品牌信息,辅助品牌logo设计,预测消费者对新品牌的态度
用户生成图像 深度学习(CNN) Liu等(2020) 作者基于消费者在社交媒体上发布的与品牌有关的图像,准确预测品牌在消费者心中的形象
用户生成图像 深度学习(Google Cloud Vision API) Klostermann等(2018) 作者基于Instagram上用户生成的和品牌相关的图像,结合用户的文字描述和文字标签,推断出消费者对品牌的印象及态度
用户生成图像
(问卷)
深度学习(Clarifai API) Dzyabura和Peres(2021) 作者通过图像测量消费者对品牌的态度,搭建了一套丰富的品牌联想工具,帮助企业了解消费者对品牌的感知,从而做出品牌创意和战略相关决策
人脸图像 深度学习(CNN、GANs) Xu和Ding(2021) 作者提出了一种图像分析方法,并在四种营销场景中应用该方法研究人脸图像对其所获印象的影响,以及在性二态性维度上变化的人脸对其他各个人脸印象维度的影响
产品寿命预测 用户生成图像 深度学习(Clarifai API) Zhang和Luo(2022) 作者基于Yelp在线评论的图像数据预测餐厅的存活率。研究结果表明,使用用户生成图像可以提高餐厅存活率的预测准确率
定价 产品定价 人脸图像 深度学习(CNN) Zhang等(2021b) 作者基于人脸图像研究了Airbnb价格算法对不同种族房东的影响
推广 客户关系管理 用户生成图像 深度学习(CNN) Hartmann等(2021) 作者基于用户生成图像,构建了品牌图像分类器,探究不同类型的品牌图像对消费者参与度的影响
用户生成图像 深度学习(CNN) Guan等(2020) 作者基于用户生成图像的美观度,研究其对产品评价的影响。研究结果表明,用户生成图像的美观程度对产品评价有显著影响
人脸图像 深度学习(CNN) Tkachenko和Jedidi(2020) 作者基于人脸图像,准确预测消费者的人口统计信息、偏好及行为
销售管理 产品图像 深度学习(CNN) Dzyabura等(2019) 作者基于产品图像,结合产品的品类信息、价格,准确预测产品的退货率,从而帮助企业做出相应的产品发布决定
人脸图像 机器学习(gradient boosting decision tree) Peng等(2020) 作者根据人脸几何特征预测人脸的吸引力,并探究人脸吸引力对销量的影响。结果表明,人脸吸引力对销量有显著影响,并呈现U形关系
沟通管理 广告图像 机器学习(PCA) Xiao和Ding(2014) 作者基于人脸图像,研究广告中的人脸特征对于消费者对广告、品牌的态度,购买意愿的影响,结果表明人脸特征对其有显影响
产品图像 深度学习(Yahoo API) Shin等(2020) 作者在结合图像和文字分析的基础上,预测社交媒体帖子的热门程度,以及消费者对帖子的态度
产品图像、用户生成图像 深度学习(Google Cloud Vision API)、
人工分析
Li和Xie(2020) 作者研究社交媒体平台上品牌发布的图像内容,以预测用户参与度。这项研究展示了如何借助图像处理和分析,提高社交媒体的用户参与度
产品图像 深度学习(CNN) Zhang等(2021a) 作者研究了Airbnb网站的图像质量对产品需求的影响。研究结果表明,在Airbnb网站平台上,图像质量对需求有显著影响
产品图像 深度学习(CNN) Li等(2019) 作者评估了Airbnb房屋展示照片的图像质量以及类型对消费者需求的影响。研究结果表明,首页照片比其他照片对消费者需求增长影响更大,显示卧室的高质量图像对需求增长影响最大
人脸图像 深度学习(CNN) Troncoso和Luo(2020) 作者构建了一个形象照片和职位是否匹配的分类器。研究结果表明,在自由职业者招聘平台上,个人形象照片与职位的匹配增加了被雇用概率

1. 产品

(1) 新产品开发

产品的外观设计一直是新产品开发领域的重要议题,因为产品外观对产品的市场接受度至关重要(Reppel等,2006),对消费者的购买决定有着显著影响,直接影响产品的市场表现(Jindal等,2016;Kreuzbauer和Malter,2005)。然而,提高产品设计的美观度往往需要大量的资金和人力,因此,如何通过图像测量消费者对产品外观设计的偏好,并以此为基础对设计方案进行相应的调整,或者使用自动化算法来辅助设计师更高效地进行产品的创意设计,最终使得产品顺利进入市场,获得消费者的认可,这方面研究对产品外观设计相关的营销实践有很大的指导意义。然而目前营销领域相关研究比较少,产品的美学设计对消费者偏好的影响常被忽略,原因可能主要在于图像的量化分析难度高(Liu等,2017)。Liu等(2017)和Burnap等(2019)关注汽车行业,利用图像分析方法来提高产品的美学设计。Liu等(2017)在研究中首先手动标注汽车正面照片的50个特征点,囊括了汽车设计的关键部件,例如前大灯等。随后,根据这50个特征点为汽车外观建模(Landwehr等,2011),即生成汽车外观设计图稿,并计算出三个美学设计相关变量,从而量化汽车外观的美观程度,研究其对消费者偏好的影响。研究结果表明,美学设计对消费者的偏好存在显著影响,调整美学设计可增强消费者的支付意愿,平均可以增加几百乃至几千美金。Burnap等(2019)应用变分自动编码器(variational autoencoder,VAE)和GANs深度学习方法,预测消费者对汽车设计图稿的美学评判,并开发了一个生成汽车外观设计的模型。该模型可以生成在美学角度具有吸引力的设计图稿,在实践中激发设计团队的创意,为其提供设计的起点。

(2) 品牌管理

在品牌管理研究领域,图像分析主要被用于品牌logo设计和品牌定位及品牌形象管理相关研究,尤其是品牌定位及形象管理研究领域。在品牌logo设计相关研究中,Dew等(2022)使用DBSCAN(density-based spatial clustering of applications with noise)聚类方法(一种非监督式机器学习方法)自动从图像像素中提取出有意义、可以解释的特征,例如颜色、形状、字体等视觉信息;随后,使用多模态变分自动编码器(multimodal variational autoencoder,MVAE)(一种深度学习方法),并结合文字、品牌个性、行业等信息搭建模型,用于推断和解释特定品牌使用的logo的图像特征,以及消费者是如何评判品牌的个性的。该研究表明图像分析可有效辅助品牌logo设计,并预测消费者对品牌的态度。

品牌定位及品牌形象管理领域的相关研究根据图像的来源可大致分为两类。第一类研究基于用户生成的图像,测量消费者对品牌的印象和态度。Liu等(2020)基于消费者在社交媒体上发布的与品牌有关的图像,使用CNN深度学习方法从四个维度(即迷人、粗犷、健康和有趣)来衡量品牌印象。研究结果表明,消费者在社交媒体上发布的照片蕴含其消费经历、态度等信息,可用来有效预测品牌在消费者心中的形象。该模型还可在实践中用于实时自动监测品牌形象,以及品牌定位和消费者认知之间的差异,从而帮助企业在竞争环境中优化品牌定位决策。Klostermann等(2018)首先应用Google Cloud Vision API(谷歌公司推出的一种基于深度学习的图像识别应用接口,可识别出图像中1 250种不同内容,例如汉堡、冰淇凌等)为社交媒体平台Instagram上用户生成的和品牌相关的图像打上标签;随后,基于图像的标签应用聚合层次聚类分析方法(hierarchical agglomerative clustering,HAC)(一种非监督式机器学习方法),来分析不同产品在不同情境下生成的图像内容,并结合用户的文字描述和文字标签,推断出消费者对品牌的印象及态度。

第二类研究通过问卷的形式,要求消费者用图像来表达对品牌的认知,或者直接给图像打分来评估品牌的形象。Dzyabura和Peres(2021)通过图像测量消费者对品牌的态度,即要求消费者进行联想,选择出与品牌相关的图像;随后,通过Clarifai API(Clarifai公司推出的基于深度学习的图像识别应用接口,可用于识别图像中的多种物体、风景、动作、情感及其他视觉元素)为图像打标签;再基于这些图像标签,应用指导性隐狄利克雷分布方法(latent dirichlet allocation,LDA)(一种非监督式机器学习方法)对标签进行主题分类,最终获得150个主题。这150个主题构成了一套丰富的品牌联想工具,能够帮助企业了解消费者对品牌的感知,从而做出品牌创意和战略相关决策,例如评估品牌健康程度、品牌定位、品牌合作、扩展产品线等。Xu和Ding(2021)在四种营销场景中研究人脸图像对其给人的印象的影响。他们采用CNN深度学习方法预测广告中人脸给人的印象,例如是否有能力、是否可以接近,判断人脸是否能代表特定品牌、产别类别的客户和特定品牌细分市场用户画像的形象,并在此基础上使用GANs(一种深度学习方法)改变人脸的性二态性(sexual dimorphism)特征,研究仅在性二态性维度上变化的人脸对其他各个人脸印象维度的影响。其研究结果表明,对于营销实践场景(例如广告或社交网络平台)中出现的人脸,使用其脸部特征可以较为准确地预测消费者对该人脸的印象,而且人脸性二态性维度的变化对其他人脸印象维度有显著影响。

(3) 产品寿命预测

图像信息也可以成为产品寿命预测的重要指标。用户生成图像有助于洞察消费者对产品和服务的态度,从而辅助预测产品和服务的寿命。Zhang和Luo(2022)基于Yelp在线评论的图片数据来预测餐厅的存活率。其中,用户在线评论的图像包括菜品、饮品、餐厅内部装修、餐厅外部环境、菜单等。该研究首先应用Clarifai API对图像进行目标物体检测,例如一张图像可以被打上“海鲜”“草莓”“室内”等标签。然后,应用计算机视觉技术,获得颜色、饱和度、构图等图像特征信息。最后,作者基于图像,结合文字评论、餐厅特点、竞争格局、宏观环境等信息,来预测餐厅的存活率。研究结果表明,通过分析用户生成图像可以提高餐厅存活率的预测准确率。

2. 定价

图像信息也可以成为定价的重要指标和依据,即产品信息相关图像可以帮助企业进行定价决策。Zhang等(2021b)研究了在爱彼迎(Airbnb)在线短租平台上引入智慧价格算法对不同种族房东的影响。在该研究中,学者们应用CNN深度学习方法搭建了房东人脸种族分类器,以区分黑人、白人和其他种族的房东。研究结果表明,该算法使得白人和黑人房东之间的收入差距减少了71.3%,然而由于黑人房东采纳该算法的可能性更低,因此总体来看,黑人和白人房东之间的收入差距更大了。

3. 推广

(1) 客户关系管理

在客户关系管理领域,图像分析主要被用于用户在线评论方面的研究,即通过线上评论的图像信息,来推断消费者参与度、消费者对产品的态度等,以达到精准定位客户群体、获取新客户等目标。同时,也有研究基于人脸特征来预测消费者偏好和行为,为获取新客户的营销决策提供支撑。Hartmann等(2021)通过CNN深度学习方法,基于Twitter上消费者生成的图像内容,构建了品牌图像分类器,用于区分和品牌相关的图像,包括品牌自拍照(即手持产品不露人脸的照片)、消费者自拍照(含品牌信息的自拍照)以及仅有产品或包装的图像这三种类型,来研究不同类型的品牌图像对消费者参与度的影响。研究结果表明,品牌自拍照对消费者的品牌参与度影响最大。Guan等(2020)应用CNN深度学习方法评估电商平台用户评论所使用的图像的美观度,并探究其对其他消费者产品满意度的影响。研究结果表明,用户生成图像的美观程度对其他消费者的产品满意度有显著影响。Tkachenko和Jedidi(2020)应用CNN深度学习方法来分析人脸图像,以预测消费者的人口统计信息、偏好及行为。

(2) 销售管理

在销售管理领域,营销学者从线上零售数据入手,通过图像分析来预测产品的退货率,以及销售人员对产品销量的影响。Dzyabura等(2019)基于服饰品牌的线上零售数据,通过CNN深度学习方法来处理图像并提取特征。在此基础之上,结合产品的品类信息和价格来预测产品的退货率,以帮助企业预测产品的获利能力,做出相应的发布产品的决定。Peng等(2020)研究了线上平台(例如短租公寓平台、电商平台)上销售员人脸的吸引力对销量的影响。他们应用OpenCV的Dlib库提取出人脸图像的68个关键点(Kazemi和Sullivan,2014),并根据这68个关键点的坐标信息计算脸部几何特征和比例,例如两眼间距。随后,通过随机森林回归算法(random forest regression)(一种监督式机器学习方法),根据人脸的几何特征来量化评价人脸的吸引力,以探究人脸吸引力对销量的影响。研究结果表明,人脸吸引力对销量存在显著影响,并呈现U形关系,即最有吸引力的销售和最没有吸引力的销售比普通长相的销售对销量贡献更大。

(3) 沟通管理

在沟通管理领域,图像分析主要被用于三个方面的研究,即广告设计、广告效果测评以及产品展示设计。在广告设计相关研究中,Xiao和Ding(2014)研究了广告中人脸对广告沟通效果的影响。该研究使用PCA方法(一种非监督式机器学习方法),从广告人脸中提取出12张eigenface特征。研究表明,广告中的人脸特征对于消费者对广告、品牌的态度和购买意愿都存在显著影响,而且这一影响与产品类别存在交互作用,并且人脸的吸引力、可信度和能力印象在其中起中介作用。

在广告效果测评相关研究中,Shin等(2020)提出了应用图像分析研究社交媒体相关数据的分析框架。该研究首先采用Yahoo API(雅虎公司推出的一种基于深度学习的图像识别应用接口,可识别出图像中1 700种不同内容)对图像进行目标物体识别,测量图像的美观水平、成人内容水平以及检测名人代言内容。基于以上图像分析结果,结合对帖子中文本的分析,来构建新的变量(例如,图像—文字相似性、内容一致性),进而预测社交媒体帖子的热门程度,以及消费者对帖子的态度。该研究提出的分析框架展示了如何应用深度学习方法分析社交媒体平台上的图像数据,来辅助预测并评估社交媒体上广告的效果。Li和Xie(2020)通过分析社交媒体平台上(包括Instagram、Twitter)美国主要航空公司、SUV品牌发布的内容,以及有关这些品牌的用户生成帖子,探究了帖子中图像内容对社交参与度的影响。研究者同时采用Google Cloud Vision API和人工分析的方法来分析图像。一方面,采用Google Cloud Vision API提取图像的色彩特征、识别物体、识别人脸及情绪;另一方面,采用人工分析法,对图像质量、是否由专业摄影师拍摄以及图像与文字内容是否相关等特征进行手工编码。研究结果表明,图像内容对Twitter上两个产品类别的用户参与度具有显著且稳健的正面影响,并且高质量和专业拍摄的图像始终可以提高两个平台上两个产品类别的参与度,然而色彩的影响因产品类别而异。这项研究展示了如何借助图像处理和分析,提高社交媒体的用户参与度。

在产品展示设计相关研究中,产品展示图像对消费者的态度和行为有显著影响。Zhang等(2021a)利用CNN深度学习方法搭建了一个衡量图像质量高低的分类器,研究在Airbnb网站上图像质量对产品需求的影响。研究结果表明,在Airbnb在线短租平台上,图像质量对需求有显著影响。Li等(2019)使用CNN深度学习模型评估图像质量以及房间类型,研究其对产品需求的影响。研究结果表明,在Airbnb房屋展示页面中,首页照片比其他照片对消费者需求的增长影响更大,而且显示卧室的高质量图像对需求增长的影响最大。房源采用最佳照片布局,可提升平均预订量高达11.0%。Troncoso和Luo(2020)基于自由职业平台网站上自由职业者的人像,应用CNN深度学习方法训练了判断职业照片和职位是否匹配的分类器。研究结果表明,职业照片与职位的匹配程度正向影响被雇用的概率,因此自由职业者可以通过策略性地选择图像背景和配饰,来提高被雇用的概率。

(二) 核心代表文献总结

基于上述图像分析相关的核心代表文献,接下来我们将从研究发展趋势、研究领域、数据来源以及研究方法的角度分析总结目前相关研究的特点。从上述核心代表文献梳理和分析中可以看出,这些文献主要发表于2017年之后,主要可能有以下几方面原因:(1)随着智能手机和移动网络的普及,以及电商平台、社交网络平台的兴起,人们的生活和消费方式正在发生重大改变。一方面,消费者越来越习惯于通过图像来分享态度和想法,这一趋势也使得图像数据的规模与日俱增,不少研究正是基于用户生成图像来开展的(例如,Liu等,2020;Zhang和Luo,2022)。另一方面,一些学者着眼于线上零售数据,关注产品展示设计对产品销量的影响(Li等,2019;Zhang等,2021a)。基于国内外社交媒体平台和电商平台的大量图像内容,营销学者通过对图像进行实时分析,获得有关客户关系管理、品牌形象管理等领域的深刻见解。(2)机器学习和深度学习算法的发展,以及算力的增强,让营销学者能高效准确地处理及分析海量的图像数据,极大地推动了基于图像分析的营销研究。例如,Shin等(2020)在应用深度学习模型进行训练的过程中,每一个分类器训练超过10万张图像。

从研究领域来看,目前相关研究主要聚焦在品牌管理、沟通管理和客户关系管理领域。其中沟通管理聚焦在分析广告和产品图像数据上,而品牌管理和客户关系管理聚焦在用户生成图像数据上。Zhang和Luo(2022)基于Yelp在线评论的图像数据,来预测餐厅的存活率。Dzyabura等(2019)基于产品信息、价格和图像预测产品退货率,辅助企业做出发布产品的决定。算法的进步也逐渐让营销研究超出了图像预测及分类的范畴,逐渐延伸至产品设计等创意领域。例如,Burnap等(2019)基于汽车设计图稿,开发出汽车外观设计模型,能自动生成在美学角度对消费者有吸引力的设计方案,从而激发设计团队的创意。

从数据来源看,文献中所使用的图像类型与营销实践相似,其中产品图像和用户生成图像都是重要的研究数据来源。目前基于产品图像的研究,主要集中于产品外观设计(Burnap等,2019;Liu等,2017)、预测产品退货率(Dzyabura等,2019)、预测广告效果(Shin等,2020)以及产品展示设计(Li等,2019;Li和Xie,2020;Zhang等,2021a);而基于用户生成图像的研究,则范围更广,不仅可以预测产品的寿命(Zhang和Luo,2022)、帮助企业管理品牌定位和形象(Klostermann等,2018;Liu等,2020),还可以用于客户关系管理(Guan等,2020;Hartmann等,2021)。特别值得注意的是,人脸图像是营销研究中非常关注的图像类型,在销售人员管理(Peng等,2020)、品牌形象管理(Xu和Ding,2021)、新客户获取(Tkachenko和Jedidi,2020)以及产品展示设计(Troncoso和Luo,2020)等领域都获得了广泛研究。

从图像分析方法看,很多研究都采用深度学习方法,其中有不少研究采用CNN(例如,Guan等,2020;Hartmann等,2021;Li等,2019;Tkachenko和Jedidi,2020;Troncoso和Luo,2020;Zhang等,2021a),用于图像分类、目标物体识别、情感分析、人脸识别等用途,只有少量研究采用GANs(例如,Burnap等,2019;Xu和Ding,2021),用于生成与研究相关的图像。此外,大部分研究都自行编写算法程序,仅有少数研究直接采用商用软件和服务(例如,Google Cloud Vision、Clarifai、Yahoo等)(Dzyabura和Peres,2021;Klostermann等,2018;Shin等,2020)。营销研究还可以根据研究需要,结合使用不同的图像分析方法,例如Li和Xie(2020)结合使用人工分析和深度学习方法。

六、讨论及展望

随着智能手机的普及、移动互联网的发展以及各类社交媒体平台和电商平台的兴起,很多企业都在应用图像分析为商业问题寻求解决方案。通过梳理图像分析相关营销实践及研究文献,我们发现图像分析日益在各个领域发挥出潜力,并显示出极大的商业价值(Li等,2019;Zhang等,2021a),现已成为企业营销决策重要而不可或缺的依据。此外,随着数据存储设备、计算机运算能力的提升,营销研究可以持续关注并借鉴计算机科学领域的学科经验,从海量的图像中获得新的消费者洞察,更加准确地理解和预测消费者的需求和偏好,为未来的营销实践决策提供支持。

(一) 研究意义

从管理实践的意义来看,图像分析有助于了解消费者的偏好和行为,辅助营销实践,为平台方(例如电商平台、社交媒体平台)、品牌方、市场营销研究公司和行业协会,以及消费者带来价值。平台方可以应用图像分析为平台入驻商户提供深度商业分析服务。品牌方可以应用图像分析,为营销策略提供准确、个性化、实时的数据支撑,以优化资源分配。市场营销研究公司及行业协会可以应用图像分析,来迅速了解整个行业的动态和发展方向,为其客户提供深度的商业分析服务。消费者能通过在社交网络平台上分享图像,来更准确地反映其对产品和品牌的偏好和态度,同时基于图像分析的推荐系统也能更好地帮助消费者做出消费决策。

本研究从基于图像分析的营销实践出发,通过对营销领域相关核心文献进行梳理,希望在以下方面做出理论贡献:(1)本研究发现目前基于图像分析的研究尚处于起步阶段,远落后于相关营销实践。因此,本研究希望在对图像分析相关营销核心文献进行梳理的基础上,提炼出基于该领域的重要课题和前沿方向,并分析目前研究中存在的理论空缺,为营销学者提供关于未来研究趋势的建议。(2)本研究也对应用计算机视觉技术来处理和分析图像数据的基本概念和方法进行了简单介绍,目的是向营销学者展示这些方法其实较为易学好用,同时也呼吁更多的营销学者投身于这个蓬勃发展的新兴研究领域。

(二) 未来研究展望

1. 基于图像分析探究消费者行为和动机

目前的文献主要以预测为主,即从图像中提取出一些特征,以预测一个重要的营销变量,而没有从更深层次来分析其机制。例如,Zhang和Luo(2022)通过Yelp平台上用户生成的有关餐厅评价的图像,来预测餐厅的存活率。Liu等(2020)根据社交媒体平台用户生成图像,来预测消费者对品牌的印象。然而,模型解释方面还有发展的空间,有很多研究课题值得深入挖掘,尤其是在消费者行为领域。依托社交媒体和电商平台上丰富的图像数据,未来更有潜力的研究方向是通过消费者行为实验控制变量,深入探究消费者的行为和动机,从而获得更丰富的理论洞察。例如,Hartmann等(2021)通过行为实验研究了社交媒体平台上不同类型用户生成图像对消费者品牌参与度的影响及内在心理机制,他们发现心理模拟(mental simulation)和自我指涉(self reference)心理机制让消费者在看到品牌自拍照后,模拟了自己消费产品的过程。未来还可以研究社交媒体平台图像信息的锚定效应(anchoring effect)等,探究其对消费者行为和购买决策的影响。

2. 结合人工智能的半自动化或全自动化创意设计研究

基于图像分析的另一项非常有潜力的研究方向是创意设计,例如品牌logo设计(Dew等,2022)和产品外观设计(Burnap等,2019;Liu等,2017)等。未来,以真实的设计需求和管理问题为引导,创意设计将由专业设计师和人工智能合力完成,或者由算法实现全自动化的创意设计。未来可以研究利用人工智能产出创意设计的算法,使其在满足客户需求的前提下,自动生成创意设计,包括但不限于广告内容设计、虚拟模特形象设计、产品展示图片设计、新产品设计等,来大幅提高创意设计的效率和质量。

3. 实时响应需求的图像分析研究

图像分析未来会更加工程化和自动化,尤其是在实时响应方面。未来非监督式学习方法的进一步发展,有可能解决目前营销研究中需要实时分析和处理庞大图像数据的挑战。应用监督式学习往往需要大量标注过的数据集(Burnap等,2019;Liu等,2020),因而大大提高了开展营销研究的成本。而应用非监督式学习,可以自动提取图像特征,而不依赖人工标注(Dew等,2022),从而能够增加研究的适用性和可扩展性。未来,还需要充分发掘机器学习和深度学习方法的潜力,来开发出更多可以自动分析、实时响应需求的应用。例如,未来的研究可以开发出社交媒体平台上基于用户生成图像的预警系统,通过实时分析和掌握品牌的动态,评估品牌的健康程度,来有效预警品牌可能遇到的风险,从而为品牌方实时了解自身品牌定位和竞争对手提供有力的营销决策支撑。

4. 增加模型可解释性的方法论研究

深度学习方法虽然在某些预测任务上表现突出,有非常高的准确性,但由于模型结构复杂,其内在机制很难以人类容易理解的方式解释清楚(Hall和Gill,2019)。因此,深度学习模型也常被称为“黑匣子”(black box)。缺乏可解释性的深度学习模型在营销研究中的应用存在局限性。营销研究关注理论洞察,可解释性差的模型无法帮助营销学者了解其内在机制,因而制约了深度学习方法在营销研究中的应用。

未来可以进一步深化分析方法(林子筠等,2021)相关研究,在既不丢失原有数据的信息,又能提出可解释的营销洞察的条件下,分析图像数据,开展理论研究,指导营销实践。目前,营销学者开始尝试不同的方法来提高图像数据分析模型的可解释性(Xu和Ding,2021;Zhang等,2021a)。Zhang等(2021a)为了提高其深度学习模型的可解释性,应用计算机视觉提取了有关构图、颜色、图像主体和背景关系的12项可解释的图像特征,并进一步分析了影响图像质量的特征及其对产品需求的影响。Xu和Ding(2021)尝试提出了一套在营销场景中分析图像数据、系统探索和验证理论的分析范式,试图打开深度学习模型的黑匣子。

5. 多类型图像数据和多模态数据分析研究

从图像数据类型来看,目前相关研究聚焦于线上可获得图像,包括产品图像数据、用户在线评论图像数据,以及社交媒体平台用户生成的图像数据。未来可以结合前文提到的三种图像类型,即企业呈现给消费者的信息(例如平面广告)、用于记录生活场景的数据和为满足特殊用途而抓取的用户数据,在现有相关营销研究的基础上进行深入探讨。例如,可以结合广告图像与眼动仪捕捉的信息(李江等,2019),研究广告素材对消费者购买意愿的影响。也可以基于零售门店拍摄的消费者图像,分析商铺陈列设计或者产品对消费者态度的影响。任何可以转化为数字化图像的内容,都可以用于未来开展营销相关课题研究。

此外,还可以从单纯的基于图像的分析,逐步转向结合图像、文字、音频等各种类型数据的多模态分析(雷蕾和黄敏学,2014),从而更全面地理解消费者的态度、偏好和行为。例如,Dew等(2022)在有关logo创意设计的研究中,发现单纯基于品牌的logo设计很难预测消费者对品牌的态度。他们在使用logo图像信息的基础上,结合品牌的文字信息、行业分类信息以及消费者对品牌个性的评价,来解释和预测品牌使用什么logo特征以及消费者如何评判品牌个性。未来可以应用多模态数据来进行消费者态度和行为相关领域的研究。

6. 提升产品或服务的公正性研究

图像分析不仅可以帮助企业准确地挖掘消费者的个性化需求,还能帮助企业提升所提供产品或服务的公正性。通常深度学习算法的应用基于用户的个人信息(例如,人脸图像、用户生成图像等)来推荐个性化的产品和服务。这些应用可能会针对某类人群(例如,社会经济地位、种族、职业等),因而算法本身可能带有偏见。未来可以研究如何消除深度学习算法给消费者带来的潜在负面影响,以提高产品和服务的公正性。例如,Zhang等(2021b)通过研究价格算法对不同种族房东收入的影响,建议平台可以通过在价格算法中考虑房东种族信息来进一步缩小收入差距。未来的研究可以关注如何利用图像分析提升产品和服务的公正性。例如,职位招聘广告往往会根据性别进行推荐,程序员相关职位通常会优先推荐给男性,这一推荐算法实则影响了女工程师的求职机会,未来的研究可以关注如何通过图像分析的相应算法,来减少对不同性别人群的求职偏见。

① 本研究将专注于梳理图像数据在营销实践和研究中的应用。图像数据与视频数据同属于非结构化视觉数据,但图像数据是静态的,而视频数据是动态的。而且,视频数据通常被看作是由连续多帧图像按时间轴排列的,是一种动态的特殊图像数据。因此,很多静态图像数据的分析方法也同样适用于视频数据(Xiao等,2013)。本研究的分析与讨论将主要围绕图像数据展开,暂不对与视频数据相关的研究和实践进行深入探讨。

② 数据表示(data representation)指的是用数字化的形式表达数据的特征。在机器学习和深度学习方法中,数据表示是指通过计算机程序从原始数据(例如图像)中发现特征或分类所需要的表示。

③ GFLOPs:英文全称为giga floating point operations,代表 $ {10}^{9} $ 次浮点运算。

④ 根据复旦大学国际和国内核心期刊目录选择下列期刊:其中国外核心期刊包括Quantitative Marketing and EconomicsMIS QuarterlyMarketing ScienceMarketing LettersManagement ScienceJournal of the Academy of Marketing ScienceJournal of Service ResearchJournal of RetailingJournal of Marketing ResearchJournal of MarketingJournal of Management Information SystemsJournal of Consumer ResearchJournal of Consumer PsychologyInternational Journal of Research in MarketingInformation Systems Research;国内核心期刊包括《营销科学学报》《南开管理评论》《管理世界》《管理科学学报》。

⑤ OpenCV Dlib是一个使用现代C++技术编写的开源库,利用Dlib官方训练好的模型,可以自动识别人脸的68个关键点坐标信息(http://dlib.net/face_landmark_detection.py.html)。

主要参考文献
[1] 范钧, 沈东强, 林帆. 网店商品图片信息对顾客购买意愿的影响——产品类型的调节效应[J]. 营销科学学报, 2014, 10(4): 97–108.
[2] 费显政, 肖登洋. 移动端应用软件图标的触觉心象对消费者偏好的影响研究[J]. 管理世界, 2020, 36(7): 153–170.
[3] 黄静, 郭昱琅, 熊小明, 等. 在线图片呈现顺序对消费者购买意愿的影响研究——基于信息处理模式视角[J]. 营销科学学报, 2016, 12(1): 51–69.
[4] 雷蕾, 黄敏学. 大数据时代下的产品评价方法探究——以顾客网上评论的文本数据分析为例[J]. 珞珈管理评论, 2014(1): 129–141.
[5] 李江, 颜清, 杨强, 等. 广告语中数字呈现形式对消费者购买意愿的影响研究: 基于眼动的证据[J]. 营销科学学报, 2019, 15(4): 52–70.
[6] 李伟, 颜清, 苗苗, 等. 拟人化广告形象契合与视觉对象结构——基于自我建构的眼动研究[J]. 营销科学学报, 2019, 15(2): 116–131.
[7] 林子筠, 吴琼琳, 才凤艳. 营销领域人工智能研究综述[J]. 外国经济与管理, 2021, 43(3): 89–106.
[8] 刘业政, 孙见山, 姜元春, 等. 大数据的价值发现: 4C模型[J]. 管理世界, 2020, 36(2): 129–138.
[9] 孟陆, 杨强, 杜建刚, 等. 创新产品类别与呈现顺序相匹配对消费者购买意愿的影响[J]. 营销科学学报, 2017, 13(4): 83–103.
[10] 钱明辉, 徐志轩. 基于机器学习的消费者品牌决策偏好动态识别与效果验证研究[J]. 南开管理评论, 2019, 22(3): 66–76.
[11] 田文惠, 李艳军, 李林竹. 农产品在线图片内容对消费者点击意愿的影响研究[J]. 营销科学学报, 2018, 14(Z1): 222–239.
[12] 朱翊敏. 慈善营销中契合类型与信息框架对消费者响应的影响[J]. 南开管理评论, 2014, 17(4): 128–139.
[13] Aouf R S. Algorithm designs seven million different jars of Nutella[EB/OL]. https://www.dezeen.com/ 2017/ 06/ 01/ algorithm-seven-million-different-jars-nutella- packaging-design, 2017-06-01.
[14] Balducci B, Marinova D. Unstructured data in marketing[J]. Journal of the Academy of Marketing Science, 2018, 46(4): 557–590.
[15] Berry D S, McArthur L Z. Some components and consequences of a babyface[J]. Journal of Personality and Social Psychology, 1985, 48(2): 312–323.
[16] Burnap A, Hauser J R, Timoshenko A. Design and evaluation of product aesthetics: A human-machine hybrid approach[EB/OL]. http://dx.doi.org/10.2139/ssrn.3421771, 2019-07-19.
[17] Chintagunta P, Hanssens D M, Hauser J R. Editorial—marketing science and big data[J]. Marketing Science, 2016, 35(3): 341–342.
[18] Davenport T, Guha A, Grewal D, et al. How artificial intelligence will change the future of marketing[J]. Journal of the Academy of Marketing Science, 2020, 48(1): 24–42.
[19] Dew R, Ansari A, Toubia O. Letting logos speak: Leveraging multiview representation learning for data-driven branding and logo design[J]. Marketing Science, 2022, 41(2): 401–425.
[20] Diehl K, Zauberman G, Barasch A. How taking photos increases enjoyment of experiences[J]. Journal of Personality and Social Psychology, 2016, 111(2): 119–140.
[21] Dzyabura D, El Kihal S, Hauser J R, et al. Leveraging the power of images in managing product return rates[EB/OL]. http://dx.doi.org/10.2139/ssrn.3209307, 2019-09-04.
[22] Dzyabura D, Peres R. Visual elicitation of brand perception[J]. Journal of Marketing, 2021, 85(4): 44–66.
[23] Gabel S, Timoshenko A. Product choice with large assortments: A scalable deep-learning model[J]. Management Science, 2022, 68(3): 1808–1827.
[24] Gaudin S. At Stitch Fix, data scientists and A. I. become personal stylist[EB/OL]. https://www.cmo.com.au/article/599435/stitch-fix-data-scientists-become-personal-stylists, 2016-05-07.
[25] Goodfellow I, Bengio Y, Courville A. Deep learning[M]. Cambridge, MA: MIT Press, 2016.
[26] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139–144.
[27] Guan Y, Tan Y, Wei Q, et al. Information or distortion? The effect of customer generated images on product rating dynamics[EB/OL]. http://dx.doi.org/ 10.2139/ssrn.3633590, 2020-06-23.
[28] Hall P, Gill N. An introduction to machine learning interpretability[M]. 2nd ed. Newton, MA: O’Reilly Media, Inc. , 2019.
[29] Hartmann J, Heitmann M, Schamp C, et al. The power of brand selfies[J]. Journal of Marketing Research, 2021, 58(6): 1159–1177.
[30] Hastie T, Tibshirani R, Friedman J. The elements of statistical learning: Data mining, inference, and prediction[M]. 2nd ed. New York: Springer, 2009.
[31] Hauser J R. Phenomena, theory, application, data, and methods all have impact[J]. Journal of the Academy of Marketing Science, 2017, 45(1): 7–9.
[32] Heater B. Amazon’s new Echo Look has a built-in camera for style selfies[EB/OL]. https://techcrunch.com/ 2017/ 04/ 26/ amazons-new-echo-look-has-a-built-in-camera-for-style-selfies, 2017-04-26.
[33] Huetter J. Tractable photo-analyzing AI to assess vehicle damage for Mitchell[EB/OL]. https://www.repairerdrivennews.com/ 2016/10/11/ tractable-ceo-says-ai-will-assess-vehicle-damage-for-mitchell-company-specializes-in-ai-photo-analysis, 2016-10-11.
[34] Jindal R P, Sarangee K R, Echambadi R, et al. Designed to succeed: Dimensions of product design and their impact on market share[J]. Journal of Marketing, 2016, 80(4): 72–89.
[35] Jones A. The full picture: Using image analysis for consumer research[EB/OL]. https://www.brandwatch.com/blog/image-analysis-consumer-research, 2017-06-07.
[36] Jordan M I, Mitchell T M. Machine learning: Trends, perspectives, and prospects[J]. Science, 2015, 349(6245): 255–260.
[37] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[A]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition[C]. Long Beach: IEEE, 2019.
[38] Karras T, Laine S, Aittala M, et al. Analyzing and improving the image quality of StyleGAN[A]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition[C]. Seattle: IEEE, 2020.
[39] Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression trees[A]. Proceedings of the IEEE conference on computer vision and pattern recognition[C]. Columbus: IEEE, 2014.
[40] Klostermann J, Plumeyer A, Böger D, et al. Extracting brand information from social networks: Integrating image, text, and social tagging data[J]. International Journal of Research in Marketing, 2018, 35(4): 538–556.
[41] Kreuzbauer R, Malter A J. Embodied cognition and new product design: Changing product form to influence brand categorization[J]. Journal of Product Innovation Management, 2005, 22(2): 165–176.
[42] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[A]. Proceedings of the 25th international conference on neural information processing systems[C]. Lake Tahoe: Curran Associates Inc. , 2012.
[43] Landwehr J R, Labroo A A, Herrmann A. Gut liking for the ordinary: Incorporating design fluency improves automobile sales forecasts[J]. Marketing Science, 2011, 30(3): 416–429.
[44] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436–444.
[45] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324.
[46] Li H W, Simchi-Levi D, Wu M X, et al. Estimating and exploiting the impact of photo layout: A structural approach[EB/OL]. http://dx.doi.org/10.2139/ssrn.3470877, 2019-10-16.
[47] Li Y Y, Xie Y. Is a picture worth a thousand words? An empirical study of image content and social media engagement[J]. Journal of Marketing Research, 2020, 57(1): 1–19.
[48] Liesa. Introducing image recognition: The future of social listening[EB/OL]. https://www.talkwalker.com/ blog/ introducing-image-recognition-the-future-of-social-listening, 2016-03-09.
[49] Liu L, Dzyabura D, Mizik N. Visual listening in: Extracting brand image portrayed on social media[J]. Marketing Science, 2020, 39(4): 669–686.
[50] Liu Y, Li K J, Chen H P, et al. The effects of products’ aesthetic design on demand and marketing-mix effectiveness: The role of segment prototypicality and brand consistency[J]. Journal of Marketing, 2017, 81(1): 83–102.
[51] Minaee S, Boykov Y, Porikli F, et al. Image segmentation using deep learning: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(7): 3523–3542.
[52] Mitchell T M. Machine learning[M]. Maidenhead: McGraw-Hill, 1997.
[53] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529–533.
[54] Murphy K P. Machine learning: A probabilistic perspective[M]. Cambridge: MIT Press, 2012.
[55] Nissan. AI technology brings excitement to Nissan Japan[EB/OL]. https://global.nissanstories.com/en/releases/nissan-ai-technology, 2022-01-21.
[56] Peng L, Cui G, Chung Y, et al. The faces of success: Beauty and ugliness premiums in e-commerce platforms[J]. Journal of Marketing, 2020, 84(4): 67–85.
[57] Pieters R, Wedel M, Batra R. The stopping power of advertising: Measures and effects of visual complexity[J]. Journal of Marketing, 2010, 74(5): 48–60.
[58] Raghubir P, Greenleaf E A. Ratios in proportion: What should the shape of the package be?[J]. Journal of Marketing, 2006, 70(2): 95–107.
[59] Reppel A E, Szmigin I, Gruber T. The iPod phenomenon: Identifying a market leaders’ secrets through qualitative marketing research[J]. Journal of Product & Brand Management, 2006, 15(4): 239–249.
[60] Rizkallah, J. The big (unstructured) data problem[EB/OL]. https://www.forbes.com/ sites/forbestechcouncil/ 2017/ 06/ 05/ the-big-unstructured-data-problem/ ?sh=da78e05493a3, 2017-06-05.
[61] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533–536.
[62] Shin D, He S, Lee G M, et al. Enhancing social media analysis with visual data analytics: A deep learning approach[J]. MIS Quarterly, 2020, 44(4): 1459–1492.
[63] Shorten C, Khoshgoftaar T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data, 2019, 6(1): 60.
[64] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[A]. 3rd international conference on learning representations[C]. San Diego, 2015.
[65] Sutton R S, Barto A G. Reinforcement learning: An introduction[M]. Cambridge, Massachusetts: MIT Press, 1998.
[66] Tkachenko Y, Jedidi K. What personal information can a consumer facial image reveal? Implications for marketing ROI and consumer privacy[EB/OL]. http://dx.doi.org/10.2139/ssrn.3616470, 2020-06-01.
[67] Trafton A. In the blink of an eye[EB/OL]. https://news.mit.edu/2014/in-the-blink-of-an-eye-0116, 2014-01-16.
[68] Troncoso I, Luo L. Look the part? The role of profile pictures in online labor markets[EB/OL]. http://dx.doi.org/10.2139/ssrn.3709554, 2020-11-25.
[69] Urban G, Timoshenko A, Dhillon P, et al. Is deep learning a game changer for marketing analytics?[J]. MIT Sloan Management Review, 2020, 61(2): 71–76.
[70] Verganti R, Vendraminelli L, Iansiti M. Innovation and design in the age of artificial intelligence[J]. Journal of Product Innovation Management, 2020, 37(3): 212–227.
[71] Vogel D R, Dickson G W, Lehman J A. Persuasion and the role of visual presentation support: The UM/3M study[R]. Working Paper No. MISRC-WP-86-11, 1986.
[72] Wedel M, Kannan P K. Marketing analytics for data-rich environments[J]. Journal of Marketing, 2016, 80(6): 97–121.
[73] Wedel M, Pieters R. The buffer effect: The role of color when advertising exposures are brief and blurred[J]. Marketing Science, 2015, 34(1): 134–143.
[74] Xia F H, Chatterjee R, May J H. Using conditional restricted Boltzmann machines to model complex consumer shopping patterns[J]. Marketing Science, 2019, 38(4): 711–727.
[75] Xiao L, Ding M. Just the faces: Exploring the effects of facial features in print advertising[J]. Marketing Science, 2014, 33(3): 338–352.
[76] Xiao L, Kim H J, Ding M. An introduction to audio and visual research and applications in marketing[J]. Review of Marketing Research, 2013, 10: 213–253.
[77] Xu J, Ding M. Transparent model of unabridged data (TMUD)[EB/OL]. https://doi.org/10.48550/arXiv.2106.07558, 2021-05-23.
[78] Zhang J, Wedel M, Pieters R. Sales effects of attention to feature advertisements: A Bayesian mediation analysis[J]. Journal of Marketing Research, 2009, 46(5): 669–681.
[79] Zhang M X, Luo L. Can consumer-posted photos serve as a leading indicator of restaurant survival? Evidence from Yelp[J]. Management Science, 2022, doi: 10.1287/MNSC.2022.4359.
[80] Zhang S Y, Lee D, Singh P V, et al. What makes a good image? Airbnb demand analytics leveraging interpretable image features[J]. Management Science, 2021a, doi: 10.1287/mnsc.2021.4175.
[81] Zhang S Y, Mehta N, Singh P V, et al. Frontiers: Can an artificial intelligence algorithm mitigate racial economic inequality? An analysis in the context of Airbnb[J]. Marketing Science, 2021b, 40(5): 813–820.