市场研究协会 会员登录 | 入会申请
  人物专访
人物专访
  当前位置:网站首页 > 人物专访 > Data Mining 的第一人
Data Mining 的第一人

        第一套CATI
        谢邦昌:我原先是念生物统计的,其实在台湾最早的统计是生物统计,统计相关研究及应用最早也是在农业生物统计起来的。后来我到台湾的行政院主计处工作两年,这里就类似中国大陆的国家统计局,所以我有政府统计的经验。两年以后我就应聘到台湾辅仁大学,在辅仁大学当系主任,然后开始推动统计,开始做市场调查、民意调查,然后跟企业界及政府部门做一些统计在各个领域的应用。同时我们在1996年发展了的第一套CATI-(FJSCATI) 系统,也帮忙华通人高余先总经理将此用于宝洁的第一个项目。
        第一个CATI实验室
        谢邦昌:98年中国大陆还没有使用CATI,最早我们发展出来的 CATI用在高校与企业 (华通人),同时我在中国人民大学成立的第一个CATI实验室。
        我其实在中国人民大学96年就开始了交流,那时候做学术交流,常来常往,帮他们建立CATI实验室,他们就用CATI实验室接了很多课题,后来很多学生都从事市场调查这方面的工作。华通人也用了很多人民大学的学生,后来因为华通人有了CATI就迅速成长,到现在已经好像有五、六百条线(听说已经有接近1000条线了)。后来我个人就跟中国大陆的各高校及企业交流合作,一切合作大概就是这样动起来的。CATI越来越成熟越来越普及后,我开始完善及改进CATI,所以现在才有了阿西娜CATI(ATHENA-CATI)。我那时候也帮南开大学建立过几条线,但是后来他们并没有发展。我本身并没有经营企业,像高余先总经理与我是老友,我只是帮华通人ACMR做顾问。我专心的一块儿就是跟学术界在Survey及Data Mining 这方面的研究,所以这十多年来我培养了很多学生都在企业界做Survey与Data Mining,现在当了总经理及总监的人还真不少。
        第一个高校的Data  Mining
        谢邦昌:我从96年开始就推动着两岸统计方面的交流,常请学生过去台湾参加学术研讨会也会请统计局及业界同仁去台湾交流,他们戏称我是台湾的海协会代表;我也会带台湾的学生来中国大陆参访。尤其这五年我们开始做Data  Mining。我在中国人民大学及厦门大学成立了全中国第一个高校的Data  Mining Center。在北部是中国人民大学,南部就是厦大,我们之所以成立Data  Mining Center是因为Data  Mining在各个领域的应用越来越广了。
        专心学术界,注重培养学生
        谢邦昌:因为我在台湾行政院主计处待过,所以我认识台湾统计局的一些人,接下来我也邀请了很多中国大陆的国家统计局同仁到台湾互相交流。CMRA第一届的柯惠新老师也是我后来请到台湾作学术交流及参访的名师,柯老师也参观了我建立的CATI中心及软件,在这面我也跟柯老师合作过一些事情(例如奥运的两岸学术调查)。我跟中国大陆学术界的合作比较多,我将许多精力放在学术界这方面,我很注重培养学生,比较不注重在商业的发展。我想企业会有自己的领域但比较不适合我,培养专业人才是我认为最重要的,专业人才越多,则其未来的市场未来发展会越大,所以这可以说是我十几年,接近快二十年的期间,我在两岸所做的一些贡献或者做的一点点事情。
        中国大陆是最好的延伸之地
        谢邦昌:那时我看到大陆改革开放才刚刚开始,我看到未来大陆的发展,但是就缺乏广泛交流。其实我有机会到美国发展及研究,但到美国这些地方,还要经过一个文化融合的过程与经历,倒不如把我的精力很快地应用过来,所以中国大陆是我认为最好的延伸的地方,两岸又是一家亲,96年我就开始建立这个交流管道,那时候还不是很畅通的时候,我就建立这样的学术及专业交流管道。我希望从这个方向能够建立两岸之间各种合作及交流的可能性和开发其未来的合作及发展,这就是我那时候的想法。我本身不是一个关起门来做学问的学者,我是希望我做出来的一些研究成果,这些东西是可以应用的。
        不善于经营企业
        谢邦昌:在公司这方面,比如说工作方面都是扮演顾问的角色,台湾也有像全国意向顾问公司,或者台湾以前有些电视公司的Survey Center 都是我帮忙建立,像TVBS、东森电视台的民意调查中心及市调中心都是我帮忙建立的。而我并没有进去business,因为那并不是我自己的专长,我可能不善于经营企业。
        学界与企业界断裂
        谢邦昌:现在中国大陆比较大的问题就在于学界跟产业界结合不够紧密,在台湾就比较密切。所以我很希望你们到台湾去看一看,然后去了解这之间的欠缺,这之间的合作。在大陆,我发觉好像学术界就是做学术界的东西,企业界就做企业界的东西两者没有交集,结果学术界培养出来的人才及所做的研究不是企业界所要的,这是一个比较大的问题。现在在台湾及中国大陆许多企业界会比较喜欢我培养出来的人才,跟企业界的需求人才很接近,我希望培养出来的人才能为企业界所重用,就像我现在有很多培养的学生毕业马上就可以工作,马上就可以执行一些课题及写一些研究报告,这个是与其他学校比较大的差异,就是学以致用。
        这些都是观念上的问题,企业希望培养的人才及项目,但是学校又觉得这好像层次太低,学校总是认为自己研究比较重要比较实务,但实际上理论与实务的结合实在不容易,就像有些人认为市场调查很容易,调查调查几个问卷,随便写一写报告就好啊。实际上不是那么容易,知易行难,知道很容易,但是做起来这个东西就很难了。学校很多东西是知难行易,正好反过来,这方面还要去突破。在台湾我们就会有产学合作的理论与实务结合的项目与课题,学生在毕业前会有一个研究专题制作,他们可以跟企业界合作,帮助解决企业的某些问题,同时也让同学知道自己所学的东西有实用价值,让企业知道我们培养出来的学生是理论与实务兼备的。
        用Data  Mining整合不同的资源及信息
        谢邦昌:因为市场调查很重要的就是搜集资料,根据整理资料做判断。那这些数据搜集完以后要变成数据库,数据库很多的时候就放在那里没有应用起来,我们把这些数据库的数据再做Data  Mining,然后产生商业智能(BI)的一些东西,把DATA变成越来越有用及重要性加强,再将资源共享,也是也是企业、政府、学术界三方面的资源共享,让数据不只是数据而是产生信息及知识的利器
        Data  Mining运用的领域
        谢邦昌:Data Mining运用的领域很广,只要该产业拥有具分析价值与需求的数据仓储或数据库,皆可利用Mining工具进行有目的的挖掘分析。一般较常见的应用案例多发生在零售业、直效营销界、制造业、财务金融保险、通信业以及医疗服务等。
        于销售资料中发掘顾客的消费习性,并可藉由交易纪录找出顾客偏好的产品组合,其他包括找出流失顾客的特征与推出新产品的时机点等等都是零售业常见的实例;直效营销强调的分众概念与数据库营销方式在导入Data Mining的技术后,使直效营销的发展性更为强大,例如利用Data Mining分析顾客群之消费行为与交易纪录,结合基本数据,并依其对品牌价值等级的高低来区隔顾客,进而达到差异化营销的目的;制造业对Data Mining的需求多运用在质量控管方面,由制造过程中找出影响产品质量最重要的因素,以期提高作业流程的效率。
            近来电话公司、信用卡公司、保险公司以及股票交易商对于诈欺行为的侦测(Fraud Detection)都很有兴趣,这些行业每年因为诈欺行为而造成的损失都非常可观,Data Mining可以从一些信用不良的客户数据中找出相似特征并预测可能的诈欺交易,达到减少损失的目的。财务金融业可以利用 Data Mining来分析市场动向,并预测个别公司的营运以及股价走向。Data Mining的另一个独特的用法是在医疗业,用来预测手术、用药、诊断、或是流程控制的效率。
        Data Mining专业与技术的融合
        谢邦昌:Data  Mining技术很重要,其实你在专业领域中间,你的专业知识,你的专业背景变成一个很重要的支撑,运用好专业知识,专业背景结合你的技术,Data Mining实际应用功能可分为三大类六分项来说明:Classification和Clustering属于分类区隔类;Regression和Time-series属于推算预测类;Association和Sequence则属于序列规则类。Classification是根据一些变量的数值做计算,再依照结果作分类。(计算的结果最后会被分类为几个少数的离散数值,例如将一组数据分为 "可能会响应" 或是 "可能不会响应" 两类)。Classification常被用来处理如前所述之邮寄对象筛选的问题。我们会用一些根据历史经验已经分类好的数据来研究它们的特征,然后再根据这些特征对其他未经分类或是新的数据做预测。这些我们用来寻找特征的已分类数据可能是来自我们的现有的客户数据,或是将一个完整数据库做部份取样,再经由实际的运作来测试;譬如利用一个大型邮寄对象数据库的部份取样来建立一个Classification Model,再利用这个Model来对数据库的其他数据或是新的数据作分类预测。
       Clustering用在将数据分群,其目的在于将群间的差异找出来,同时也将群内成员的相似性找出来。Clustering与Classification不同的是,在分析前并不知道会以何种方式或根据来分类。所以必须要配合专业领域知识来解读这些分群的意义。
       Regression是使用一系列的现有数值来预测一个连续数值的可能值。若将范围扩大亦可利用Logistic Regression来预测类别变量,特别在广泛运用现代分析技术如类神经网络或判定树理论等分析工具,推估预测的模式已不在止于传统线性的局限,在预测的功能上大大增加了选择工具的弹性与应用范围的广度。
       Time-Series Forecasting与Regression功能类似,只是它是用现有的数值来预测未来的数值。两者最大差异在于Time-Series所分析的数值都与时间有关。Time-Series Forecasting的工具可以处理有关时间的一些特性,譬如时间的周期性、阶层性、季节性以及其他的一些特别因素(如过去与未来的关联性)。
       Association是要找出在某一事件或是数据中会同时出现的东西。举例而言,如果A是某一事件的一种选择,则B也出现在该事件中的机率有多少。(例如:如果顾客买了火腿和柳橙汁,那么这个顾客同时也会买牛奶的机率是85%。)
       Sequence Discovery与Association关系很密切,所不同的是Sequence Discovery中事件的相关是以时间因素来做区隔(例如:如果A股票在某一天上涨12%,而且当天股市加权指数下降,则B股票在两天之内上涨的机率是 68%)。
        写书就是水到渠成
        谢邦昌:教书是一个神圣的使命,传承知识,一定得好好教,我五、六年前做了一件事情,教书之后我带着学生作课题做研究,我经常把我教的东西录音、录影起来让学生复习及让其他人可以继续学习。教了一些新的东西及心的同学来学习,他们可以先看我已经有的视频(Webcasting)看完后可以跟我讨论。写书其实也很简单,写书是一个智慧的累计的过程,我不论写数据挖掘,或者CATI及统计的书,都是累计十年或者好几年的经验所集合而成的内容,我的讲义及相关课程及演讲内容,整理完以后,慢慢就可以汇编成书。水到渠成,你有经验就水到渠成,所以我的书就是我的一个一个经验的累积,并不是死的教科书而是活的经验传承。我最近出了一本统计学,看起来好像就跟一般统计学没有两样,但那本书是我十几年来教统计的一些经验。把我历年来教统计的经验汇总写出来将理论与实务充分结合,顺利将此书完成,所以写书就是水到渠成。
        金融危机导致市调转型?
        谢邦昌:金融危机对市场的影响,肯定是有的,就明显就是客户量渐少及市场萎缩,但是长远来讲反而是好现象,所谓好现象是市场调查因此变得越来越重要,假设你不知道市场调查,则市场风险,金融危机导致风险的机率就越来越大,所以企业越来越注重市场调查由市场调查了解市场的风险及变化,而且要准确的市场调查才能反映出市场的现况,所以对市场调查而言此时反而是一个转型的好机会。市场调查以往只是帮人家搜集资料,做出那些百分比分析,你接下来肯定要加入一些商业智能,Data  Mining的模型也就是数据一定要加值并做出深入的分析才会有其价值,要告诉企业委托者他的风险在哪里,他的利润在哪里以及他的整体结构问题在哪里,这样子企业主就会更精确的预测他的市场,他的获利率会更高,风险降低,这才是我们要做的。
        另外一个很重要层次是数据库的数据累积,我们不一定任何分析都要调查,结合以往的累积数据库,说不定就可以做出一些有价值的分析,提供给企业参考,我甚至可以从企业的数据库之间做有效且精确的分析给企业参考,跟以往的市场调查层次又不一样。所以我才讲Data Mining才是我们的重心,以往例如在传统产业上,我们在帮企业搜集资料整理及分析资料,搜集资料给企业,给企业的可能只是简单的百分比,现在可以是转型成加值型的数据加值服务,从企业本身的数据库做起,从外部的数据库结合内部数据库,做出数据分析及Data Mining告诉企业的问题在哪里为企业营运把脉,这方面的价值性及发展前景就越来越高,这才是市场调查的转型方向。
        传统的产业变成现代化的产业
        谢邦昌:真正的企业绝不会因为危机杀鸡取卵或者为了订单走低价等等。因为这些东西是要有一定的价值才能搜集到。我在台湾有一个帮助过的公司:全国意向市场调查公司,他现在每一年都是以20%的增长业绩在做调查研究,在金融海啸过程当中全国意向市场调查公司知道他的蓝海策略在哪里,我后来就建议他们,现在无线网络越来越发达,我们就研发了一台调查车(Lifelab),
       Web3.0市调车是世界首创移动式调查车,受访者在哪、车就开到哪,让资料取得无死角。每车规划3席访问包厢,配合车厢外加机动访谈席位,让多位受访者可在舒适、隐密的环境中同时接受调查,彻底突破定点访问的低效率、低人流量,快速且完整取得大量数据。Lifelab获得「行动台湾应用推广计划 (M Taiwan)」研发奖助此服务模式已申请专利; Lifelab又可以做面访,也可以做电访,民意调查及市场调查。因为这样子散布在全台湾,目前有很多部调查车(Lifelab),一下子就可以搜集到很多DATA。因为他定点的位置摆的好,抽样好的话就可以搜集到很多资料,很多企业一看到,搜集的品质又好所以就大量的委托他们调查搜集市场信息,这就是调查市场的蓝海策略。简单来讲就是结合现在的3G科技,把传统的变成现代的,这就是在金融危机中你怎么把传统的产业变成现代化的产业。
        所以金融危机很重要的是淘汰差的,保留好的,可以分出哪个是好,哪个是坏,反而是一个机会及转机。
        大陆市场调查业的信任危机
        谢邦昌:市场调查很重要的一点是数据的正确性,我觉得与台湾相比,世界对台湾的市调数据怀疑性可能比较低一点,信任性比较高一点,主要原因可能是台湾的国际化比较早也比较深。统计调查这种行业最重要的是信任感,所以中国要在这方面更要努力加强,市场调查业的专业道德,专业的素养要好好的加强。比如客户资料的机密性,资料的正确性,资料的稳定性,资料的运用性这些,都是可以探讨及研究的。我也希望在教育领域多做出贡献,多培育出有专业道德及专业的素养的学生投入市场调查的领域。
        华人的世纪来临--推进两岸互访、交流
        谢邦昌:大陆同仁可以到台湾去看看,全世界很多很多的制度都可以在台湾看得到。台湾同仁到中国大陆来可以看到整个大陆的市场及大陆的未来可以怎么进行合作。台湾是华人人文荟萃的地方也是市场调查研究很好的试点。而中国大陆太大了,一个研究及课题可能山西、山东,河北就不太一样。比如到上海做调查,可能访员就要会上海话,类似的情形很多也很不一样,台湾同仁可以过来看看大陆的市场,两岸这样的互补就变成全世界很大的华人市场,所以这方面的互补各取所需,以后的培训可以互相培训,到台湾培训,双方都可以办这样的培训。
        我们甚至可以设计出一系列市场研究与市场调查的培训教程,所谓的一系列的培训教材是说我们两岸的系列市场研究与市场调查培训教材,这个系列培训教材不论是谁都可以来讲,就是我们要有一定的品质跟水准。PPT、讲义,然后视频弄好了以后,讲师讲完后再实际操作。实际操作可以跟一、两家公司结合,实习就直接到他们那里,我们在台湾就都是这样做。如此两岸市场研究与市场调查就可以密切结合分工合作达到双赢(WIN-WIN)的境界。
        
        后记:
        采访结束的时候,谢教授告诉我:他的特长就是很能抓住趋势与方向,所以在各个领域间的应用及结合都会比较广,很多事情做起来也会更加游刃有余。谢教授的教龄和他投身调查业的时间可算元老级,在他身上你看不到丝毫懈怠,有的却是旺盛的精力和超常活力。谢教授说他很喜欢健身,特别喜欢打棒球,垒球,篮球,有时候还会跟学生唱KTV。谢教授由衷地希望借助CMRA这个平台推动两岸同仁更广、更深入地交流、互访,从而发展中国市场调查业,创造更加辉煌的未来!


采访/撰文:刘向清

原话录音整理:摩瑞市场研究公司


友情链接
中国信息协会    国家统计局    涉外调查许可证办理    中国数据分析师官网    APRC    ESOMAR    GRBN    
 
CMRA微信公众号   CMRA微信号

关于协会 | 会员专区 | 招聘信息 | 联系我们

地址:北京市东城区东四十条21号北京一商集团大厦308室 电话:010-64087451,64087991

Copyright 2015-2025 www.cmra.org.cn All Rights Reserved 技术支持:中才智达

中国信息协会市场研究业分会 版权所有 京ICP备18038404号-4 京ICP备18038404号-5