大数据时代，数据在给人类生产生活带来极大便利的同时，也诱发了诸多问题在数据滥用层面，最典型的表现就是价格操纵问题商家利用算法的不透明性和局限性来进行成千上万的人和成千上万的价格动态定价大数据扼杀等等，以不公平的方式赚取巨额利润在数据安全层面，个人信息采集混乱，商家利用用户画像技术深度挖掘个人信息很多移动互联网应用使用隐私条款，霸王条款的默认检查来获取用户信息，甚至擅自抢占用户信息此外，犯罪分子利用信息系统漏洞和黑客技术窃取个人信息，导致个人信息严重泄露泄露的数据在黑市上出售，导致去图书馆频繁的攻击进一步加剧了个人信息泄露的现象，数据黑产已经发展成为成熟的产业链这些数据滥用和数据安全问题将成为影响数据价值释放的因素，踏脚石
1.身份，偏见和从众
大数据时代，互联网上的内容呈现爆发式增长趋势如何从复杂的网络内容中选择自己需要的信息，已经成为很多网民的烦恼起初，搜索引擎的出现缓解了这个问题可是，搜索引擎通常需要用户知道他们想要获得什么样的内容，然后才能搜索目标例如，电影爱好者需要知道自己喜欢什么类型的电影，才能进一步搜索，但问题是，我们往往不太了解自己的喜好这时，数据挖掘算法应运而生相关算法通过用户的历史数据推送符合用户偏好的内容，已广泛应用于微博，豆瓣，今日头条等社交和信息应用数据挖掘算法就像人性，机器接收人类已有的数据进行学习，推理和输出的内容也是按照人类的思维方式进行的，所以输出的内容也有人类的价值观和喜好
自数据挖掘算法人性，那么这个算法很可能在人性上有一些认知上的局限因此，我们有必要从社会心理学的角度来看待人类社会中的认同，偏见，从众等认知局限
认同是指个体相对于地位或成就较高的个体的肯定，从而消除个体在现实生活中无法获得成功或满足时的挫败感和焦虑感认同可以在心理上分享他人的成功，从而带来个人的满足感或增强个人的自信心比如Huweihuwei 东施效颦，都是同一性的例子有时候，认同可能意味着认同一个组织比如，一个从小辍学的人加入了一个学术研究小组，成为了小组的荣誉成员，并不断在小组中炫耀自己的重要性
偏见是对某一个人或群体不公平，不合理的消极态度，是人们脱离客观事实而建立起来的对人和事的消极认识在大多数情况下，偏见是一种基于成员身份对某些社会群体成员的态度，通常是一种不正确的消极或敌对态度例如，人们容易基于性别，肤色，宗教信仰等对其他人或群体产生偏见和歧视
从众是指由于群体的引导和压力，个体的观念和行为在不知不觉或不由自主地与多数人保持一致的社会心理现象正常情况下，多数人的意见往往是对的，服从多数一般没有错，但这会导致缺乏分析和独立思考，会不顾是非服从多数，造成消极盲目的从众心理法国社会心理学家古斯塔夫米多，勒庞的书《乌合之众:大众心理研究》是研究大众心理学的
2.只让你看到你认同的东西
目前该算法有一个明显的特点和局限性，那就是只允许人们看到自己认同的东西以常用的个性化推荐算法为例，个性化推荐算法需要两个基础，一是算法训练数据，二是算法模型设计从算法训练数据来看，往往需要收集很多用户的个人偏好数据比如像电影，手机，新闻从算法模型设计的角度来看，该算法的原理是根据用户的个人偏好数据找到兴趣相似的用户，然后进行推荐以推荐电影为例，通过对比个人喜好数据，可能会发现张三和李四喜欢看同一部电影，两人都不喜欢看同样的其他电影因此可以判断两个用户在电影上的喜好非常相似因此，将张三喜欢但李四没看过的电影推荐给李四，从而实现个性化推荐这个推荐算法是基于用户的协同过滤，如图1所示它在日常生活中使用物以类聚，人以群分不需要判断目标用户的偏好，关键是找到目标用户认同的用户群体，然后在偏好相似的群体中进行推荐活动该算法得到了学术界和企业界的广泛认可，各种改进算法层出不穷
图1协同过滤算法示意图
但是，如果这种个性化推荐继续下去，算法可能会陷入一个怪圈mdashmdash只让你看到你认同的东西比如一个为用户推送信息的App，每天都会推送符合他们喜好或者被他们认可的信息如果用户密切关注体育新闻，App推送的新闻会越来越聚焦体育信息，无形中降低用户对社会民生，国家大事等内容的关注这就是为什么人们有时会打开社交和信息应用，发现他们推送的基本上都是某种内容
从这个意义上说，个性化推荐算法的设计虽然是为了帮助用户发现信息，但也会限制用户的视野和思维，让用户停留在自我认同的圈子里这与人类固有的身份，偏见，从众心理和社会属性有关由于人类认知的固有局限性，根据人类思维创造的算法不可避免地存在局限性
工程师认识，他们为算法的评判增加了多样性指标，新颖性指标和覆盖率指标，即算法的推荐结果不能仅仅集中于某一类内容不过，目前学术界更看重准确性指标，而企业界在利益驱使下缺乏优化多样性指标，新颖性指标和覆盖率指标的动力各项指标的简介如表1所示
表2 个性化推荐算法评价指标简介
有人可能会问，即便如此，这又能对个人和社会产生多大的影响呢这个影响可不小！因为个性化推荐算法并不仅仅在资讯类App中运用，有些以内容创作为主的行业也正在运用这种算法网飞公司创立于1997年，最初主要经营DVD租赁业务1998年3月，公司上线了全球第一家线上DVD租赁商店，拥有925部电影，几乎是当时所有的DVD电影存量1999年，公司推出了按月订阅的模式，迅速在行业里建立起口碑随后，由于DVD机的价格日益便宜，成为普通百姓都能消费得起的产品，其用户量也得到巨幅增长2005年，公司开始提供在线视频流媒体服务，后来又推出了Netflix Prize算法大赛，出资100万美元奖励开发者为他们的优化电影推荐算法2012年底，网飞公司已在全球拥有2940万订阅用户当年，网飞公司开始尝试自制内容，并于2013年推出《纸牌屋》超高的内容质量和一次放出整季内容的发行方式让它瞬间风靡全球如今，网飞公司的市值已超越迪士尼，在全球互联网企业中排名前十位
回顾网飞公司20多年来的快速发展史，个性化推荐起到了举足轻重的作用以《纸牌屋》为例，网飞公司曾经专门记录过观众在观剧时的相关操作，包括在哪个场景暂停，在什么剧情快进及反复看了哪几分钟等，由此判断剧迷们喜欢的演员，喜闻乐见的情节和对剧情走势的期待，并根据这一系列，情报，指导《纸牌屋》后续剧情的拍摄，演员的选取和台词的撰写可以说，《纸牌屋》获得的巨大成功正是基于个性化算法推荐和大数据的应用网飞公司的推荐算法到底有多厉害根据网飞公司产品创新副总裁卡洛斯middot，尤瑞贝middot，戈麦斯和首席产品官尼尔middot，亨特的一份报告，算法能够为网飞公司每年节省10亿美元不过，我们也应该看到一个结果，那就是这种完全投观众所好的算法让人们只看到自己喜好或认同的东西，因而会进一步加剧人们认知中的局限性
3. 公平性缺失愈发严重
伴随着数据挖掘算法的广泛应用，还出现了另一个突出的问题，即算法输出可能具有不公正性，甚至歧视性2018年，IG夺冠的喜讯让互联网沸腾IG战队老板随即在微博抽奖，随机抽取113位用户，给每人发放1万元现金作为奖励可是抽奖结果令人惊奇，获奖名单包含112名女性获奖者和1名男性获奖者，女性获奖者数量是男性的112倍可是，官方数据显示，在本次抽奖中，所有参与用户的男女比率是1: 1.2，性别比并不存在悬殊差异于是，不少网友开始质疑微博的抽奖算法，甚至有用户主动测试抽奖算法，设置获奖人数大于参与人数，发现依然有大量用户无法获奖这些无法获奖的用户很有可能已经被抽奖算法判断为，机器人，，在未来的任何抽奖活动中都可能没有中奖机会，因而引起网友们纷纷测算自己是否为，垃圾用户，，微博算法事件，一时闹得满城风雨
其实，这并非人们第一次质疑算法背后的公正性近几年，众多科技公司的算法都被检测出带有歧视性:在谷歌搜索中，男性会比女性有更多的机会看到高薪招聘消息，微软公司的人工智能聊天机器人Tay出乎意料地被，教，成了一个集性别歧视，种族歧视等于一身的，不良少女，hellip，hellip，这些事件都曾引发人们的广泛关注
为什么大数据算法会出现歧视呢计算机领域有个缩写词语mdash，mdash，GIGO ，大意是，输入的如果是垃圾数据，那么输出的也将会是垃圾数据，在大数据领域也有类似的说法，《自然》杂志曾用BIBO表示数据的质量与算法结果准确程度的强关联性在选择使用什么样的数据时，人们往往容易存在歧视心态，这会直接影响输出的结果例如，在导航系统最快的路线选择中，系统设计者只考虑到关于道路的信息，而不包含公共交通时刻表或自行车路线，从而使没有车辆的人处于不利状况另外，可能在收集数据时就缺乏技术严密性和全面性，存在误报，漏报等现象，也会影响结果的精准性因此，基于数据和算法推断出来的结果会使有些人获得意想不到的优势，而另一些人则处于不公平的劣势mdash，mdash，这是一种人们难以接受的不公平
除了造成不公平性，算法歧视还会不断剥削消费者的个人财富《经济学家》杂志显示，2014年在排名前100的最受欢迎的网站中，超过1300家企业在追踪消费者利用算法技术，企业利润获得大幅增加但是，羊毛出在羊身上，这些利润实际均来自消费者尤其是伴随着算法在自动驾驶，犯罪风险评估，疾病预测等领域中越来越广泛和深入的应用，算法歧视甚至会对个体生命构成潜在的威胁
在国外，算法歧视也备受关注2014年，美国白宫发布的大数据研究报告就提到算法歧视问题，认为算法歧视可能是无意的，也可能是对弱势群体的蓄意剥削2016年，美国白宫专门发布《大数据报告:算法系统，机会和公民权利》，重点考察了在信贷，就业，教育和刑事司法领域存在的算法歧视问题，提醒人们要在立法，技术和伦理方面予以补救对于算法歧视问题，企业界和学术界正在尝试技术和制度层面的解决方案技术层面，例如，微软程序员亚当middot，卡莱与波士顿大学的科学家合作研究一种名为，词向量，的技术，目的是分解算法中存在的性别歧视除了技术层面，制度和规则也至关重要在人类社会中，人们可以通过诉讼，审查等程序来修正许多不公平的行为和事件对于算法而言，类似的规则同样必不可少事后对算法进行审查不是一件容易的事，最好的办法是提前构建相关制度和规则，这应该成为未来社会各界共同努力的方向
