大数据:70多个网站让你免费获取大数据存储库

repositories

你是否需要大量的数据来检验你的APP性能?最简单的方法是从网上免费数据存储库下载数据样本。但这种方法最大的缺点是数据很少有独特的内容并且不一定能达到预期的结果。以下是70多家可以获得免费大数据存储库的网站。

Wikipedia:Database :向感兴趣的用户提供所有可用的内容的免费副本。可以得到多种语言的数据。内容连同图片可以下载。

Common crawl 建立并维护一个所有人都可以访问的开放的网络。这个数据保存在亚马逊s3bucket中,请求者可能花费一些钱来访问它。

Common crawl :建立并维护一个开放的网络,向所有人开放。

EDRM File Formats Data Set:由381个文件夹200种文件格式组成。

Apache Mahout  TLP项目创建一个可扩展的机器学习算法。Mahout有许多免费的和付费的语料库语料。

EDRM Enron Email Data Set v2由安然公司邮件信息和附件组成,存在两组可下载的压缩文件中:XML和PST。

ClueWeb09用来支持信息检索和相关人类语言技术研究的资料库。它包含了从2009年1月到2月间收集的大约10亿个网页,包含10种语言。资料库被若干TREC会议的追踪检测使用。

DMOZ –最大的、最全面的人工编辑的开放式网站目录。它收集了不同类型的网站链接。Dmoz是互联网搜索引擎的一个主要来源。

theinfo.org –这是一个大数据集网站,在这里学者、设计师、艺术家等可以交流技巧和窍门,一起开发和共享工具,并开始整合他们独有的项目。

Project Gutenberg 提供超过36000免费电子书的下载,可以下载到个人电脑、Kindle, Android, iOS or 或其他便携式设备。

Million song data set:与tracks 和艺术家有关的数据

AWS (Amazon Web Services) Public Data Sets:提供了可以无缝融入AWS(亚马逊网络服务)云应用的公共数据集的集中存储库。

BigML big list of public data sources.

Bioassay data:研究文章“生物测定数据的虚拟筛选”,由Amanda Schierz编写,有21个生物测定数据集(活性/非生理活性成分),可以下载。

Bitly 1.usa.gov data:匿名点击政府链接

Canada Open Data:有许多政府和地理空间的数据集的试点项目

Canada Open Data:许多政府和地理空间数据集的试点项目。

Causality Workbench:数据存储库

Corral Big Data repository:在德克萨斯高级计算中心,提供以数据为中心的技术。

Data Source Handbook:公开数据指南

Datacatalogs.org:来自美国、欧盟、加拿大、CKAN以及其他的公开政府数据

Data.gov.uk:英国的公共可用数据(London datastore也是)

Data.gov/Education:对于教育数据资源的主要指南,包括高价值的数据集、数据可视化、课堂资源、创建自公开数据的应用程序以及其他。

DataMarket:可视化的世界经济、社会、自然和工业,拥有来自联合国,世界银行,欧盟统计局和其他重要数据提供者的一亿时间序列。

Datamob:可以很好利用的公开数据

DataSF.org:可向City & County of San Francisco, CA.购买的数据集信息交流中心

DataFerrett:一个用来访问和使用The Data Web的数据挖掘工具,许多网上美国政务数据集的集合。

EconData:大量经济学的时间序列,由许多美国政府机构编制。

Enron Email Dataset:来自大约150个用户的数据,这些用户大多数是安然公司高级管理人员

Europeana Data:包含2000万文字,图片,视频开放的元数据,以及由欧洲数位图书馆收集的声音,对于欧洲文化遗产内容值得信赖的、全面的资源。

Europeana Data:

FEDSTATS:一个美国统计资料的综合资源以及更多

FIMI repository for frequent itemset mining:工具和数据集

Financial Data Finder at OSU:大型财务数据集目录

GDELT:关于事件、位置和音调的全球数据,被英国卫报形容为“生命、宇宙和一切的大数据历史”

GEO (GEO Gene Expression Omnibus):一个支持MIAME兼容数据提交的基因表达/分子丰度信息库,一个精心策划的网上资源,用于基因表达数据的浏览,查询和检索。

GeoDa Center:地理和空间数据

Google ngrams datasets:来自数Google扫描的百万书籍文本

Grain Market Research:财务数据,包括股票、期货等

Hilary Mason research-quality Big Data sets收集许多文本和图片数据集