找回密码

大数据

数据仓库实践杂谈-（五）-ETL

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

数据仓库实践杂谈（六）-数据校验

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

数据仓库实践杂谈-（四）-元数据

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

数据仓库实践杂谈-（三）-整体实现框架

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

数据仓库实践杂谈-（二）-数据分层

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

数据仓库实践杂谈-（一）-概述

[目录] 第一章：概述 第二章：整体数据分层 第三章：整体实现框架 第四章：元数据 第五章：ETL 第六章：数据校验 第七章：数据标准化 第八章：去重 第九章：增量/全量 第十章：拉链处理 第十一章：分布式处理增量 第十二章：列式存储 第十...

pyspark的使用和操作(基础整理)

from https://blog.csdn.net/cymy001/article/details/78483723 Spark提供了一个Python_Shell，即pyspark，从而可以以交互的方式使用Python编写Spark程序。...

SQL for ElasticSearch—Crate.io简介

from http://lxw1234.com/archives/2017/01/828.htm 再次调研这个东西，是为了满足下面的需求： 一张拥有50+字段的表，记录数大概5亿-10亿；需要对每个字段进行模糊搜索，并要求即时响应结果；需要...

采用ubuntu系统来安装tensorflow

from http://www.cnblogs.com/ljy2013/p/5491680.html   最近在学习google新开源的深度学习框架tensorflow。发现安装它的时候，需要依赖python2.7.X;我之前一直...

关于机器学习的领悟与反思

 作者介绍  张志华 北京大学数学学院教授，北京大数据研究院高级研究员。曾在浙江大学和上海交通大学计算机系任教。主要从事机器学习与应用统计等领域的教学与科研工作。 ◆ ◆ ◆ ◆ 近年来，人工智能的强势崛起，特别是去年AlphaGo和韩国九...

大数据时代的 9 大Key-Value存储数据库

from http://www.iteye.com/news/27628 在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已...

15个开源的顶级人工智能工具

from 51cto 人工智能artificial intelligence，AI是科技研究中最热门的方向之一。像 IBM、谷歌、微软、Facebook 和亚马逊等公司都在研发上投入大量的资金、或者收购那些在机器学习、神经网络、自然语言和图...

基于Spark GraphX实现微博二度关系推荐实践

from http://weibo.com/ttarticle/p/show?id=2309404060500571876390 关系计算问题描述 二度关系是指用户与用户通过关注者为桥梁发现到的关注者之间的关系。目前微博通过二度关系实现了潜...

网络爬虫框架Scrapy简介

一、 网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本；它是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。 网络爬虫分类： 通用网络爬虫 通用网...

腾讯亿级排行榜系统实践及挑战

一. 背景 排行榜满足了人的攀比、炫耀心理，几乎每个产品都会涉及。SNG增值产品部的QQ会员、QQ动漫、企鹅电竞、游戏赛事等大量业务都对排行榜有强烈需求，特别是企鹅电竞等业务的发展壮大对我们排行榜系统提出了更多要求和挑战。在过去的一年中，排...

神经网络浅讲：从神经元到深度学习

来自 http://www.cnblogs.com/subconscious/p/5058741.html 　　神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的...