视频、音乐、图片放到数据库中，怎么设计表结构？不考虑存储原始数据 希望给个合理的存储结构

tb_id int//主键

tb_name_before varchar//上传时候的名字，便与下载让他名字恢复

tb_name_now str2 varchar//上传的时候重命名的，防与其他文件重名，一般用日期加时间表示

tb_address str3 varchar//服务器路径

tb_date dates varchar//上传日期

tb_type int//文件类型，itb_type=1表示音乐，2表示图片，3表示视频

这样一个表把东西结合起来，操作起来也方便了

（如果你的数据太多了，不建议这么用，放一块太多，影响速度，文件不多的话，这样很爽的）

1. 大数据专业课程有哪些

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

2. hadoop视频教程下载

其实这个课程讲的“微博”项目是《HBase in action》中的例子。其中的源代码都放在 github 上面。

3. 请问哪位有《深入浅出Hadoop实战开发》的视频教程

Hadoop是什么，为什么要学习Hadoop?

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop带有用Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实

亮点一:技术点全面,体系完善

本课程在兼顾Hadoop课程知识体系完善的前提下，把实际开发中应用最多、最深、最实用的技术抽取出来，通过本课程，你将达到技术的新高点，进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作机制；HDFS基本配置管理；MapRece原理； HBase的系统架构；HBase的表结构；HBase如何使用MapRece；MapRece高级编程；split的实现详解；Hive入门；Hive结合MapRece；Hadoop的集群安装等众多知识点。

亮点二:基础+实战=应用,兼顾学与练

课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用，如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS操作、在第二阶段课程结合HBase实现微博项目的各种功能，使学员可以活学活用。在第三阶段:HBase和MapRece结合时下了实现话单查询与统计系统，在第四阶段，Hive实战部分，通过实战数据统计系统，使学员在最短的时间内掌握Hive的高级应用。

亮点三:讲师丰富的电信集团云平台运作经验

讲师robby拥有丰富的电信集团工作经验，目前负责云平台的各方面工作，并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求，绝不纸上谈兵。

更多技术亮点参考课程大纲:（本大纲以章节形式命名要为防止某些章节1章节内容超过1课时)

第1章节:

>Hadoop背景

>HDFS设计目标

>HDFS不适合的场景

>HDFS架构详尽分析

>MapRece的基本原理

第2章节

>Hadoop的版本介绍

>安装单机版Hadoop

>安装Hadoop集群

第3章节

>HDFS命令行基本操作

>Namenode的工作机制

>HDFS基本配置管理

第4章节

>HDFS应用实战：图片服务器(1) - 系统设计

>应用的环境搭建 php + bootstrap + java

>使用Hadoop Java API实现向HDFS写入文件

第5章节

>HDFS应用实战：图片服务器(2)

>使用Hadoop Java API实现读取HDFS中的文件

>使用Hadoop Java API实现获取HDFS目录列表

>使用Hadoop Java API实现删除HDFS中的文件

第6章节

>MapRece的基本原理

>MapRece的运行过程

>搭建MapRece的java开发环境

>使用MapRece的java接口实现WordCount

第7章节

>WordCount运算过程分析

>MapRece的biner

>使用MapRece实现数据去重

>使用MapRece实现数据排序

>使用MapRece实现数据平均成绩计算

第8章节

>HBase详细介绍

>HBase的系统架构

>HBase的表结构，RowKey，列族和时间戳

>HBase中的Master，Region以及Region Server

第9章节

>使用HBase实现微博应用（1）

>用户注册，登陆和注销的设计

>搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API

>HBase和用户相关的表结构设计

>用户注册的实现

第10章节

>使用HBase实现微博应用（2）

>使用session实现用户登录和注销

>“关注"功能的设计

>“关注"功能的表结构设计

>“关注"功能的实现

第11章节

>使用HBase实现微博应用（3）

>“发微博"功能的设计

>“发微博"功能的表结构设计

>“发微博"功能的实现

>展现整个应用的运行

第12章节

>HBase与MapRece介绍

>HBase如何使用MapRece

第13章节

>HBase应用实战：话单查询与统计（1）

>应用的整体设计

>开发环境搭建

>表结构设计

第14章节

>HBase应用实战：话单查询与统计（2）

>话单入库单设计与实现

>话单查询的设计与实现

第15章节

>HBase应用实战：话单查询与统计（3）

>统计功能设计

>统计功能实现

第16章节

>深入MapRece（1）

>split的实现详解

>自定义输入的实现

>实例讲解

第17章节

>深入MapRece（2）

>Rece的partition

>实例讲解

第18章节

>Hive入门

>安装Hive

>使用Hive向HDFS存入结构化数据

>Hive的基本使用

第19章节

>使用MySql作为Hive的元数据库

>Hive结合MapRece

第20章节

>Hive应用实战:数据统计（1）

>应用设计，表结构设计

第21章节

>Hive应用实战：数据统计（2）

>数据录入与统计的实现

4. 哪个课程题库有hadoop的题

这是在一个平衡Hadoop集群中，为数据节点/任务追踪器提供的规格：

在一个磁盘阵列中要有12到24个1~4TB硬盘

2个频率为2~2.5GHz的四核、六核或八核CPU

64~512GB的内存

有保障的千兆或万兆以太网（存储密度越大，需要的网络吞吐量越高）

名字节点角色负责协调集群上的数据存储，作业追踪器协调数据处理（备用的名字节点不应与集群中的名字节点共存，并且运行在与之相同的硬件环境上。）。Cloudera客户购买在RAID1或10配置上有足够功率和级磁盘数的商用机器来运行名字节点和作业追踪器。

NameNode也会直接需要与群集中的数据块的数量成比列的RAM。一个好的但不精确的规则是对于存储在分布式文件系统里面的每一个1百万的数据块，分配1GB的NameNode内存。于在一个群集里面的100个DataNodes而言，NameNode上的64GB的RAM提供了足够的空间来保证群集的增长。我们也把HA同时配置在NameNode和JobTracker上，

这里就是为NameNode／JobTracker／Standby NameNode节点群的技术细节。驱动器的数量或多或少，将取决于冗余数量的需要。

4–6 1TB 硬盘驱动器 采用 一个 JBOD 配置 (1个用于OS, 2个用于文件系统映像[RAID 1], 1个用于Apache ZooKeeper, 1个用于Journal节点)

2 4-/16-/8-核心 CPUs, 至少运行于 2-2.5GHz

64-128GB 随机存储器

Bonded Gigabit 以太网卡 or 10Gigabit 以太网卡

记住, 在思想上，Hadoop 体系设计为用于一种并行环境。

5. 大数据的课程都有哪些

大数据本身属于交叉学科，涵盖计算机、统计学、数学三个学科的专业知识。所以大数据的课程内容，基本上也是围绕着三个学科展开的。

数理统计方面：数学分析、统计学习、高等代数、离散数学、概率与统计等课程是基本配置。

计算机专业课程：数据结构、数据科学、程序设计、算法分析与设计、数据计算智能、数据库系统、计算机系统基础、并行体系结构与编程、非结构化大数据分析等，也是必备课程。

而想要真正找到工作的话，大数据主流技术框架，也要去补充起来，这才是找工作当中能够获得竞争力的加分项。

6. hadoop 集群教程

要教程？不明白你这个啥意思

7. 有哪些好的hadoop学习资料

1."Hadoop.Operations.pdf.zip"//vdisk.weibo/s/vDOQs6xMAQH62

2."Hadoop权威指南(中文版)(带书签).pdf"Hadoop权威指南(中文版)(带书签).pdf

3."[Hadoop权威指南(第2版)].pdf"[Hadoop权威指南(第2版)].pdf

4."hadoop权威指南第3版2012.rar"hadoop权威指南第3版2012.rar

5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf"《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf

6."Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf"Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf

7."Hadoop实战.pdf"Hadoop实战.pdf

8."Hadoop实战-陆嘉恒(高清完整版).pdf"Hadoop实战-陆嘉恒(高清完整版).pdf

9."Hadoop实战(第2版).pdf"Hadoop实战(第2版).pdf

10."HadoopinAction.pdf"Hadoop in Action.pdf

11"Hadoop in practice.pdf"Hadoop in practice.pdf

12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf

13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14."hadoop入门实战手册.pdf"hadoop入门实战手册.pdf

15."Hadoop入门手册.chm"Hadoop入门手册.chm

16."windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc"windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc

17"在Windows上安装Hadoop教程.pdf"在Windows上安装Hadoop教程.pdf

18."Hadoop源代码分析(完整版).pdf"Hadoop源代码分析(完整版).pdf

19."hadoop-api.CHM"hadoop-api.CHM

20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx

21."但彬-Hadoop平台的大数据整合.pdf"但彬-Hadoop平台的大数据整合.pdf

22."QCon2013-罗李-Hadoop在阿里.pdf"QCon2013-罗李

23."网络hadoop计算技术发展.pdf"网络hadoop计算技术发展.pdf

24."QCon-吴威-基于Hadoop的海量数据平台.pdf"QCon-吴威-基于Hadoop的海量数据平台.pdf

25."8步安装好你的hadoop.docx"8步安装好你的hadoop.docx

26."hadoop运维经验分享.ppsx"hadoop运维经验分享.ppsx

27."PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar"PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar

28."Hadoop2.0基本架构和发展趋势.pdf"Hadoop 2.0基本架构和发展趋势.pdf

29."Hadoop与大数据技术大会PPT资料.rar"Hadoop与大数据技术大会PPT资料.rar

30."Hadoop2011云计算大会.rar"Hadoop2011云计算大会.rar

各样的问题，其中

关于如何上传文件到服务器恐怕是遇见最多的问题了，尤其是上传图片，比如你想要在自己的社区里面实现类似网易虚拟社区提供的“每日一星”的功能，就要提供给网友上传照片的功能。上传图片文件到服务器可以使用各种免费的文件上传组件，使用起来功能虽然很强大，但是由于很多情况下，我们只能使用免费的支持ASP的空间或者租用别人的虚拟空间，对于第一种情况，我们根本就没有可能来使用文件上传组件；至于第二种情况，我们也要付出不少的“银子”才可以。除非你拥有自己的虚拟主机，你就可以随便的在服务器上面安装自己所需要的组件，这种情况对于大多数人来说是可望而不可及的。那我们就没有办法了吗？呵呵，答案是肯定的（当然是肯定的了，要不然我也没法写出这篇文章啊）。下面就让我们一起来使用纯ASP代码来实现图片的上传以及保存到数据库的功能（顺便也实现显示数据库中的图片到网页上的功能）。

首先我们先来熟悉一下将要使用的对象方法。我们用来获取上一个页面传递过来的数据一般是使用Request对象。同样的，我们也可以使用Request对象来获取上传上来的文件数据，使用的方法是Request.BinaryRead()。而我们要从数据库中读出来图片的数据显示到网页上面要用到的方法是：

Request.BinaryWrite()。在我们得到了图片的数据，要保存到数据库中的时候，不可以直接使用Insert语句对数据库进行操作，而是要使用ADO的AppendChunk方法，同样的，读出数据库中的图片数据，要使用GetChunk方法。各个方法的具体语法如下：

* Request.BinaryRead语法：

variant = Request.BinaryRead(count)

参数

variant

返回值保存着从客户端读取到数据。

count

指明要从客户端读取的数据量大小，这个值小于或者等于使用方法

Request.TotalBytes得到的数据量。

* Request.BinaryWrite语法：

Request.BinaryWrite data

参数

data

要写入到客户端浏览器中的数据包。

* Request.TotalBytes语法：

variant = Request.TotalBytes

参数

variant

返回从客户端读取到数据量的字节数。

* AppendChunk语法

将数据追加到大型文本、二进制数据 Field 或 Parameter 对?

object.AppendChunk Data

参数

object Field 或 Parameter 对象

Data 变体型，包含追加到对象中的数据。

说明

使用 Field 或 Parameter 对象的 AppendChunk 方法可将长二进制或字符数据填写到对象中。在系统内存有限的情况下，可以使用 AppendChunk 方法对长整型值进行部分而非全部的操作。

* GetChunk语法

返回大型文本或二进制数据 Field 对象的全部或部分内容 。

variable = field.GetChunk( Size )

返回值

返回变体型。

参数

Size 长整型表达式，等于所要检索的字节或字符数。

说明

使用 Field 对象的 GetChunk 方法检索其部分或全部长二进制或字符数据。在系统内存有限的情况下，可使用 GetChunk 方法处理部分而非全部的长整型值。

GetChunk 调用返回的数据将赋给“变量”。如果 Size 大于剩余的数据，则

GetChunk 仅返回剩余的数据而无需用空白填充“变量”。如果字段为空，则

GetChunk 方法返回 Null。

每个后续的 GetChunk 调用将检索从前一次 GetChunk 调用停止处开始的数据。但是，如果从一个字段检索数据然后在当前记录中设置或读取另一个字段的值，ADO 将认为已从第一个字段中检索出数据。如果在第一个字段上再次调用 GetChunk 方法，ADO 将把调用解释为新的 GetChunk 操作并从记录的起始处开始读取。如果其他 Recordset 对象不是首个 Recordset 对象的副本，则访问其中的字段不会破坏 GetChunk 操作。如果 Field 对象的 Attributes 属性中的 adFldLong 位设置为 True，则可以对该字段使用 GetChunk 方法。如果在 Field 对象上使用 Getchunk 方法时没有当前记录，将产生错误 3021（无当前记录）。接下来，我们就要来设计我们的数据库了，作为测试我们的数据库结构如下（Access97）：

字段名称类型描述

id自动编号 主键值

img OLE对象 用来保存图片数据

对于在MS SQL Server7中，对应的结构如下：

字段名称类型描述

id int(Identity) 主键值

img image 用来保存图片数据

现在开始正式编写我们的纯ASP代码上传部分了，首先，我们有一个提供给用户的上传界面，可以让用户选择要上传的图片。代码如下

（upload.htm）：

<html>

<body>

<center>

<form name="mainForm" enctype="multipart/form-data"

action="process.asp" method=post>

<input type=file name=mefile><br>

<input type=submit name=ok value="OK">

</form>

<center>

</body>

</html>

注意代码中黑色斜体的部分，一定要在Form中有这个属性，否则，将无法得到上传上来的数据。

接下来，我们要在process.asp中对从浏览器中获取的数据进行必要的处理，因为我们在process.asp中获取到的数据不仅仅包含了我们想要的上传上来的图片的数据，也包含了其他的无用的信息，我们需要剔除冗余数据，并将处理过的图片数据保存到数据库中，这里我们以Access97为例。具体代码如下（process.asp）：

<%

response.buffer=true

formsize=request.totalbytes

formdata=request.binaryread(formsize)

bncrlf=chrB(13) &chrB(10)

divider=leftB(formdata,clng(instrb(formdata,bncrlf))-1)

datastart=instrb(formdata,bncrlf &bncrlf)+4

dataend=instrb(datastart+1,formdata,divider)-datastart

mydata=midb(formdata,datastart,dataend)

set connGraph=server.CreateObject("ADODB.connection")

connGraph.ConnectionString="driver=DBQ=" &

server.MapPath("images.mdb") &"uid=PWD="

connGraph.Open

set rec=server.createobject("ADODB.recordset")

rec.Open "SELECT * FROM [images] where id is null",connGraph,1,3

rec.addnew

rec("img").appendchunk mydata

rec.update

rec.close

set rec=nothing

set connGraph=nothing

%>

好了，这下我们就把上传来的图片保存到了名为images.mdb的数据库中了，剩下的工作就是要将数据库中的图片数据显示到网页上面了。一般在HTML中，显示图片都是使用<IMG>标签，也就是<IMG SRC="图片路径">，但是我们的图片是保存到了数据库中，“图片路径”是什么呢？呵呵，其实这个SRC属性除了指定路径外，也可以这样使用哦：

<IMG SRC="showimg.asp?id=xxx">

所以，我们所要做的就是在showimg.asp中从数据库中读出来符合条件的数据，并返回到SRC属性中就可以了，具体代码如下（showimg.asp）：

<%

set connGraph=server.CreateObject("ADODB.connection")

connGraph.ConnectionString="driver=DBQ=" &

server.MapPath("images.mdb") &"uid=PWD="

connGraph.Open

set rec=server.createobject("ADODB.recordset")

strsql="select img from images where id=" &trim(request("id"))

rec.open strsql,connGraph,1,1

Response.ContentType = "image/*"

Response.BinaryWrite rec("img").getChunk(7500000)

rec.close

set rec=nothing

set connGraph=nothing

%>

注意在输出到浏览器之前一定要指定Response.ContentType = "image/*"，以便正常显示图片。

最后要注意的地方是，我的process.asp中作的处理没有考虑到第一页(upload.htm)中还有其他数据，比如<INPUT type=tesxt name=userid>等等，如果有这些项目，你的process.asp就要注意处理掉不必要的数据。怎么样，其实上传图片并保存到数据库很简单吧，这样再也不用为自己的空间无法使用各类的上传组件发愁了吧。还等什么？赶快试一试吧。

---