编程教程 - 技术改变世界

Solr

Solr Hadoop

我们可以将 Solr 与 Hadoop 一起使用。 Hadoop 通常处理大量数据，并帮助我们从如此庞大的来源中找到所需的信息。 solr 不使用 Hadoop MapReduce 处理数据。相反，它只使用 HDFS 文件系统来存储索引和事务日志文件。

下载和安装 Hadoop

按照以下步骤在您的系统上下载和安装 Hadoop windows系统。

第 1 步: 进入Hadoop的主页。按照链接-www.hadoo.apache.org/重定向到 Hadoop 主页。

第 2 步: 在 Hadoop 主页上，单击左侧菜单窗格上的版本。此选项会将您重定向到 Apache Hadoop Release 页面，该页面包含可下载的 Hadoop 各种版本的源文件和二进制文件的镜像链接，如下图所示。

第 3 步: 现在，从链接列表中选择最新且受支持的 Hadoop 版本，然后单击其二进制链接。它会让您访问提供 Hadoop 二进制文件镜像的网页。

第 4 步: 点击其中一个镜像下载 Hadoop。

在 Linux 中使用命令提示符下载 Hadoop

第 1 步: 启动 Linux 操作系统并打开 Linux 终端，使用超级用户登录。

$ su 
password:

第 2 步: 打开您需要安装 Hadoop 的目录，并使用您之前复制的链接将文件保存在该目录中，如给定代码所示。

# cd /usr/local/Hadoop

# wget http://redrockdigimark.com/apachemirror/hadoop/common/hadoop-

2.6.4/hadoop-2.6.4.tar.gz

第 3 步: 使用以下命令提取下载的文件。

# tar zxvf hadoop-2.6.4.tar.gz

# mkdir hadoop

# mv hadoop-2.6.4/* to hadoop/

# exit

安装 Hadoop

要以伪分布式模式安装 Hadoop，请执行以下步骤:

第 1 步: 设置Hadoop 通过使用以下给定的命令设置 Hadoop 环境变量到 ~/.bashrc 文件。

export HADOOP_HOME = /usr/local/hadoop export HADOOP_MAPRED_HOME = $HADOOP_HOME export HADOOP_COMMON_HOME = $HADOOP_HOME export HADOOP_HDFS_HOME = $HADOOP_HOME export YARN_HOME = $HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR = $HADOOP_HOME/lib/

native

export PATH = $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL = $HADOOP_HOME

第 2 步: 您必须将所有更改应用于当前正在运行的系统。

$ source ~/.bashrc

第 3 步: 配置 Hadoop-我们可以在"$HADOOP_HOME/etc/Hadoop"位置配置所有 Hadoop 配置文件。您必须根据这些配置文件中的 Hadoop 基础架构进行更改。

$ cd $HADOOP_HOME/etc/hadoop

第 4 步: 重置 Hadoop-env.sh 中的 Java 环境变量以使用 Java 开发 Hadoop 程序。可以通过更改 JAVA_HOME 数据和我们计算机中 Java 路径的位置来完成。

export JAVA_HOME = /usr/local/jdk1.7.0_71

以下是我们需要编辑的Hadoop配置文件列表如下:

core-site.xml: 包含文件系统分配内存使用的端口号、Hadoop Instance、存储数据的内存限制、读/写缓冲区大小等信息.以下是打开 core-site.xml 后 , 标签内的属性。

<configuration> 
   <property>     
      <name>fs.default.name</name>     
      <value>hdfs://localhost:9000</value>   
   </property> 
</configuration>

hdfs-site.xml: 它包含诸如复制数据的值、数据节点路径和区域设置文件系统的名称节点路径等信息。它表示您要保存 Hadoop 基础架构的位置。例如:

dfs.

replication

(data replication value) = 1 (In the below-given path /Hadoop/ is the user name. had infra/hdfs/namenode is the directory created by the hdfs system.) namenode path = //home/hadoop/hadinfra/hdfs/nodename (hadoopinfra/hdfs/data node is the directory created by the hdfs file system.) datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开文件并在、标签内添加以下属性。

<configuration> 
   <property>     
      <name>dfs.replication</name>     
      <value>1</value>   
   </property>  
   
   <property>     
      <name>dfs.name.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>   
   </property>  
   
   <property>     
      <name>dfs.data.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>   
   </property> 
</configuration>

mapred-site.xml: 它可用于指定我们正在使用的 MapReduce 框架。 Hadoop 默认包含一个yarn-site.xml 模板。需要在给定命令的帮助下将文件从 mapred-site, xml.template 复制到 mapred-site.xml 文件:

$ cp mapred-site.xml.template mapred-site.xml

以下是您必须在mapred-site.xml 文件中的、标签内添加的属性

<configuration> 
   <property>     
      <name>mapreduce.framework.name</name>     
      <value>yarn</value>   
   </property> 
</configuration>

yarn-site.xml: 要将yarn 配置到Hadoop 中，我们可以使用此文件。打开文件并在此文件的、标记之间添加下面给出的属性。

<configuration> 
   <property>     
      <name>yarn.nodemanager.aux-services</name>     
      <value>mapreduce_shuffle</value>   
   </property> 
</configuration>

验证 Hadoop 安装

按照以下步骤验证 Hadoop 安装。

第 1 步: namenode 可以使用命令"hdfs namenode-format"进行设置，如下所示:

$ cd ~ 
$ hdfs namenode-format

以上命令的结果如下:

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG:   host = localhost/192.168.1.11 
STARTUP_MSG:   args = [-format] STARTUP_MSG:   version = 2.6.4 
... 
... 
10/24/14 21:30:56 INFO common.Storage: Storage directory 
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1 
images with txid >= 0 
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 
************************************************************/

第 2 步: Hadoop dfs 验证可以使用以下命令通过启动 Hadoop 文件系统来完成。

$ start-dfs.sh

输出:

10/24/14 21:37:56 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

第 3 步: 之后，通过启动您的纱线恶魔，使用以下命令验证纱线脚本。

$ start-yarn.sh

输出:

starting yarn daemons 
starting resourcemanager, logging to /home/hadoop/hadoop-2.6.4/logs/yarn-
hadoop-resourcemanager-localhost.out 
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.6.4/logs/yarn-Hadoop-node manager-localhost.out

第 4 步: 现在，我们必须在默认端口号 50070 上访问浏览器上的 Hadoop。使用下面给出的 URL 在浏览器上获取 Hadoop 服务。 http://localhost: 50070/

在 Hadoop 上安装 Solr

以下是帮助您在 Hadoop 上安装 Solr 的步骤。

第 1 步: 打开浏览器并通过单击此链接转到 Apache Solr 的主页 https://lucene.apache.org/solr/

第 2 步: 在下一个网页上，单击下载按钮。您现在被重定向到可以看到 Apache Solr 的各种镜像的页面。

第 3 步: 选择适合您操作系统的镜像之一并单击它。它会将您发送到可以下载二进制文件和另一个 Apache solr 源的网页。

第 4 步: 现在，solr 文件将下载到 Downloads 文件夹中

步骤 5: 在 Hadoop 主目录中创建一个文件夹并将其命名为 Solr，并将提取的文件夹中的所有文件移动到该文件夹中，如下所示:

$ mkdir Solr 
$ cd Downloads 
$ mv Solr-6.2.0 /home/Hadoop/

Hadoop 验证

第一步: 进入 Solr 主目录的 bin 文件夹，使用下面给出的 version 命令验证安装:

$ cd bin/ 
$ ./Solr version 
6.2.0

设置 Hadoop 的 Home 和 Path

第一步: 使用下面给出的命令打开 .bashrc 文件。

[Hadoop@localhost ~]$ source ~/.bashrc

第 2 步: 之后，如下所示设置 Apache Solr 的主目录和路径目录

export SOLR_HOME = /home/Hadoop/Solr  
export PATH = $PATH:/$SOLR_HOME/bin/

第 3 步: 点击开始菜单并打开命令提示符并执行给定的命令。

[Hadoop@localhost Solr]$ source ~/.bashrc

第 4 步: 您现在可以从任何目录执行 Solr 的命令。

下一节：Solr 架构

Solr 教程

Apache Solr 是一个基于 J2EE 的应用程序，它在内部使用 Apache Lucene 库来生成索引并提供用户友好的搜索。 Apache Solr 的架构已经在下面的框图的帮助下进行了描述。Apach ...

Solr 安装

Solr 架构