`

Hive用MySQL做元数据保存的数据库时,mySQL设置

 
阅读更多

BODY { FONT-FAMILY:Tahoma; FONT-SIZE:10pt } P { FONT-FAMILY:Tahoma; FONT-SIZE:10pt } DIV { FONT-FAMILY:Tahoma; FONT-SIZE:10pt } TD { FONT-FAMILY:Tahoma; FONT-SIZE:10pt }  安装MySQL:

# tar -zxvf mysql-5.1.37.tar.gz -C /usr/local
#  cd /usr/local/mysql-5.1.37/
# ./configure --prefix=/usr/local/mysql --localstatedir=/usr/local/mysql/data/ --without-debug --with-charset=utf8 --with-extra-charsets=all --enable-assembler --with-pthread --enable-thread-safe-client --with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static --with-big-tables --with-plugins=all
#  make && make install
# cp ./support-files/mysql.server /etc/init.d/mysql
# groupadd mysql
# useradd -g mysql mysql
#  chmod 777 /etc/init.d/mysql
# /usr/local/mysql/bin/mysql_install_db --user=mysql
或cp -R ./win/data/mysql /usr/local/mysql/data/
# chown -R mysql:mysql /usr/local/mysql/data/
# chmod 777 /usr/local/mysql/data/
# vi /etc/my.cnf
[mysqld]
datadir=/usr/local/mysql/data/
socket=/usr/local/mysql/data/mysql.sock
user=mysql
old_passwords=1
default-character-set=latin1
skip-character-set-client-handshake
wait_timeout=864000
interactive-timeout=864000
max_connections=2000
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/usr/local/mysql/data/mysql.sock
#default-character-set=utf8
# service mysql start
# /usr/local/mysql/bin/mysqladmin -u root -p password 'xxxxxx'
# mysql -uroot -p
mysql> SHOW VARIABLES LIKE '%character%';  (除了system为utf8,其他最好为latin1,否则可能出现异常 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes 
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | latin1                     |
| character_set_connection | latin1                     |
| character_set_database   |
  latin1                       |
| character_set_filesystem | binary                     |
| character_set_results    | latin1                     |
| character_set_server     | latin1                     |
| character_set_system     |
  utf8                         |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)
mysql> show engines; (最好有InnoDB模式支持)
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine     | Support | Comment                                                        | Transactions | XA   | Savepoints |
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
| ndbcluster | NO      | Clustered, fault-tolerant tables                               | NULL         | NULL | NULL       |
| MRG_MYISAM | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |
| BLACKHOLE  | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |
| CSV        | YES     | CSV storage engine                                             | NO           | NO   | NO         |
| MEMORY     | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |
| FEDERATED  | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |
| ARCHIVE    | YES     | Archive storage engine                                         | NO           | NO   | NO         |
|
  InnoDB     | YES       | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |
| MyISAM     | DEFAULT | Default engine as of MySQL 3.23 with great performance         | NO           | NO   | NO         |
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.00 sec)


分享到:
评论

相关推荐

    数据仓库hive用到的mysql安装包

    mysql安装包,mysql外界数据库作为存储hive元数据的存储介质,它的存在,方便hive用户根据自身的需求对数据进行分析处理。

    使用mysql作为hive的元数据库

    创建hive的元数据库:create database metahive【元数据库名metahive】  5.创建hive用户:create user hive@‘localhost’ identified by ‘hive’【mysql中为hive专用的user名:hive,密码为:hive】  6.赋予...

    Mysql元数据如何生成Hive建表语句注释脚本详解

    本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步...

    mysql-to-hive.ktr

    从数据库(mysql)中读取数据写入HDFS并建hive表;在该转换中,需要配置2个DB链接(Mysql和HiveServer2),配置Hadoop集群(HDFS),配置子服务器(远程执行服务器)。需要实践的元数据文件:mysql-to-hive.ktr

    spark thriftserver(或hive)基于mysql8.x元数据库

    支持mysql8.x,使用utf8mb4编码。

    Hive用户指南(Hive_user_guide)_中文版.pdf

    2、 Hive 将元数据存储在数据库中,如 mysql 、 derby 。 Hive 中的元数据包括表的名字, 表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句...

    分布式数据仓库Hive大全

    1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 ...

    Hive是一个基于Hadoop的数据仓库平台.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    大数据 虚拟机 Linux VM复习题库:题库包括了60题选择题、10题填空题、10题判断题、2题简答题,助你度过期末复习

    (1)、内嵌模式:默认安装 hive,hive 是使用 derby 内存数据库保存 hive 的元数据, 这样是不可以并发调用 hive 的。(1 分) (2)、本地模式:通过网络连接到一个数据库中,是最经常使用到的模式。假设使用本机 mysql ...

    【63课时完整版】大数据实践HIVE详解及实战

    6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本命令的使用 8.Hive中常用的属性配置 9.Hive中常用的交互式命令 10Hive中数据库的管理与使用 11.Hive中表的管理与使用 12.Hive中外部表的使用 第2章:Hive 常用DML...

    hive0.14安装文档及包

    ive环境规划 •Hive安装路径 •/home/test/Desktop/ •Hive数据存放路径 •hdfs •/user/hive/warehouse •Hive元数据 •第三方数据库 •derby mysql

    Hive与HBase的兼容配置,.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    配置hive元数据到Mysql中的全过程记录

    注意:先创建一个metastore数据库,字符集要用latin1 将mysql驱动复制到hive的lib目录里。(这有关上一篇安装MySQL的内容) 解压驱动包 将mysql驱动复制到hive的lib目录里 启动hive(别忘了先启动hdfs和yarn~~)...

    简单的hive demo 后续会加入新内容.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    hive实战笔记. 新零售的从零到应用. 包含所有思路与代码.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    基于Shell脚本,通过简单配置后,可以自动安装Hadoop、Hive、Spark等大数据组件.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    Hive用户指南

    1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 ...

    10-Hive数据仓库

    Hive 运行时,元数据存储在关系型数据库里面 Hive架构 (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。...

    2023OLAP数据库引擎海量数据模拟下选型白皮书.pdf

    每一款数据库详细的测评结果,测评维度分为:维度/引擎、全表scan性能、事实表查询性能、宽表查询性能、TP查询性能、AP计算性能、数据批量同步速率、高并发、数据安全、运维成本、生态影响力、元数据。 1.0背景介绍...

    数据运营系统(源码+文档+数据库).zip

    在数据分析方面,使用flume和kafka传输数据hive构建数据仓库,spark进行数据分析,atlas进行元数据管理,azkaban进行任务调度。在该系统上,用户可以使用该系统查看该app的活跃数、新增数、留存数、终端属性等各方面...

Global site tag (gtag.js) - Google Analytics