上一篇 使用PostgreSQL中的row_to_json()直接获得JSON（PG JSON系列1） 主要针对现有的非json/jsonb类型如何输出json结果，这一篇主要写一下在数据库设计中直接使用json/jsonb数据类型（而不是json/jsonb处理函数）带来的问题。我们的问题是： 设定一个典型的JSON/JSONB使用场景，以及演示如何做增删改查 首先来看JSON/JSONB的区别，参考 https://www.postgresql.org/docs/9.6/static/datatype-json.html ： There are two JSON data types: json and jsonb. They accept almost identical sets of values as input. The major practical difference is one of efficiency. The json data type stores an exact copy of the input text, which processing functions must reparse on each execution; whilejsonb data is stored in a decomposed binary format that makes it slightly slower to input due to added conversion overhead, but significantly faster to process, since no reparsing is needed. jsonb also supports indexing, which can be a significant advantage. Because the json type stores an exact copy of the input text, it will preserve semantically-insignificant white space between tokens, as well as the order of keys within JSON objects. Also, if a JSON object within the value contains the same key more than once, all the key/value pairs are kept. (The processing functions consider the last value as the operative one.) By contrast, jsonb does not preserve white space, does not preserve the order of object keys, and does not keep duplicate object keys. If duplicate keys are specified in the input, only the last value is kept. In general, most applications should prefer to store JSON data as jsonb, unless there are quite specialized needs, such as legacy assumptions about ordering of object keys. 最后一句话很明确，基本上使用的时候，都用JSONB。原因可以这么理解 json 存储 是纯粹字符串，jsonb的存储和访问做了解析和优化，等后面我有时间专门写一篇jsonb和json是如何在内核里实现的，以及他们到底有啥区别，此处不做纠结 。 首先用JSONB来存储什么呢，我感觉和多维数组相关的比较合适，用ARRAY类型吧，输出的时候还得做个json转换，麻烦。 在数据库设计的时候， 有时候 为了一小件事情设置个外键关联表有点不值得，感觉有点大材小用，例如下面的演出活动的票价套餐信息(父母帮应该给我广告费，顺便也提一下我们的“两小童”)： 那设计数据库的时候，就有两种方案，一种是常规的做一个关联表（TActivityPricePackage），如下图： 另外一种就是用jsonb来表示票价套餐（pricepackage），这种方法感觉到设计又简洁，还避免获取的时候做JOIN（乖乖，还能减少JAVA程序员工作，是不是也搞好了团队协作了），如下图： 为了简洁的数据库设计的理想而奋斗，下面我们来做个实验： 运行环境：PG 9.6，WIN8.1 64，Tomcat 8.0，JDK 8 数据库表： -- Table: TActivity -- 演出活动表 DROP TABLE IF EXISTS TActivity CASCADE; CREATE TABLE TActivity ( id bigint DEFAULT nextval('jsontest_uuid_seq') PRIMARY KEY,-- 活动id title character varying(128) NOT NULL,-- 活动名称 pricepackage jsonb NOT NULL -- 价格套餐,格式如： )WITH ( OIDS=FALSE ); 测试数据： -- Table: TActivity -- 演出活动表 insert into TActivity values(1,'演出活动标题1',' '); 好，我分别演示如何做增删改查。 1.先说增 第一次Insert的时候 ，除了上面测试数据里面直接字符串的方式： insert into TActivity values(1,'演出活动标题1',' '); 以外，根据（ https://www.postgresql.org/docs/9.6/static/functions-json.html ）还可以有如下方法： json_build_object json_object json_build_array json_build_object和 json_object生成一个名值对的json对象比较方便，而 json_build_array只能生成比较简单的json array，正如官方文档例子里所展示的： json_build_array(1,2,'3',4,5) 综上我们发现 ， 在第一次insert含有数组的时候，直接用字符串吧。 那如果想给jsonb数组增加一条数据怎么办？ 我们可以使用连接操作符||： update tactivity set pricepackage = pricepackage || '{packagename:成人票新增3,price:189,stock:100}' where id = 1 或者新值在前面： update tactivity set pricepackage = '{packagename:成人票新增3,price:189,stock:100}' || pricepackage where id = 1 也可以使用函数 jsonb_insert，如在数组的最后增加一个： update tactivity set pricepackage = jsonb_insert(pricepackage, '{-1}', '{packagename:成人票新增100,price:189,stock:100}', true) where id = 1 其中-1表示从数组后面数第一个，即倒数第一个，true表示在该元素的后面插入。 或在数组的头部插入：update tactivity set pricepackage = jsonb_insert(pricepackage, '{0}', '{packagename:成人票新增00,price:189,stock:100}', false) where id = 1 综上我们发现，给jsonb数组最后面或者最前面增加一条数据时，还是使用操作符 || 使用起来更加自然，不易出错。而如果想在jsonb数组的中间增加一条记录，则使用jsonb_insert()。 2.改 如果我们想修改jsonb中的一个数据怎么办？ 假设我们现在pricepackage中jsonb数组已有两条数据： update tactivity set pricepackage = ' ' where id = 1 我们先看第一种情况，如何修改JSONB数组中的第1条完整的记录呢？ 即我想把：{price:189,packagename: 成人票0 ,stock:100} 替换成：{price:189,packagename: 成人票00 ,stock:100} 如何写呢？ 正常写法应该是： update tactivity set pricepackage = jsonb_set(pricepackage,'{0}','{price:189,packagename:成人票00,stock:100}', false ) where id = 1 但是我发现9.6.0关于jsonb_set()修改数组顶级元素的时候有个bug，参考我的另外一篇博文： 9.6.0版本里jsonb_set()有个bug，截至到2016.10.12 这里的false得替换成true才行，即： update tactivity set pricepackage = jsonb_set(pricepackage,'{0}','{price:189,packagename:成人票00,stock:100}', true ) where id = 1 而在9.5.4里却是正常的，即直接使用 false 即可。 我们再看第二种情况，如何修改JSONB数组中的第1条记录中的某个值呢？ 如，我想把：{price:189,packagename: 成人票0 ,stock:100} 替换成：{price:189,packagename: 成人票000 ,stock:100} 如何写呢？ 正常写法应该是： update tactivity set pricepackage = jsonb_set(pricepackage,'{0,packagename}',' 成人票000 ',false) where id = 1 这回PG 9.6.0跑对了。 我们再看第三种情况，如果我不知道是数组中的哪一条记录呢？即我想通过一个查找定位到该记录呢，其实这个问题是json的查找定位问题，我们放在JSON的查询那一部分讲。 3.删 官方文档里关于JSONB的删除只有操作符： - text Delete key/value pair or string element from left operand. Key/value pairs are matched based on their key value. '{a: b}'::jsonb - 'a' - integer Delete the array element with specified index (Negative integers count from the end). Throws an error if top level container is not an array. ' '::jsonb - 1 #- text '::jsonb #- '{1,b}' 这里针对第2，3种情况做个演示： update tactivity set pricepackage = pricepackage - 0 where id = 1 以及： update tactivity set pricepackage = pricepackage #- '{0,stock}' where id = 1 4.查 JSON查找访问方面的操作，我们从字符串匹配/数值比较/ 这两类比较典型的来演示。 假设数据库表TActivity有如下记录： delete from tactivity; insert into TActivity values(1,'演出活动标题1',' '); insert into TActivity values(2,'演出活动标题2',' '); 关于字符串匹配，我们演示的问题是： 找出符合条件“ packagename = 儿童票（3-5岁） ”的那些活动？ 那SQL语句为: select * from TActivity a where a.pricepackage @ ' '::jsonb; 这里的 @ ' '::jsonb，注意必须是' , http://francs3.blog.163.com/blog/static/4057672720157153719971/, francs,PostgreSQL9.5：JSONB 数据类型: 支持元素修改，新增，删除 码字码了半天，手指头都麻了，如果觉得对您还有用的话，赞助一下辛苦费吧：
本文转发自：http://linuxhow-tos.blogspot.com/2010/10/postgresql-90-replication-step-by-step_14.html由于国内用户无法访问blogspot，由于这篇技术博文还不错，故转发。 Postgresql 9.0 Replication - Step by Step Postgresql 9.0 Streaming Replication - Big Competition Now Postgresql 9.0 has come with in-built replication features. NOW A BIG COMPETITOR FOR MYSQL This method for those who wants to satisfy them by implementing Asynchronous mode of replication Who wants Synchronous method, and then have to wait for 9.1 to come in existence. I tried to build a Postgresql Master-Slave replication system with new feature “Streaming Replication (SR)”, and this I have to say, this is very easy and stable method for asynchronous method for replication While building the SR, I felt, this type of SR is like Mysql Master-slave replication, Slaves are getting updates from master from log files (binlog in cas e of mysql and xlog in postgres) The above statement can be taken as rough idea when comparing Mysql and Postgresql replication method Steps Included: 1. Download and build, install Postgresql from source. 2. Initialize database on master 3. Some tweaks in postgresql.conf (On Master) 4. Start backup mode on master 5. Take snapshot of Data (/usr/local/postgres/data) directory on master 6. Sync snapshot to slave and remove postmaster.pid on slave 7. Some tweaks in postgresql.conf and recovery.conf (On Slaves) 8. At end start the Database on Master and slave So here are the steps: Download the Database: (On Master) # wget http://wwwmaster.postgresql.org/redir/198/h/source/v9.0.0/postgresql-9.0.0.tar.bz2 # tar xzf postgresql-9.0.0.tar.bz2 If you have fresh CentOS/other linux version, then maybe you have to download and install required packages… In my case I am Using CentOS 5.3 64 Bit Run the below command as “ROOT” # yum install -y glibc gcc libtermcap-devel readline-devel zlib-devel # useradd postgres # chown –R postgres:postgres postgresql-9.0.0 # su – postgres # cd postgresql-9.0.0 (extracted directory) Run the following command to compile and install Postgresql # ./configure –prefix=/usr/local/postgres –with-perl # gmake # su – # gmake install # chown -R postgres:postgres /usr/local/postgres # mkdir /usr/local/postgres/data # chown postgres /usr/local/postgres/data # su - postgres # /usr/local/postgres/bin/initdb -D /usr/local/postgres/data After the initializing the data directory, we have to tweak--- “/usr/local/postgres/data/postgresql.conf“ file I am showing you required things only listen_addresses = '*' max_connections = 500 shared_buffers = 32MB wal_level = hot_standby archive_mode = on archive_command = 'cp %p /usr/local/postgres/data/pg_xlogarch/%f' max_wal_senders = 1 ####( this setting for 1 slave can connect with Master) wal_keep_segments = 32 datestyle = 'iso, mdy' lc_messages = 'en_US.UTF-8' lc_monetary = 'en_US.UTF-8' lc_numeric = 'en_US.UTF-8' lc_time = 'en_US.UTF-8' default_text_search_config = 'pg_catalog.english' # mkdir /usr/local/postgres/data/pg_xlogarch/ # su – postgres # cd /usr/local/postgres/ # vi data/pg_hba.conf (add the below line) host replication all 172.32.1.2/32 trust Now start the Database Instance on Master: As user postgres # /usr/local/postgres/bin/pg_ctl -D /usr/local/postgres/data -l logfile start After starting the database Instance, start the backup mode on DB Master # cd/usr/local/postgres/bin/ # ./psql –c SELECT pg_start_backup('initial backup for SR') database-name database-name = database name for which you want replication # cd /usr/local/postgres/ # tar -czf data.tar.gz data/ Exit from Backup mode # /usr/local/postgres/bin/psql –c SELECT pg_stop_backup() database-name # rsync –avz data.tar.gz postgres@172.32.1.2:/usr/local/postgrsql/ (run this command after the slave’s Postgresql installation) On SLAVE: Same as master download and install Postgresql on slave Just do not initialize the database: As user Postgres # cd /usr/local/postgrsql # tar xzf data.tar.gz # chown –R postgres:postgres /usr/local/postgres/data/pg_xlogarch # cd data # rm –rf postmaster.pid # vi /usr/local/postgrsql/data/Postgresql.conf In short: listen_addresses = '*' # what IP address(es) to listen on; max_connections = 500 # (change requires restart) shared_buffers = 32MB # min 128kB hot_standby = on datestyle = 'iso, mdy' lc_messages = 'en_US.UTF-8' # locale for system error message lc_monetary = 'en_US.UTF-8' # locale for monetary formatting lc_numeric = 'en_US.UTF-8' # locale for number formatting lc_time = 'en_US.UTF-8' # locale for time formatting default_text_search_config = 'pg_catalog.english' Now create a “ recovery.conf ” under /usr/local/postgres/data/ and put the below lines: (In Slave) standby_mode = 'on' primary_conninfo = 'host=172.32.1.1 port=5432 user=readonly' ### restore_command = 'cp /usr/local/postgres/data/ pg_xlogarch /%f %p' ---- This is wrong entry Use this one: restore_command = 'cp /usr/local/postgres/data/ pg_xlog /%f %p' That's it you are done with configurations: Now Start the database instance on slave machine # /usr/local/postgres/bin/pg_ctl -D /usr/local/postgres/data -l logfile start If all goes well, the on master, you will see like this on Master: LOG: replication connection authorized: user=readonly host=172.32.1.2 port=55811 And on slave’s log file (logfile) LOG: streaming replication successfully connected to primary If fails, check logfile and send error, if you don't able to resolve. New Addition: If you want to check, which pgsql server is Master or Slave, then run this command: # /usr/local/postgres/bin/pg_controldata /usr/local/postgres/data/ (running on Master) pg_control version number: 903 Catalog version number: 201008051 Database system identifier: 5572911747953590263 Database cluster state: in production (This shows, it is master server) pg_control last modified: Fri 06 May 2011 05:09:20 PM IST Latest checkpoint location: 2/97482E60 ............ On Slave: Same Line will show as: Database cluster state: in archive recovery 加我私人微信，交流技术。
本教程是PostgreSQL Cluster系列教程的一部分，该系列包括： PostgreSQL9.1 PITR示例 （该教程主要阐述DBA如何基于WAL日志做备份恢复） PostgreSQL9.1 Warm-Standby ---之基于拷贝WAL文件的方法 (file-based log shipping) P ostgreSQL9.1 Warm-Standby ---之基于流复制的方法 (streaming replication) PostgreSQL9.1 Warm-Standby ---之基于同步复制的方法 (Synchronous Replication) PostgreSQL9.1 Hot-Standby ---之基于拷贝WAL文件的方法 PostgreSQL9.1 Hot-Standby ---之基于流复制的方法 PostgreSQL9.1 Hot-Standby ---之基于同步复制的方法 PG9.1+pgpool-II3.1--之HA (Hot-Standby+Streaming Replication) PG9.1+pgpool-II3.1--之Load Balancing (when meeting large amounts of requests) PG9.1+pgpool-II3.1--之Parallel Query (when meeting large amounts of data) PostgreSQL9.1 HA --- 之Slony 好了，有了第一个教程，我们终于等来了高可用性（High Availability，HA）的介绍。 说到HA，我们不得不提提Fault Tolerance，为什么这么说呢，这是因为Availablity肯定是和Unavailability对应，那为什么会有Unavailability呢，那是因为有许多Fault，包括硬件的和软件的，所以我们得先从Fault Tolerance说起。 先来看看Fault Tolerance概念，按照传统，看看WIKI上的 定义 ： Fault-tolerance or graceful degradation is the property that enables a system (often computer -based) to continue operating properly in the event of the failure of (or one or more faults within) some of its components. 哦，简单来说，就是系统有了failure了，还能继续运行。 搞学术的人总想从历史的角度来寻找Fault Tolerance的出处，我们再看看1978年BRIAN RANDELL在其论文“ System Structure for Software Fault Tolerance ”中的解释： The concept of “fault-tolerant computing” has existed for a long time. The first book on the subject （ W. H. Pierce, Failure-Tolerant Computer Design. New York: Academic, 1965，此处我给补充 ）was published no less than ten years ago, but the notion of fault tolerance has remained almost exclusively the preserve of the hardware designer. Hardware structures have been developed which can “tolerate” faults, i.e., continue to provide the required facilities despite occasional failures, either transient or permanent, of internal components and modules. 所以我们从上面来看，Fault Tolerance的理念至少在计算机出现的早期（1965年之前）就有了，在硬件设计时是必须考虑的。咱们不扯多了（有兴趣的朋友，可以多写写），接下来的问题是HA和Fault Tolerance又是什么关系？我们再来看看YENNUN HUANG， CHANDRA KINTALA在1995年的论文 Software Fault Tolerance in the Application Layer 中所写的一段描述： From a user’s point of view, fault tolerance has two dimensions: availability and data consistency of the application. For example, users of telephone switching systems demand continuous availability whereas bank teller machine customers demand the highest degree of data consistency. Safety critical real-time systems such as nuclear power reactors and flight control systems need highest levels in both availability and data consistency. Most other applications have lower degrees of requirements for fault-tolerance in both dimensions; see Figure 10.1（这里我把这个图截下来，供大家看看） 。 上面的话的意思是从用户的角度来看， fault tolerance有两个方面，一个是可用性（availability），一个是数据一致性（data consistency）。有些应用可能注重高的数据一致性，例如银行柜台机（ bank teller machine），有些应用可能注重高的可用性，如电话交换系统（telephone switching system），有的二者都要求高，如核电厂和飞行控制系统（nuclear power reactors ， flight control system）。 怎么样，HA和 fault tolerance的关系明白了吧。下面列出一些参考资料，有兴趣的朋友可以继续深入下去。 Tandem Computers wiki: High Availability Oracle Database High Availability James A. Katzman， Tandem 16: A Fault-Tolerant Computing System BRIAN RANDELL， System Structure for Software Fault Tolerance Jim Grey, High-Availability Computer Systems Flavin Cristian, Understanding fault-tolerant distributed systems Mary Baker, Mark Sullivan, The Recovery Box: Using Fast Recovery to Provide High Availability in the UNIX Environment FAULT-TOLERANT COMPUTING Hui-I Hsiao，A Performance Study of Three High Availability Data Replication Strategies http://h20223.www2.hp.com/nonstopcomputing/cache/76385-0-0-0-121.html 好了，我们大体明白了什么是HA之后，那如果我们做HA的话需要做什么呢？根据Jim Grey的 High-Availability Computer Systems 中描述的： High availability requires systems designed to tolerate faults to detect a fault, report it, mask it, and then continue service while the faulty component is repaired off line. 这就要求我们需要探测一个故障（fault），报告，屏蔽并在离线修复该故障时继续提供有效的服务。 关于fault，我们多说两句，那到底有什么故障呢，哪些故障最容易出现，根据 Mary Baker, Mark Sullivan, The Recovery Box: Using Fast Recovery to Provide High Availability in the UNIX Environment ，提到的一张表，如下： 其中谈到In 1990, software errors accounted for 62% of Tandem system failures, while only 7% were caused by hardware. 即软件错误在1990年的Tandem系统中占了62%（有谁能给我一个现在fault发生率的报告？多谢）。虽然我们这里不去过多的探讨硬件具有Fault Tolerance的计算机，但是还是列出一些，如1950–1954 年建的SAPO恐怕是第一台具有Fault Tolerance的计算机，以及让Fault Tolerance深入人心的Tandem Computer（参阅 FAULT-TOLERANT COMPUTING ，第3页）。 为了简化本文，关于HA的基础就到此为止，下面看看如何使用warm-standby（基于拷贝WAL文件的方法）来实施HA。首先我们来看看warm-standby的含义，根据http://www.postgresql.org/docs/9.1/interactive/high-availability.html，其中的一段话： Servers that can modify data are called read/write, master or primary servers. Servers that track changes in the master are called standby or slave servers. A standby server that cannot be connected to until it is promoted to a master server is called a warm standby server, and one that can accept connections and serves read-only queries is called a hot standby server. 从中我们知道，warm-standby在系统出现fault的时候，可以提升为master，即可以接受客户端的connect连接，并提供数据库的读写，角色如同一个master一样。而根据 25.5 的说明（如下），hot-standby则在为archive recovery 或 standby mode时，只能接受可读的query。 Hot Standby is the term used to describe the ability to connect to the server and run read-only queries while the server is in archive recovery or standby mode. This is useful both for replication purposes and for restoring a backup to a desired state with great precision （这一句什么意思？）. 尽管，网上还有一些关于cold/warm/hot server的定义，如 这 和 这儿 ，为保持本文的简易性，此处不再详细分析这些概念上的区别（感兴趣的朋友可以继续深入研究）。 好，那接下来我们看看warm-standby的原理，下面几张图截自 Getting ready for PostgreSQL 9.1 ，第28，29和30页： 正常运行时： Failover时： Switchover时: 之所以列出这三张图，就是想分析分析，我们需要PostgreSQL配置哪些内容，以支持这三项（ 正常运行/Failover/Switchover ）。首先我们对环境说明一下： /home/postgres/db/master/pgsql 目录是master数据库的目录，端口为5432 /home/postgres/db/standby/pgsql 目录是一台standy数据库的目录，端口为6432 /home/postgres/archive 是master-standby的WAL日志中转地点 /home/postgres/ archive_failover / 是Switchover阶段standby-master的WAL日志中转地点 /home/postgres/base 是master-standby的基础备份库的目录 /home/postgres/trigger 使用pg_standby的trigger文件存放处 关于上面的第1点，我们在教程一（ PostgreSQL9.1 PITR示例 ）里已经说过如何安装了（但是这里有一点不同的是我们将使用PostgreSQL的扩展模块 pg_standby，所以编译和安装时稍微不同，请参考:15.4. Installation Procedure ），并生成了100万条数据，即执行了： $ cd /home/postgres/develop/ $ rm -fr postgresql-9.1.2 $ tar zxf postgresql-9.1.2.tar.gz $ cd postgresql-9.1.2 $ ./configure --prefix=/home/postgres/db/master/pgsql --with-includes=/usr/local/readline/include --with-libraries=/usr/local/readline/lib $ make world $ make install-world $ /home/postgres/db/master/pgsql/bin/initdb -D /home/postgres/db/master/pgsql/data $ /home/postgres/db/master/pgsql/bin/postmaster -D /home/postgres/db/master/pgsql/data $ /home/postgres/db/master/pgsql/bin/createdb mydb $ /home/postgres/db/master/pgsql/bin/psql mydb mydb=# create table foo(id bigint); mydb=# insert into foo select * from generate_series(1,1000000); 关于第2点，类似于第1点，只是端口（我们把默认的端口5432改为6432，以和master区别开来）不同，这里简要列一个安装步骤： $ cd /home/postgres/develop/ $ rm -fr postgresql-9.1.2 $ tar zxf postgresql-9.1.2.tar.gz $ cd postgresql-9.1.2 $ ./configure --prefix=/home/postgres/db/standby/pgsql --with-includes=/usr/local/readline/include --with-libraries=/usr/local/readline/lib --with-pgport=6432 $ make world $ make install-world $ /home/postgres/db/standby/pgsql/bin/initdb -D /home/postgres/db/standby/pgsql/data 然后修改postgresql.conf：port = 6432，保存。 $ /home/postgres/db/standby/pgsql/bin/postmaster -D /home/postgres/db/standby/pgsql/data $ /home/postgres/db/standby/pgsql/bin/createdb mydb --port=6432 好，最后查看一下是否安装成功： $ /home/postgres/db/standby/pgsql/bin/psql mydb --port=6432 （A）接下来我们就看看 正常运行 下，如何配置master和standby数据库（注意：写到这里你可以动手操作了）： master的postgresql.conf中三个参数： wal_level = archive archive_mode = on archive_command = 'cp %p /home/postgres/archive/%f' 并参考第一篇 PostgreSQL9.1 PITR示例 对master做一次基础备份（ base backup，基础备份data目录）： mydb=# SELECT pg_start_backup('bak20120218'); $ cd /home/postgres/db/master/pgsql/ $ tar czvf /home/postgres/base/base_data.tar.gz data/ mydb=# SELECT pg_stop_backup(); mydb=# select pg_switch_xlog(); 由于刚安装的standy数据库此时什么都没有，而master可能已经运行了一段时间，这就需要对standy数据库的data目录使用上面基础备份的data目录覆盖： $ cd /home/postgres/db/standby/pgsql/ $ mv data data_bk $ tar -xzvf /home/postgres/base/base_data.tar.gz $ rm -r data/pg_xlog/ $ mkdir -p data/pg_xlog/archive_status $ rm data/postmaster.pid $ cp /home/postgres/db/standby/pgsql/share/recovery.conf.sample /home/postgres/db/standby/pgsql/data/recovery.conf $ cp /home/postgres/db/standby/pgsql/data_bk/postgresql.conf /home/postgres/db/standby/pgsql/data/postgresql.conf 然后配置standy让它处于一直接收WAL日志的standby_mode状态，即修改recovery.conf文件（参考： 25.2.4 Setting Up a Standby Server ）：（注意没有使用：restore_command = 'cp /home/postgres/archive/%f %p'，当然使用这个命令我测试过也可以，但此处使用了更为强大的postgresql的扩展pg_standby,关于如何使用pg_standby，请参阅F.31. pg_standby ） standby_mode = on restore_command = '/home/postgres/db/standby/pgsql/bin/pg_standby -d -s 2 -t /home/postgres/trigger/pgsql.trigger.6432 /home/postgres/archive %f %p %r' recovery_end_command = 'rm -f /home/postgres/trigger/pgsql.trigger.6432' 好，重启standby数据库（之前请先启动master库），看看是否成功： $ /home/postgres/db/standby/pgsql/bin/postmaster -D /home/postgres/db/standby/pgsql/data --port=6432 LOG: database system was interrupted; last known up at 2012-02-22 17:35:21 CST LOG: entering standby mode Trigger file: /home/postgres/trigger/pgsql.trigger.6432 Waiting for WAL file: 000000010000000000000006 WAL file path: /home/postgres/archive/000000010000000000000006 Restoring to: pg_xlog/RECOVERYXLOG Sleep interval: 2 seconds Max wait interval: 0 forever Command for restore: cp /home/postgres/archive/000000010000000000000006 pg_xlog/RECOVERYXLOG Keep archive history: 000000000000000000000000 and later running restore : OK LOG: restored log file 000000010000000000000006 from archive LOG: redo starts at 0/6000070 LOG: consistent recovery state reached at 0/7000000 Trigger file: /home/postgres/trigger/pgsql.trigger.6432 Waiting for WAL file: 000000010000000000000007 WAL file path: /home/postgres/archive/000000010000000000000007 Restoring to: pg_xlog/RECOVERYXLOG Sleep interval: 2 seconds Max wait interval: 0 forever Command for restore: cp /home/postgres/archive/000000010000000000000007 pg_xlog/RECOVERYXLOG Keep archive history: 000000010000000000000006 and later WAL file not present yet. Checking for trigger file... WAL file not present yet. Checking for trigger file... 若是，则成功。 当然您可以分别通过如下命令来看master和standby的状态： 看master： /home/postgres/db/master/pgsql/bin/pg_controldata /home/postgres/db/master/pgsql/data 是否Database cluster state: in production ？ 看standby： /home/postgres/db/standby/pgsql/bin/pg_controldata /home/postgres/db/standby/pgsql/data 是否Database cluster state: in archive recovery？ 当然您可以继续在master里插入一些新的数据，以检验看看standby的服务端是不是几乎同时在用WAL日志恢复。 （B）接下来进入 Failover阶段 情况下如何配置，在Failover时，master由于某种原因down掉，您可以通过发出下述指令来关闭（根据德哥的经验，见 这里 ，千万不要用-m immediate来数据库）： $ /home/postgres/db/ master /pgsql/bin/pg_ctl stop -m fast -D /home/postgres/db/master/pgsql/data 确定master关机后，然后我们需要首先在提升standby为master之前做一些准备，即修改standby的postgresql.conf中三个参数(一定要注意我们新增了 archive_failover目录 )，此时配置的目的是让后面Switchover阶段时，原来的master可以使用新master的日志： wal_level = archive archive_mode = on archive_command = 'cp %p /home/postgres/ archive_failover /%f' 然后准备提升standby为master，即： 在trigger目录下创建pgsql.trigger.6432文件，文件内容为空（当然也可以写smart）， $ cat pgsql.trigger.6432 $ /home/postgres/db/ standby /pgsql/bin/pg_ctl promote -D /home/postgres/db/ standby /pgsql/data （注意： promote命令发出后，可能要等一会（十几秒钟）才能让standby切换成master） 然后重新启动新的master库（即原来的promote之后的standby库），以让postgresql.conf生效。 然后维护master库，把fault修正后，进入下一阶段。 （C）Switchover阶段 ，这个时候原来的master需要重新启动为standby模式，此时配置原来的master和原来的standby一样。步骤为： 把新master做一次基础备份（基础备份data目录）： $ /home/postgres/db/standby/pgsql/bin/createdb mydb --port=6432 mydb=# SELECT pg_start_backup('bak20120220'); $ cd /home/postgres/db/ standby /pgsql/ $ tar czvf /home/postgres/base/ base_data_switchover.tar.gz data/ mydb=# SELECT pg_stop_backup(); mydb=# select pg_switch_xlog(); 然后拷贝到老master那里： $ cd /home/postgres/db/master/pgsql/ $ mv data data_bk $ tar -xzvf /home/postgres/base/ base_data_switchover.tar.gz $ rm -r data/pg_xlog/ $ mkdir -p data/pg_xlog/archive_status $ rm data/postmaster.pid $ cp /home/postgres/db/master/pgsql/data_bk/postgresql.conf /home/postgres/db/master/pgsql/data/postgresql.conf 然后把postgresql.conf下面的几行都注释掉： #wal_level = archive #archive_mode = on #archive_command = 'cp %p /home/postgres/archive_failover/%f' 并为原有的master新建recovery.conf文件，内容和原来的standby的recovery.conf文件类似（只是使用不同的/home/postgres/ archive_failover /目录,trigger也变为 /home/postgres/trigger/ pgsql.trigger.5432 ）： standby_mode = on restore_command = '/home/postgres/db/ master /pgsql/bin/pg_standby -d -s 2 -t /home/postgres/trigger/ pgsql.trigger.5432 /home/postgres/ archive_failover %f %p %r' recovery_end_command = 'rm -f /home/postgres/trigger/ pgsql.trigger.5432 ' 然后启动原master，此时以standby模式运行： $ /home/postgres/db/master/pgsql/bin/postmaster -D /home/postgres/db/master/pgsql/data 查看是否一切正常。即你在新的master里做DML如插入新数据操作时，在新的standby里是否看到在用日志恢复。 （D）如果有必要，我们再来一次主库和备库角色切换的操作 （推荐，但此处不再演示） 。即关闭新主库，激活老主库。 写到这里你可能还有一些疑问，应用服务器有什么机制可以探测master down掉？有没自动化工具来对Failover和Switchover阶段自动执行？PostgreSQL9.1的25.3. Failover 中只是简单的说明了一下，本身不是很详细，本文不再讨论，有兴趣的朋友可以专门写写。 至此完毕。 参考： PostgreSQL 9.1 Allow standby recovery to switch to a new timeline automatically Postgresql 9.0 Replication - Step by Step ，看不到该文的，请看 转载 http://blog.chinaunix.net/link.php?url=http://www.pgcon.org%2F2008%2Fschedule%2Fevents%2F76.en.html Instagram 架构分析笔记 加我私人微信，交流技术。
上次写过在Ubuntu9上面的搭建环境（ http://blogold.chinaunix.net/u2/81513/showart_2168880.html ），这次写写在Red Hat Enterprise Linux 6（RHEL 6）上面的调试搭建环境 ，如无特殊说明，下面均在32位机器上进行。 首先说明一下，我是放弃了在CentOS 5.6上搭建环境之后才选择RHEL 6的，整整折腾了2天的bug终于放弃在CentOS 5.6上继续鼓捣，RHEL 6的可靠性、易用性让我最终选择了它，尽管搭建环境解决其中出现的bug我做了两遍实验，折腾了足足3天。但是经过下面的步骤，您可以避免大量的环境设置问题，约在6个小时左右的时间全部设置完毕。 注意：本文如无特殊说明，下载的安装程序均为源代码，之所以没有使用rpm包，这是血的教训，最主要的原因是库依赖问题。 1.安装RHEL 6 下载DVD光盘： http://www.ha97.com/3710.html 2.7G，2M的带宽，用迅雷5下大概3.5小时，下载完毕后一定要使用md5工具（dos下的命令行 工具md5sum ）看看是否文件完整，我就曾经用firefox的下载的不完整过一次，害得我白刻录了一张DVD。 然后用光盘刻录工具（windows下的如nero，8.0从这里 下载 ），刻录成光盘以便安装。 安装过程具体参考（焦振清. RHEL6安装配置图片详解 ）,我安装的英文版（如果用到中文的话，只需要设置输入法足够），这里主要说明的有： 创建postgres账户，以后用该账户作为调试使用 在“自定义安装的服务器类型”中做如下选择（图片不清楚，可以拷贝图片地址，在新页面中查看）： 上图中，一定要选择“Desktop”和“Customize now”，接下来, 语言增加中文： 在Development里选择：Additional Development, Development Tools, Server Platform Development三项，如下图： 还要注意，如果您今后还想装VirtualBox，一定要把Additional Development中的Optional pcakages中的SDL-devel-1.2.14-2.el6.i686包选中，默认的是不选的。 说明：如果您在rhel6安装时没有选择该SDL-devel-1.2.14-2.el6.i686包，在以后需要装VirtualBox需要依赖该包时，按照如下步骤安装： 准备好rhel6的ISO安装光盘，例如在如下目录： /home/yourname/Downloads/rhel-server-6.0-i386-dvd.iso 挂载 mount -t iso9660 -o loop /home/yourname/Downloads/rhel-server-6.0-i386-dvd.iso /media/cdrom/ 在System-Administration-Add/Remove Software里，搜索SDL，勾选SDL-devel-1.2.14-2.el6.i686安装即可。 好，安装完成后重启，使用postgres账户登录。 2.安装Postgreql 8.4 说明：之所以先把Postgresql安装起来，是因为先让它跑起来，后面再用Eclipse CDT设置调试环境。 下载源代码： http://wwwmaster.postgresql.org/download/mirrors-ftp/source/v8.4.8/postgresql-8.4.8.tar.gz 到自己的目录里，如/home/postgres/development/ 。 先看安装说明：在文档 http://www.postgresql.org/docs/8.4/interactive/install-requirements.html ，中说明需要的安装前置条件如下： You need an ISO/ANSI C compiler (at least C89-compliant). Recent versions of GCC ... tar is required to unpack the source distribution, in addition to either gzip or bzip2. In addition, gzip is required to install the documentation. The GNU Readline library is used by default. It allows psql (the PostgreSQL command line SQL interpreter) to remember each command you type,... The zlib compression library will be used by default.... 我们通过如下命令来看看我们安装的RHEL6是否已经满足这些条件，下面的命令分别对应上面的要求： gcc --version 我们发现：gcc (GCC) 4.4.4 20100726 (Red Hat 4.4.4-13) tar --version 我们发现：tar (GNU tar) 1.23 通过系统菜单System-Administration-Add/Remove Software 搜索Readline，我们发现：readline-6.0-3.el6 通过系统菜单System-Administration-Add/Remove Software 搜索zlib，我们发现：zlib-1.2.3-25.el6等几个文件 好，条件全部满足，我们开始准备安装PostgreSQL： #2.1切换到root用户,创建postgresql默认的安装目录（root用户）： su #此处需要输入root的密码 mkdir /usr/local/pgsql chown postgres /usr/local/pgsql #2.2编译安装（注意：postgres 用户）。说明：尽管Postgresql的文档中使用gmake来编译，此处我们仍然用make方法： 在上面的命令行窗口中，退出root： exit 进入postgres环境： cd /home/postgres/development/ tar zxf postgresql-8.4.8.tar.gz cd postgresql-8.4.8 ./configure --enable-depend --enable-cassert --enable-debug make make install #2.3启动Postgresql服务器，看是否成功（postgres用户）： 命令行执行： /usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data /usr/local/pgsql/bin/postgres -D /usr/local/pgsql/data logfile 21 另外启动一个命令窗口,创建一个测试数据库实例mydb： /usr/local/pgsql/bin/createdb mydb 然后： /usr/local/pgsql/bin/psql mydb mydb=#select version(); 看看是否成功？若成功，别先高兴，革命成功了十分之一。不成功，您给我留言。 #2.4 设置PATH路径，重启机器，再次进入postgres用户（postgres用户）： 修改PATH的目的是以后不需要每次执行命令都输入全路径，如/usr/local/pgsql/bin/postmaster 命令设置完之后，只需要输入postermaster就可以了。 gedit /home/postgres/.bash_profile 原有的PATH=....,在最后增加路径/usr/local/pgsql/bin，修改后的为： PATH=$PATH:$HOME/bin:/usr/local/pgsql/bin 保存后重启，再次用postgres账户登录。 3.安装并设置Eclipse CDT 3.6 若仁兄您不喜欢用IDE开发环境，就喜欢用命令行调试，那您可以参考我另一篇文章： 使用GDB和DDD调试POSTGRESQL 。 下载Eclipse CDT 3.6（我用的Galileo）： http://www.eclipse.org/downloads/packages/eclipse-ide-cc-developers/galileosr2 ， 假定保存在/home/postgres/development/，并解压缩 安装前提：jdk1.6，由于RHEL 6已经安装了java-1.6.0-openjdk-1....,满足该条件。 然后，我们新建一个Eclipse的工作区目录：/home/postgres/workspace 为方便使用，建议在桌面建立启动快捷方式，注意创建的时候在Command选项填入： env GDK_NATIVE_WINDOWS=1 /home/postgres/develop/eclipse/eclipse 加入env GDK_NATIVE_WINDOWS=1的原因是为了避免启动不了图形界面（此问题在Ubuntu9里面存在，我没试过在RHEL 6里是否仍然有问题，故为保险起见，加入该参数） 最后，根据 http://wiki.postgresql.org/wiki/Working_with_Eclipse 设置Eclipse的调试环境。该文档非常细致，建议自己仔细看看（主要是要注意设置路径，见下面Arguemnts设置），这里再简单说明一下重点： 一般会设定两个调试配置，一个是为Postmaster进程调试使用的，即数据库从启动到接收sql客户端请求的调试，另外一个调试配置是为postgres进程使用的，我们都知道，当客户端sql请求到达服务端的时候，postmaster会fork一个postgres后台进程，这就是为什么调试postgres的原因。 3.1首先我们来看第一个为Postmaster进程调试使用的配置，参考下图，在C/C++ Application选项下建立调试实例： 另外注意的一点是由于我们的Postgresql 默认的数据库运行目录为/usr/local/pgsql/data：注意设定Arguemnts选项为： -D /usr/local/pgsql/data 如下图： 3.2 第二个调试使用的配置是 为调试Postmaster进程使用的，如下图 ，在C/C++ Attach to Application选项下建立调试实例： 那具体怎么调试呢，首先您需要开启两个命令窗口： 一个是Postmaster数据库服务器： /usr/local/pgsql/bin/postmaster -D /usr/local/pgsql/data 另外一个： /usr/local/pgsql/bin/psql mydb 然后转到Eclipse里运行为postgres设置的这个调试设置，过一小会后，是不是关联上了，这时您在从psql里执行一条sql语句，是不是可以在你设置的断点处调试了。 4.安装并设置PostGIS 1.4 如果您的工作和PostGIS没有关系，请略过此节。 下载PostGIS 1.4.2： http://postgis.refractions.net/download/postgis-1.4.2.tar.gz ， 假定保存在/home/postgres/development/，并解压缩在该目录下。另外PostGIS 1.5我也试过，也可以调试。 安装前置条件：我们根据文档： http://postgis.refractions.net/documentation/manual-1.4/ch02.html#id2701180 ： Required： PostgreSQL 8.2 or higher... GNU C compiler (gcc). ... GNU Make (gmake or make).... Proj4 reprojection library, version 4.5.0 or greater. The Proj4 library is used to provide coordinate reprojection support within PostGIS. Proj4 is available for download from http://trac.osgeo.org/proj/ . GEOS geometry library, version 3.0.0 or greater. The GEOS library is used to provide geometry tests (ST_Touches(), ST_Contains(), ST_Intersects()) and operations (ST_Buffer(), ST_Union(), ST_Difference()) within PostGIS. GEOS is available for download from http://trac.osgeo.org/geos/ . 知，前三项我们都已经安装，故还需要安装 Libgeos, Proj，如上面所述，这两个软件下载地址如下： http://download.osgeo.org/proj/proj-4.7.0.tar.gz http://download.osgeo.org/geos/geos-3.2.2.tar.bz2 下载下来之后假定保存在/home/postgres/development/，并解压缩在该目录下。 4.1 安装proj4 （postres账户） su mkdir /usr/local/proj4 chown postgres /usr/local/proj4 exit cd /home/postgres/development tar zxf proj-4.7.0.tar.gz cd proj-4.7.0 ./configure --prefix=/usr/local/proj4 make make install 4.2 安装geos （postres账户） su mkdir /usr/local/geos chown postgres /usr/local/geos exit cd /home/postgres/development tar jxf geos-3.1.1.tar.bz2 cd geos-3.1.1 ./configure --prefix=/usr/local/geos make make install 4.3 安装PostGIS （postres账户） su mkdir /usr/local/postgis chown postgres /usr/local/postgis exit cd /home/postgres/development tar zxf postgis-1.4.2.tar.gz cd postgis-1.4.2 #下面的 --prefix=/usr/local/postgis 似乎没起作用（尽管如此，还是加入该参数），结果是需要使用root权限进行安装 ./configure --prefix=/usr/local/postgis --with-pgconfig=/usr/local/pgsql/bin/pg_config --with-projdir=/usr/local/proj4 --with-geosconfig=/usr/local/geos/bin/geos-config --enable-debug make make install 4.4 设置库搜索路径（切换到root账户，设置完后需重启机器） 首先切换到root账户，注意这里不是用su切换，而是使用左面右上角的postgres下面的Switch user按钮 gedit /etc/ld.so.conf 在最后添加两行（注意：只需要两行）： /usr/local/geos/lib /usr/local/proj4/lib 保存后，运行ldconfig命令，使以上修改生效: /sbin/ldconfig 重启机器，再次使用postgres账户登入。 4.5 测试一下在mydb数据库实例中导入对PostGIS的支持（postres账户） 启动一个命令窗口： postmaster -D /usr/local/pgsql/data 再启动一个命令窗口 createlang plpgsql mydb psql -d mydb -f /usr/local/pgsql/share/contrib/postgis.sql psql -d mydb -f /usr/local/pgsql/share/contrib/spatial_ref_sys.sql 如果没有问题，则表示PostGIS成功（要知道我历经千辛万苦才没有错误的到这一步的，都是geos，proj4库路径找不到惹得祸）。 关闭数据库服务： /usr/local/pgsql/bin/pg_ctl stop -D /usr/local/pgsql/data 以后统一使用如下命令来启动数据库服务器： postmaster -D /usr/local/pgsql/data 4.6 按照和PostGIS方式，在Eclipse CDT里同样建立一个调试项目 可以类似 根据 http://wiki.postgresql.org/wiki/Working_with_Eclipse 设置Eclipse对PostGIS的调试环境 ，此处略。 5. 安装pgAdmin 3 这里安装pgAdmin 3，这是为了方便客户端使用。 下载pgAdmin 3 v1.12.2 ： http://wwwmaster.postgresql.org/download/mirrors-ftp/pgadmin3/release/v1.12.2/src/pgadmin3-1.12.2.tar.gz ，假定保存在/home/postgres/development/，并解压缩在该目录下。 安装前置条件：我们根据文档解压后的源代码目录中的安装说明文档（/home/postgres/development/pgadmin3-1.12.2/install） : You will need: - A modern development environment: - GTK 2.2 or above. - GNU automake 1.9 or above. - GNU autoconf 2.59 or above. - GNU gcc 3.4 or above. - wxGTK 2.8.x from http://www.wxwidgets.org/ - libxml2 2.6.18 or above from http://www.xmlsoft.org/ - libxslt 1.1.x or above from http://www.xmlsoft.org/ - PostgreSQL 8.4 or above from http://www.postgresql.org/ 我们一样一样看，GTK2.2，GNU那几项RHEL6都已经默认安装，wxGTK 没有，libxml2有，libxslt已经安装，故我们还需要安装wxGTK 2.8.12，下载地址： http://sourceforge.net/projects/wxwindows/files/2.8.12/wxGTK-2.8.12.tar.gz/download ，假定保存在/home/postgres/development/，并解压缩在该目录下。 5.1 安装wxGTK 2.8.12 cd /home/postgres/development tar zxf wxGTK-2.8.12.tar.gz cd wxGTK-2.8.12 ./configure --with-gtk --enable-gtk2 --enable-unicode make su -c make install # Install wxWidgets contrib modules. cd contrib/ make su -c make install 首先切换到root账户，注意这里不是用su切换，而是使用左面右上角的postgres下面的Switch user按钮 gedit /etc/ld.so.conf 在最后添加一行： /usr/local/lib 保存后，运行ldconfig命令，使以上修改生效: /sbin/ldconfig 退出root账户，回到postgres账户中。 5.2 安装pgAdmin3 cd /home/postgres/development tar zxf pgadmin3-1.12.2.tar.gz cd pgadmin3-1.12.2 ./configure make su -c make install 5.3 桌面建立一个launcher 设置命令路径为：/usr/local/pgadmin3/bin/pgadmin3 6. 安装QGIS 1.6.0 (未完待续，暂时出错，请不要使用下面代码) QGIS 1.6.0 主要用于查看空间数据库，下载地址： http://qgis.org/downloads/qgis-1.6.0.tar.bz2 ，假定保存在/home/postgres/development/，并解压缩在该目录下。 根据解压缩后的install文件说明，QGIS所依赖的库为： Required build deps: - Qt = 4.4.0 - Proj = 4.4.x - GEOS = 3.0 - Sqlite3 = 3.0.0 - GDAL/OGR = 1.4.x - Qwt = 5.0 其中Proj, GEOS, Sqlite3,都已经安装，而Qt 默认安装版本是3，GDAL和Qwt没有安装。故先下载： GDAL 1.8.0 http://download.osgeo.org/gdal/gdal180.zip qwt 5.2.1 http://sourceforge.net/projects/qwt/files/qwt/5.2.1/qwt-5.2.1.tar.bz2/download 6.1 安装GDAL 1.8 cd /home/postgres/development tar zxf gdal180.zip cd gdal-1.8.0 ./configure make su -c make install 6.2 安装qwt 5.2.1 cd /home/postgres/development tar zxf qwt-5.2.1.tar.bz2 cd qwt-5.2.1 qmake make su -c make install 6.3 安装qgis 1.6.0 参考： 在Linux环境下编译安装配置PostGIS/PostgreSQL全过程 加我私人微信，交流技术。
参考PostgreSQL 8.4.3 Documentation ： 18.7. Error Reporting and Logging（http://www.postgresql.org/docs/8.4/interactive/runtime-config-logging.html）来进行设置，我的设置如下，大家可以做一个参考： # - Where to Log - #log_destination = 'stderr' logging_collector = on log_directory = 'pg_log' log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log' # - When to Log - #client_min_messages = notice log_min_messages = debug5 # - What to Log - debug_print_parse = on debug_print_rewritten = on debug_print_plan = on debug_pretty_print = on #log_checkpoints = off log_connections = on log_disconnection = on 这样子当你的服务器运行的时候，你在/usr/local/pgsql/data/pg_log 目录下，就可以看到生成的日志了。 加我私人微信，交流技术。
上次写完了 postgresql中querytree内存结构 ，接下来就是又让你激动，又让你觉得神秘的plantree了。 先看看src/backend/optimizer的readme： Optimizer ========= These directories take the Query structure returned by the parser, and generate a plan used by the executor. The /plan directory generates the actual output plan, the /path code generates all possible ways to join the tables, and /prep handles various preprocessing steps for special cases. /util is utility stuff. /geqo is the separate genetic optimization planner--- it does a semi-random search through the join tree space, rather than exhaustively considering all possible join trees. 哈，所以可以先看看相应的目录下的文件，有个大概印象。 在看看readme下面的： Optimizer Data Structures ------------------------- PlannerGlobal - global information for a single planner invocation PlannerInfo - information for planning a particular Query (we make a separate PlannerInfo node for each sub-Query) RelOptInfo - a relation or joined relations RestrictInfo - WHERE clauses, like x = 3 or y = z (note the same structure is used for restriction and join clauses) Path - every way to generate a RelOptInfo(sequential,index,joins) SeqScan - a plain Path node with pathtype = T_SeqScan IndexPath - index scans BitmapHeapPath - top of a bitmapped index scan TidPath - scan by CTID AppendPath - append multiple subpaths together ResultPath - a Result plan node (used for FROM-less SELECT) MaterialPath - a Material plan node UniquePath - remove duplicate rows NestPath - nested-loop joins MergePath - merge joins HashPath - hash joins EquivalenceClass - a data structure representing a set of values known equal PathKey - a data structure representing the sort ordering of a path 上面把optimizer用到的数据结构都说明了用途。 我们再看看8.4 的document： 在43.5.1. Generating Possible Plans有： The planner/optimizer starts by generating plans for scanning each individual relation (table) used in the query. The possible plans are determined by the available indexes on each relation. There is always the possibility of performing a sequential scan on a relation, so a sequential scan plan is always created. 看样子 sequential scan plan是必须的了，由于我们pois表没建索引，所以我们可以想象，我们的plan是没有index相关的path的。等有时间再写一篇涉及index和整个优化器有关的文章。 好，有了这些基本概念，我们开工。 再次写一下我们的前提条件： 假定我们数据库中已经有如下表，并填充了数据： CREATE TABLE pois ( uid integer not null, catcode VARCHAR(32) not null, ); 现在我们用psql发送请求：select catcode from pois; 程序已经执行完了querytree_list = pg_analyze_and_rewrite(parsetree, query_string, NULL, 0); 接下来就是执行我们神秘的 stmt = (Node *) pg_plan_query(query, cursorOptions, boundParams); 了。 首先看调用堆栈： postgresql Thread gdb Debugger (5/1/10 10:16 AM) (Suspended) Thread (Suspended) 17 set_plain_rel_pathlist() /home/postgres/develop/.../src/backend/optimizer/path/allpaths.c:264 16 set_rel_pathlist() /home/postgres/develop/.../src/backend/optimizer/path/allpaths.c:201 15 set_base_rel_pathlists() /home/postgres/develop/.../src/backend/optimizer/path/allpaths.c:157 14 make_one_rel() /home/postgres/develop/.../src/backend/optimizer/path/allpaths.c:93 13 query_planner() /home/postgres/develop/.../src/backend/optimizer/plan/planmain.c:252 12 grouping_planner() /home/postgres/develop/.../src/backend/optimizer/plan/planner.c:1006 11 subquery_planner() /home/postgres/develop/.../src/backend/optimizer/plan/planner.c:481 10 standard_planner() /home/postgres/develop/.../src/backend/optimizer/plan/planner.c:190 9 pg_plan_query() /home/postgres/develop/.../src/backend/tcop/postgres.c:697 8 pg_plan_queries() /home/postgres/develop/.../src/backend/tcop/postgres.c:756 7 exec_simple_query() /home/postgres/develop/.../src/backend/tcop/postgres.c:921 6 PostgresMain() /home/postgres/develop/.../src/backend/tcop/postgres.c:3617 5 BackendRun() /home/postgres/develop/.../src/backend/postmaster/postmaster.c:3449 4 BackendStartup() /home/postgres/develop/.../src/backend/postmaster/postmaster.c:3063 3 ServerLoop() /home/postgres/develop/.../src/backend/postmaster/postmaster.c:1387 2 PostmasterMain() /home/postgres/develop/.../src/backend/postmaster/postmaster.c:1040 1 main() /home/postgres/develop/.../src/backend/main/main.c:188 我之所以把堆栈写到 set_plain_rel_pathlist()来，是因为这是建立我们最终顺序扫描path的调用函数。具体调用代码为： static void set_plain_rel_pathlist (PlannerInfo *root, RelOptInfo *rel, RangeTblEntry *rte){ if (rel-reloptkind == RELOPT_BASEREL relation_excluded_by_constraints(root, rel, rte)) { set_dummy_rel_pathlist(rel); return; } check_partial_indexes(root, rel); set_baserel_size_estimates(root, rel); if (create_or_index_quals(root, rel)) { check_partial_indexes(root, rel); set_baserel_size_estimates(root, rel); } add_path(rel, create_seqscan_path(root, rel)); create_index_paths(root, rel); create_tidscan_paths(root, rel); set_cheapest(rel); } add_path(rel, create_seqscan_path(root, rel)); 即为实际增加我们的path的调用，本身该调用非常简单，就是估算从硬盘读page和时间+处理所有tuple的时间，然后填充path 。 我把程序执行完下面这条语句之前的数据结构画张图，如下： line1064： result_plan = optimize_minmax_aggregates(root, tlist, best_path); 下图是最终的内存结构图，为完整起见，我把PlannerInfo及相应的数据结构都保留下来： 图太大，picasa不让传超过1M的图片，只好上传到filefront.com/，看大图的可以从 这里 下载。 下图是只包含plan tree的图： 至此，全部结束。 加我私人微信，交流技术。
标签: postgresql
