truncated模型用什么软件（oracle 利用重做日志和控制文件，恢复缺少数据文件的数据）

本文目录

• oracle 利用重做日志和控制文件，恢复缺少数据文件的数据
• CNN之Lenet5
• 有什么办法可以让电脑的运行速度加快
• sklearn的PCA
• Stata中如何只对某一数据类型的变量进行操作

oracle 利用重做日志和控制文件，恢复缺少数据文件的数据

给你推荐一款软件看看能不能帮上你。
FROMBYTE Reconstructor for Oracle是一款用于恢复ORACLE数据库文件的软件产品，主要功能为重组ORACLE数据库碎片并导出完整的文件。
　　一、适用的灾难情况：
　　（1）ORACLE数据库文件被误删除 .
　　（2）存储重新分区、格式化导致ORACLE数据库文件丢失。
　　（3）存储突然断电、文件系统故障、fsck导致ORACLE数据库文件丢失。
　　（4）ASM存储故障导致ORACLE数据库文件丢失。
　　二、支持的文件系统特性：
　　（1）支持的文件系统类型：NTFS/EXT3/EXT4/REISERFS/REISER4/XFS/HTFS/UFS1/UFS2/JFS1/JFS2/VXFS/ASM.
　　（2）支持的文件系统平台：Little Endian/Big Endian.
　　（3）支持的文件系统块大小：512 Bytes/1 KB/2 KB/4 KB/8 KB/16 KB/32 KB.
　　三、支持的数据库特性：
　　（1）支持的数据库版本：ORACLE 8i/ORACLE 9 i/ORACLE 10g/ORACLE 11g.
　　（2）支持的数据库表空间模式：Smallfile Tablespace/Bigfile Tablespace.
　　（3）支持的数据库文件块大小：512 Bytes/1 KB/2 KB/4 KB/8 KB/16 KB/32 KB 及 自定义块大小。
　　四、其他特性：
　　（1）支持虚拟磁盘文件扫描及恢复。
　　（2）支持保存当前的扫描信息或加载已保存的扫描信息。
　　（3）支持创建自定义磁盘扫描区域或ASM磁盘组。
　　（4）支持千万级文件碎片扫描及多种不同的缓冲区大小。
　　（5）支持从数据库文件 ID/Size/Integrity/Version/Block Size多方面进行过滤搜索（针对数据库文件）。
　　（6）支持从数据库文件碎片 File ID/Block ID/Block Count/Block Size多方面进行过滤搜索（针对数据库文件碎片）。
　　（7）支持生成数据库文件可恢复性的技术报告。

CNN之Lenet5

LeNet诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。

LeNet-5是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，主要用于手写数字识别

LeNet5的网络结构如下所示：

LeNet-5包含七层，不包括输入，每一层都包含可训练参数（权重），当时使用的输入数据是32*32像素的图像。下面逐层介绍LeNet-5的结构，并且，卷积层将用Cx表示，子采样层则被标记为Sx，全连接层被标记为Fx，其中x是层索引。

该层使用了6个卷积核，每个卷积核的大小为5×5，这样就得到了6个feature map（特征图）。

每个卷积核（5×5）与原始的输入图像（32×32）进行卷积，这样得到的feature map（特征图）大小为（32-5+1）×（32-5+1）= 28×28

卷积核与输入图像按卷积核大小逐个区域进行匹配计算，匹配后原始输入图像的尺寸将变小，因为边缘部分卷积核无法越出界，只能匹配一次，匹配计算后的尺寸变为Cr×Cc=（Ir-Kr+1）×（Ic-Kc+1），其中Cr、Cc，Ir、Ic，Kr、Kc分别表示卷积后结果图像、输入图像、卷积核的行列大小。

由于参数（权值）共享的原因，对于同个卷积核每个神经元均使用相同的参数，因此，参数个数为（5×5+1）×6= 156，其中5×5为卷积核参数，1为偏置参数

卷积后的图像大小为28×28，因此每个特征图有28×28个神经元，每个卷积核参数为（5×5+1）×6，因此，该层的连接数为（5×5+1）×6×28×28=122304

这一层主要是做池化或者特征映射（特征降维），池化单元为2×2，因此，6个特征图的大小经池化后即变为14×14。池化单元之间没有重叠，在池化区域内进行聚合统计后得到新的特征值，因此经2×2池化后，每两行两列重新算出一个特征值出来，相当于图像大小减半，因此卷积后的28×28图像经2×2池化后就变为14×14。

这一层的计算过程是：2×2 单元里的值相加，然后再乘以训练参数w，再加上一个偏置参数b（每一个特征图共享相同的w和b)，然后取sigmoid值（S函数：0-1区间），作为对应的该单元的值。卷积操作与池化的示意图如下：
S2层由于每个特征图都共享相同的w和b这两个参数，因此需要2×6=12个参数

下采样之后的图像大小为14×14，因此S2层的每个特征图有14×14个神经元，每个池化单元连接数为2×2+1（1为偏置量），因此，该层的连接数为（2×2+1）×14×14×6 = 5880

C3层有16个卷积核，卷积模板大小为5×5。

与C1层的分析类似，C3层的特征图大小为（14-5+1）×（14-5+1）= 10×10

需要注意的是，C3与S2并不是全连接而是部分连接，有些是C3连接到S2三层、有些四层、甚至达到6层，通过这种方式提取更多特征，连接的规则如下表所示：
例如第一列表示C3层的第0个特征图（feature map）只跟S2层的第0、1和2这三个feature maps相连接，计算过程为：用3个卷积模板分别与S2层的3个feature maps进行卷积，然后将卷积的结果相加求和，再加上一个偏置，再取sigmoid得出卷积后对应的feature map了。其它列也是类似（有些是3个卷积模板，有些是4个，有些是6个）。因此，C3层的参数数目为（5×5×3+1）×6 +（5×5×4+1）×9 +5×5×6+1 = 1516

卷积后的特征图大小为10×10，参数数量为1516，因此连接数为1516×10×10= 151600

与S2的分析类似，池化单元大小为2×2，因此，该层与C3一样共有16个特征图，每个特征图的大小为5×5。

与S2的计算类似，所需要参数个数为16×2 = 32

连接数为（2×2+1）×5×5×16 = 2000

该层有120个卷积核，每个卷积核的大小仍为5×5，因此有120个特征图。由于S4层的大小为5×5，而该层的卷积核大小也是5×5，因此特征图大小为（5-5+1）×（5-5+1）= 1×1。这样该层就刚好变成了全连接，这只是巧合，如果原始输入的图像比较大，则该层就不是全连接了。

与前面的分析类似，本层的参数数目为120×（5×5×16+1） = 48120

由于该层的特征图大小刚好为1×1，因此连接数为48120×1×1=48120

F6层有84个单元，之所以选这个数字的原因是来自于输出层的设计，对应于一个7×12的比特图，如下图所示，-1表示白色，1表示黑色，这样每个符号的比特图的黑白色就对应于一个编码。
该层有84个特征图，特征图大小与C5一样都是1×1，与C5层全连接。

由于是全连接，参数数量为（120+1）×84=10164。跟经典神经网络一样，F6层计算输入向量和权重向量之间的点积，再加上一个偏置，然后将其传递给sigmoid函数得出结果。

由于是全连接，连接数与参数数量一样，也是10164。

Output层也是全连接层，共有10个节点，分别代表数字0到9。如果第i个节点的值为0，则表示网络识别的结果是数字i。

该层采用径向基函数（RBF）的网络连接方式，假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：

上式中的Wij的值由i的比特图编码确定，i从0到9，j取值从0到7×12-1。RBF输出的值越接近于0，表示当前网络输入的识别结果与字符i越接近。

由于是全连接，参数个数为84×10=840

由于是全连接，连接数与参数个数一样，也是840
from skimage import io,transform

import os

import glob

import numpy as np

import tensorflow as tf

#将所有的图片重新设置尺寸为32*32

w = 32

h = 32

c = 1

#mnist数据集中训练数据和测试数据保存地址

train_path = "E:/data/datasets/mnist/train/"

test_path = "E:/data/datasets/mnist/test/"

#读取图片及其标签函数

’’’os.listdir()返回指定的文件夹包含的文件或文件夹的名字,存放于一个列表中;os.path.isdir()判断某一路径是否为目录

enumerate()将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，数据下标和相应数据’’’

def read_image(path):

    label_dir =

    images =

    labels =

    for index,folder in enumerate(label_dir):

        for img in glob.glob(folder+’/*.png’):

            print("reading the image:%s"%img)

            image = io.imread(img)

            image = transform.resize(image,(w,h,c))

            images.append(image)

            labels.append(index)

    return np.asarray(images,dtype=np.float32),np.asarray(labels,dtype=np.int32)

#读取训练数据及测试数据           

train_data,train_label = read_image(train_path)

test_data,test_label = read_image(test_path)

#打乱训练数据及测试数据  np.arange()返回一个有终点和起点的固定步长的排列,

train_image_num = len(train_data)

train_image_index = np.arange(train_image_num) ##起始点0，结束点train_image_num，步长1，返回类型array，一维

np.random.shuffle(train_image_index)

train_data = train_data

train_label = train_label

test_image_num = len(test_data)

test_image_index = np.arange(test_image_num)

np.random.shuffle(test_image_index)

test_data = test_data

test_label = test_label

#搭建CNN 此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值,形参名X，y_

x = tf.placeholder(tf.float32,,name=’x’)

y_ = tf.placeholder(tf.int32,,name=’y_’)

def inference(input_tensor,train,regularizer):

    #第一层：卷积层，过滤器的尺寸为5×5，深度为6,不使用全0补充，步长为1。

    #尺寸变化：32×32×1-》28×28×6

    ’’’参数的初始化：tf.truncated_normal_initializer()或者简写为tf.TruncatedNormal()、tf.RandomNormal() 去掉_initializer,大写首字母即可

生成截断正态分布的随机数，这个初始化方法好像在tf中用得比较多mean=0.0, stddev=1.0 正态分布

***隐藏网址***

    with tf.variable_scope(’layer1-conv1’):

        conv1_weights = tf.get_variable(’weight’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        conv1_biases = tf.get_variable(’bias’,,initializer=tf.constant_initializer(0.0))

        conv1 = tf.nn.conv2d(input_tensor,conv1_weights,strides=,padding=’VALID’)

        relu1 = tf.nn.relu(tf.nn.bias_add(conv1,conv1_biases))

    #第二层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。

    #尺寸变化：28×28×6-》14×14×6

    with tf.name_scope(’layer2-pool1’):

        pool1 = tf.nn.max_pool(relu1,ksize=,padding=’SAME’)

    #第三层：卷积层，过滤器的尺寸为5×5，深度为16,不使用全0补充，步长为1。

    #尺寸变化：14×14×6-》10×10×16

    with tf.variable_scope(’layer3-conv2’):

        conv2_weights = tf.get_variable(’weight’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        conv2_biases = tf.get_variable(’bias’,,initializer=tf.constant_initializer(0.0))

        conv2 = tf.nn.conv2d(pool1,conv2_weights,strides=,padding=’VALID’)

        relu2 = tf.nn.relu(tf.nn.bias_add(conv2,conv2_biases))

    #第四层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。

    #尺寸变化：10×10×6-》5×5×16

    with tf.variable_scope(’layer4-pool2’):

        pool2 = tf.nn.max_pool(relu2,ksize=,padding=’SAME’)

    #将第四层池化层的输出转化为第五层全连接层的输入格式。第四层的输出为5×5×16的矩阵，然而第五层全连接层需要的输入格式

    #为向量，所以我们需要把代表每张图片的尺寸为5×5×16的矩阵拉直成一个长度为5×5×16的向量。

    #举例说，每次训练64张图片，那么第四层池化层的输出的size为(64,5,5,16),拉直为向量，nodes=5×5×16=400,尺寸size变为(64,400)

    pool_shape = pool2.get_shape().as_list()

    nodes = pool_shape

    reshaped = tf.reshape(pool2,)

    #第五层：全连接层，nodes=5×5×16=400，400-》120的全连接

    #尺寸变化：比如一组训练样本为64，那么尺寸变化为64×400-》64×120

    #训练时，引入dropout，dropout在训练时会随机将部分节点的输出改为0，dropout可以避免过拟合问题。

    #这和模型越简单越不容易过拟合思想一致，和正则化限制权重的大小，使得模型不能任意拟合训练数据中的随机噪声，以此达到避免过拟合思想一致。

    #本文最后训练时没有采用dropout，dropout项传入参数设置成了False，因为训练和测试写在了一起没有分离，不过大家可以尝试。

    ’’’tf.matmul()这个函数是专门矩阵或者tensor乘法，而不是矩阵元素对应元素相乘

    tf.multiply（）两个矩阵中对应元素各自相乘

    tf.nn.dropout(x, keep_prob):TensorFlow里面为了防止或减轻过拟合而使用的函数，它一般用在全连接层，

    x：指输入;keep_prob: 设置神经元被选中的概率,使输入tensor中某些元素变为0，其它没变0的元素变为原来的1/keep_prob大小,可以想象下，比如某些元素弃用

    在初始化时keep_prob是一个占位符,keep_prob = tf.placeholder(tf.float32).

    tensorflow在run时设置keep_prob具体的值，例如keep_prob: 0.5,train的时候才是dropout起作用的时候

    keep_prob: A scalar Tensor with the same type as x. The probability that each element is kept.’’’

    with tf.variable_scope(’layer5-fc1’):

        fc1_weights = tf.get_variable(’weight’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        if regularizer != None:

            tf.add_to_collection(’losses’,regularizer(fc1_weights))

        fc1_biases = tf.get_variable(’bias’,,initializer=tf.constant_initializer(0.1))

        fc1 = tf.nn.relu(tf.matmul(reshaped,fc1_weights) + fc1_biases)

        if train:

            fc1 = tf.nn.dropout(fc1,0.5)

    #第六层：全连接层，120-》84的全连接

    #尺寸变化：比如一组训练样本为64，那么尺寸变化为64×120-》64×84

    ’’’tf.add_to_collection：把变量放入一个集合，把很多变量变成一个列表

    tf.get_collection：从一个结合中取出全部变量，是一个列表

    tf.add_n：把一个列表的东西都依次加起来’’’

    with tf.variable_scope(’layer6-fc2’):

        fc2_weights = tf.get_variable(’weight’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        if regularizer != None:

            tf.add_to_collection(’losses’,regularizer(fc2_weights))

        fc2_biases = tf.get_variable(’bias’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        fc2 = tf.nn.relu(tf.matmul(fc1,fc2_weights) + fc2_biases)

        if train:

            fc2 = tf.nn.dropout(fc2,0.5)

    #第七层：全连接层（近似表示），84-》10的全连接

    #尺寸变化：比如一组训练样本为64，那么尺寸变化为64×84-》64×10。最后，64×10的矩阵经过softmax之后就得出了64张图片分类于每种数字的概率，

    #即得到最后的分类结果。

    with tf.variable_scope(’layer7-fc3’):

        fc3_weights = tf.get_variable(’weight’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        if regularizer != None:

            tf.add_to_collection(’losses’,regularizer(fc3_weights))

        fc3_biases = tf.get_variable(’bias’,,initializer=tf.truncated_normal_initializer(stddev=0.1))

        logit = tf.matmul(fc2,fc3_weights) + fc3_biases

    return logit

#正则化，交叉熵，平均交叉熵，损失函数，最小化损失函数，预测和实际equal比较，tf.equal函数会得到True或False，

#accuracy首先将tf.equal比较得到的布尔值转为float型，即True转为1.，False转为0，最后求平均值，即一组样本的正确率。

#比如：一组5个样本，tf.equal比较为,准确率为2./5=40%。

’’’规则化可以帮助防止过度配合，提高模型的适用性。（让模型无法完美匹配所有的训练项。）（使用规则来使用尽量少的变量去拟合数据）

规则化就是说给需要训练的目标函数加上一些规则（限制），让他们不要自我膨胀。

TensorFlow会将L2的正则化损失值除以2使得求导得到的结果更加简洁

如tf.contrib.layers.apply_regularization/l1_regularizer/l2_regularizer/sum_regularizer

***隐藏网址***

sparse_softmax_cross_entropy_with_logits()是将softmax和cross_entropy放在一起计算

***隐藏网址***

regularizer = tf.contrib.layers.l2_regularizer(0.001)

y = inference(x,False,regularizer)

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=y_)

cross_entropy_mean = tf.reduce_mean(cross_entropy)

loss = cross_entropy_mean + tf.add_n(tf.get_collection(’losses’))

train_op = tf.train.AdamOptimizer(0.001).minimize(loss)

correct_prediction = tf.equal(tf.cast(tf.argmax(y,1),tf.int32),y_)

accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

#每次获取batch_size个样本进行训练或测试

def get_batch(data,label,batch_size):

    for start_index in range(0,len(data)-batch_size+1,batch_size):

        slice_index = slice(start_index,start_index+batch_size)

        yield data

#创建Session会话

with tf.Session() as sess:

    #初始化所有变量(权值，偏置等)

    sess.run(tf.global_variables_initializer())

    #将所有样本训练10次，每次训练中以64个为一组训练完所有样本。

    #train_num可以设置大一些。

    train_num = 10

    batch_size = 64

    for i in range(train_num):

        train_loss,train_acc,batch_num = 0, 0, 0

        for train_data_batch,train_label_batch in get_batch(train_data,train_label,batch_size):

            _,err,acc = sess.run(,feed_dict={x:train_data_batch,y_:train_label_batch})

            train_loss+=err;train_acc+=acc;batch_num+=1

        print("train loss:",train_loss/batch_num)

        print("train acc:",train_acc/batch_num)

        test_loss,test_acc,batch_num = 0, 0, 0

        for test_data_batch,test_label_batch in get_batch(test_data,test_label,batch_size):

            err,acc = sess.run(,feed_dict={x:test_data_batch,y_:test_label_batch})

            test_loss+=err;test_acc+=acc;batch_num+=1

        print("test loss:",test_loss/batch_num)

        print("test acc:",test_acc/batch_num)

有什么办法可以让电脑的运行速度加快

解决方法有:
1、删除系统备份文件吧：开始→运行→sfc.exe
/purgecache这样可以节省将近3xxM。
2、删除驱动备份：
3、删除Windows\help目录下的东西都
干掉，近4xM。（适用于所有系统）
4、$NtUninstallQ311889$这些目录，都是更新楼下的临时文件夹，都干掉吧，1x-3xM。
5、关闭"休眠"这功能占用太多空间.
控制面板——显示——屏幕保护程序——电源——休眠。
6、卸载不常用组件：
7、删除\windows\ime下不用的入法
8xM。（这一技巧使用前做好备份工作，本人建议大家小心进行）
8、启用NTFS的压缩功能，这样还会少用2x%的空间。
9、关了系统还原，
10、完全可以删除多余的字体，这招的效果相当明显。Windows/Fonts(一定不要删除“宋体”或者“宋体&新宋体”）
11、设置回收站，设置成“所有分区统一”，“直接删除”，“删除时显示对话框”三项选中，会生下来不小的空间，
12、转移“我的文档”和各种临时文件夹到别的分区。
13、把虚拟内存也转到其他盘。
（最好就是将这些东西和平时临时下载文件放在一个不大的分区里，这样也方便整理硬盘）
14、清除临时文件
15、清除
Windows
XP
共享文件夹
16、关闭Dr.Watson：
17、将其他应用软件装在其他盘

sklearn的PCA

1.1 维度

    对于数组和series来说，维度就是shape返回的结果，shape中返回几个数字就是几维。对图像来说，维度就是图像中特征向量的数量。降维算法中的”降维“，指的是降低特征矩阵中特征的数量。

1.2 sklearn中的降维算法

    sklearn中的降维算法在模块decomposition中，这个模块的本质是一个矩阵分解模块。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析等领域。 SVD和主成分分析PCA都是通过分解特征矩阵来进行降维的 。

1.3 PCA

    在降维的过程中，将会减少特征的数量，这意味着删除部分数据，数据量变少则表示模型可获取的信息变少了，模型的表现可能会因此受到影响。同时，在高维数据中，必然也有一些特征是不带有效信息的（噪音），或是有一些特征带有的信息和其他一些特征是重复的（一些特征之间可能会线性相关）。我们希望在降维的过程中，既能减少特征的数量又保留大部分有效信息，那就将带有重复信息的特征合并，并删除那些带有无效信息的特征，创建出一个能携带大部分信息，特征更少的特征矩阵。

    在降维中，PCA使用的信息量衡量指标是样本方差，又称可解释性方差，方差越大，特征携带的信息量越多。

    var代表一个特征的方差，n代表样本量，xi代表一个特征中每个样本的取值，xhat代表这一列样本的均值。

1.4 降维的实现

    步骤3中，我们用来找出n个新特征向量，让数据能够被压缩到少数特征上并且中信息量不损失太多的技术就是矩阵分解，PCA与SVD是两种不同的降维算法，但是都遵从上面的过程来降维，只是两种算法的矩阵分解的方法不同，信息量的衡量指标不同。PCA使用方差作为信息量的衡量指标，并且使用特征值分解来找出空间V。降维时，它会产生协方差矩阵 将特征矩阵分解为以下三个矩阵，其中Q和 是辅助的矩阵， 是一个对角矩阵（除对角线上有值，其他位置都是0的矩阵），其对角线上的元素就是方差，降维完成之后，PCA找到的每个新特征向量就叫做“主成分”，而被丢弃的特征向量被认为信息量很少，这些信息很可能就是噪音。

    SVD使用奇异值分解来找出空间V，其中Σ也是一个对角矩阵，不过它对角线上的元素是奇异值，这也是SVD中用来衡量特征上的信息量的指标。U和V^{T}分别是左奇异矩阵和右奇异矩阵，也都是辅助矩阵。

      在数学原理中，无论是PCA还是SVD都需要遍历所有的特征和样本来计算信息量指标，并且在矩阵分解的过程中，会产生比原来更大的矩阵，比如原数据的结构是(m,n)，在矩阵分解中为了找出最佳新特征空间V，可能需要产生(n,n)，(m,m)大小的矩阵，还需要产生协方差矩阵去计算更多的信息，因此，降维算法的计算量很大，运行比较缓慢。

       PAC数据特征创造并不属于特征选择，特征选择只是从已经存在的特征中选取携带信息量最多的，选完之后特征依然具有可解释性，仍然能解释改特征在原数据集上的含义。而PCA是将已经存在的特征进行压缩，降维后的特征不是原特征矩阵中的任何一个特征，而是通过某些方式组合起来的新特征。在新的特征矩阵生成之前，我们无法得知PCA是建立在怎么样的新特征向量上，所以新特征矩阵生成之后不再具有可读性，我们无法判断新特征矩阵的特征是从原数据中的什么特征组合而来，新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义了。PCA一般不适用于探索特征和标签之间的关系的模型（如线性回归），因为无法解释的新特征和标签之间的关系不具有意义。

1.5 sklearn.decomposition.PCA

    class sklearn.decomposition.PCA (n_components=None, copy=True, whiten=False, svd_solver=’auto’, tol=0.0,iterated_power=’auto’, random_state=None)

    n_components就是降维后需要保留的特征数量，即降维流程中第二步里面需要确认的k值，一般输入范围中的整数，k的值会影响到模型的表现，如果k值太大，留下的特征太多，达不到降维的效果，如果k值太小，留下的特征太少，那新特征向量可能无法容纳原始数据集中的大部分信息。n_components取值如何选呢？

    a. 选择最好的n_components：累积可解释方差贡献率曲线。

    当参数n_components中不填写任何值，则默认返回min(X.shape)个特征，一般来说，样本量都会大于特征数目，所以什么都不填就相当于转换了新特征空间，但没有减少特征的个数。一般来说，不会使用这种输入方式。但我们却可以使用这种输入方式来画出累计可解释方差贡献率曲线，以此选择最好的n_components的整数取值。累计可解释方差贡献率曲线是一天以降维后保留的特征个数为横坐标，降维后新特征捕捉到的可解释方差贡献率为纵坐标的曲线，能帮助我们决定n_components的最好取值.

    b.最大似然估计自选超参数

    PCA用最大似然估计(maximum likelihoodestimation)自选超参数的方法，输入“mle”作为n_components的参数输入，就可以调用这种方法。

     c.按信息量占比选超参数

        输入之间的浮点数，并且让参数svd_solver ==’full’，表示希望降维后的总解释性方差占比大于n_components指定的百分比，即是说，希望保留百分之多少的信息量。比如说，如果我们希望保留97%的信息量，就可以输入n_components = 0.97，PCA会自动选出能够让保留的信息量超过97%的特征数量

        svd_solver是奇异值分解器的意思，PCA中为什么会有关奇异值分解的参数呢？SVD有一个惊人的数学性质，它能跳过数学神秘宇宙，不计算协方差矩阵，直接找出一个新特征向量组成的n维空间，而这个n维空间就是奇异值分解后的右矩阵 (就是降维过程中所说的生成新特征向量组成的空间V，并非巧合，而特指奇异值分解中的矩阵 )

        右奇异矩阵 有着如下性质：

        k就是n_compoents,是我们降维后希望得到的维度。若X为(m,n)的特征矩阵， 就是结构为(n,n)的矩阵，取这个矩阵的前k行（进行切片），即将V转化为结构是(k,n)的矩阵。而 与原矩阵X相乘，即可得到降维后的特征矩阵X_dr， 这是说，奇异值分解可以不计算协方差矩阵等等结构复杂计算冗长的矩阵，就直接求出新特征空间和降维后的特征矩阵。

        简而言之，SVD在矩阵分解中的过程比PCA简单快速，但是遗憾的是，SVD的信息量衡量指标比较复杂，要理解”奇异值“远不如理解”方差“来得容易，因此，sklearn将降维流程拆分为了两部分，一部分是计算特征空间的V，由奇异值分解完成，另一部分是映射数据和求解新特征矩阵，由主成分分析完成，实现了用SVD的性质减少计算量，却让信息量的评估指标是方差，具体的流程如下图：

1.6 重要参数 svd_solver与random_state

    参数svd_solver是在降维过程中，用来控制矩阵分解的一些细节的参数。有四种模式可选："auto", "full", "arpack","randomized"，默认”auto"。

    1.’auto’：基于X.shape和n_compoents的默认策略来选择分解器，如果输入数据的尺寸大于500X500且要提取的特征小于数据最小维度的min(X.shape)的80%，就用效果更高的‘randomized’方法，否则就精确完整的SVD将被计算，截断将会在矩阵被分解完成后有选择的发生。

    2.‘full’：从scipy.linalg.svd中调用标准的LAPACK分解器来生成精确完整的SVD，适合数据量比较适中，计算时间充足的情况，生成的精确完整的SVD的结构为：

    3.‘arpack’：从scipy.sparse.linalg.svds调用ARPACK分解器来运行截断奇异值分解(SVD truncated)，分解时就将特征数量降到n_components中输入的数值k，可以加快运算速度，适合特征矩阵很大的时候，但一般用于特征矩阵为稀疏矩阵的情况，此过程包含一定的随机性。截断后的SVD分解出的结构为：

     4.‘randomized’：通过Halko等人的随机方法进行随机SVD。在"full"方法中，分解器会根据原始数据和输入的n_components值去计算和寻找符合需求的新特征向量，但是在"randomized"方法中，分解器会先生成多个随机向量，然后一一去检测这些随机向量中是否有任何一个符合我们的分解需求，如果符合，就保留这个随机向量，并基于这个随机向量来构建后续的向量空间。这个方法已经被Halko等人证明，比"full"模式下计算快很多，并且还能够保证模型运行效果。适合特征矩阵巨大，计算量庞大的情况。

    而参数random_state在参数svd_solver的值为"arpack" or "randomized"的时候生效，可以控制这两种SVD模式中的随机模式。通常我们就选用”auto“，不必对这个参数纠结太多。

Stata中如何只对某一数据类型的变量进行操作

STATA 的功能列表

数据管理 (Data management)
资料转换、分组处理、附加档案、 ODBC 、行 - 列转换、数据标记、字符串函数…等
基本统计 (Basic statistics)
直交表、相关性、 t- 检定、变异数相等性检定、比例检定、信赖区间…等
线性模式 (Linear models)
稳健 Huber/White/sandwich 变异估计 , 三阶最小平方法、类非相关回归、齐次多项式回归、 GLS
广义型线性模式 (Generalized linear models)
十连结函数、使用者 - 定义连结、 ML 及 IRLS 估计、
九变异数估计、七残差…等
二元、计数及有限应变量
(Binary, count, and limited dependent variables)
罗吉斯特、 probit 、卜松回归、 tobit 、 truncated 回归、条件罗吉斯特、多项式逻辑、巢状逻辑、负二项、 zero-inflated 模型、 Heckman 选择模式、边际影响
Panel 数据 / 交叉 - 组合时间序列
(Panel data/cross-sectional time-series)
随机及固定影响之回归、 GEE 、随机及固定 - 影响之
卜松及负二项分配、随机 - 影响、工具变量回归、
AR(1) 干扰回归
无母数方法 (Nonparametric methods)
多变量方法 (Multivariate methods)
因素分析、多变量回归、 anonical 相关系数
模型检定及事后估计量支持分析
(Model testing and post-estimation support)
Wald 检定、 LR 检定、 线性及非线性组合、非线性限制检定、边际影响、修正平均数 Hausman 检定
群集分析 (Cluster analysis)
加权平均 , 质量中心及中位数联结、 kmeans 、 kmedians 、 dendrograms 、停止规则、使用者扩充
图形 (Graphics)
直线图、散布图、条状图、圆饼图、 hi-lo 图、
回归诊断图…
调查方法 (Survey methods)
抽样权重、丛集抽样、分层、线性变异数估计量、拟 - 概似最大估计量、回归、工具变量…
生存分析 (Survival analysis)
Kaplan – Meier 、 Nelson – Aalen, 、 Cox 回归 ( 弱性 ) 、参数模式 ( 弱性 ) 、危险比例测试、时间共变项、
左 - 右检查、韦柏分配、指数分配…
流行病学工具 (Tools for epidemiologists)
比例标准化、病例控制、已配适病例控制、 Mantel – Haenszel, 药理学、 ROC 分析、 ICD-9-CM
时间序列 (Time series)
ARIMA 、 ARCH/GARCH 、 VAR 、 Newey – West 、 correlograms 、 periodograms 、白色 - 噪音测试 ,
最小整数根检定、时间序列运算、平滑化
最大概似法 (Maximum likelihood)
转换及常态检定 (Transforms and normality tests)
Box – Cox 、次方转换 Shapiro – Wilk 、 Shapiro – Francia 检定
其它统计方法 (Other statistical methods)
样本数量及次方、非线性回归、逐步式回归 、统计及数学函数
包含样本范例 (Sample session)
再抽样及模拟方法 (Resampling and simulation methods)
bootstrapping 、 jackknife 、蒙地卡罗模拟、排列检定
网络功能
安装新指令、网络升级、网站档案分享、 Stata 最新消息
epiman论坛学习资源丰富，学术氛围良好，在国内新生代公共卫生学术界有一定影响力。是探讨Stata ，spss,sas,epidata等统计软件的主流论坛之一。