一 cora数据集- 内容介绍
cora数据集- 下载地址
https://linqs-data.soe.ucsc.edu/public/lbc/cora.tgz
样本特征，标签，邻接矩阵
- 该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1）基于案例；2）遗传算法；3）神经网络；4）概率方法；5）强化学习；6）规则学习；7）理论
- 每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。
- 每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。
二 文件格式
- 下载的压缩包中有三个文件，分别是cora.cites，cora.content，README。
- README是对数据集的介绍；cora.content是所有论文的独自的信息；cora.cites是论文之间的引用记录。
cora.content
共有2708行，每一行代表一个样本点，即一篇论文。如下所示，每一行由三部分组成，
- 分别是论文的编号，如31336；
- 论文的词向量，一个有1433位的二进制, 表示1433个词汇中的每个单词在文章中是存在(由1表示)还是不存在(由0表示)
- 论文的类别，如Neural_Networks。
因此该数据的特征应该有 1433 个维度，另外加上第一个字段 idx，最后一个字段 label， 一共有 1433 + 2 个维度。
31336 0 0..... 0 0 0 0 0 0 0 0 0 0 0 0 Neural_Networks
1061127 0 0..... 0 0 0 0 0 0 0 0 0 0 0 0 Rule_Learning
1106406 0 0..... 0 0 0 0 0 0 0 0 0 0 0 Reinforcement_Learningcora.cites
- 共5429行， 每一行有两个论文编号，表示第一个编号的论文先写，第二个编号的论文引用第一个编号的论文。如下所示：
35 1033
35 103482
35 103515- 如果将论文看做图中的点，那么这5429行便是点之间的5429条边。
三 用Python处理
用python导入数据，并分离样本特征，标签，创建邻接矩阵
import numpy as np
import scipy.sparse as sp
import torch
import pandas as pd
import numpy as np
# 导入数据：分隔符为空格
raw_data = pd.read_csv('../data/cora/cora.content', sep='\t', header=None)
num = raw_data.shape[0] # 样本点数2708
# 将论文的编号转[0,2707]
a = list(raw_data.index)
b = list(raw_data[0])
c = zip(b, a)
map = dict(c)
# 将词向量提取为特征,第二行到倒数第二行
features = raw_data.iloc[:, 1:-1]
# 检查特征：共1433个特征，2708个样本点
print(features.shape)
labels = pd.get_dummies(raw_data[1434])
print(labels.head(3))
raw_data_cites = pd.read_csv('../data/cora/cora.cites', sep='\t', header=None)
# 创建一个规模和邻接矩阵一样大小的矩阵
matrix = np.zeros((num, num))
# 创建邻接矩阵
for i, j in zip(raw_data_cites[0], raw_data_cites[1]):
x = map[i]
y = map[j] # 替换论文编号为[0,2707]
matrix[x][y] = matrix[y][x] = 1 # 有引用关系的样本点之间取1
# 查看邻接矩阵的元素和（按每列汇总）
print(sum(matrix))
import numpy as np
import scipy.sparse as sp
import torch
def encode_onehot(labels):
classes = set(labels)
classes_dict = {c: np.identity(len(classes))[i, :] for i, c in
enumerate(classes)}
labels_onehot = np.array(list(map(classes_dict.get, labels)),
dtype=np.int32)
return labels_onehot
def normalize(mx):
"""Row-normalize sparse matrix"""
rowsum = np.array(mx.sum(1))
r_inv = np.power(rowsum, -1).flatten()
r_inv[np.isinf(r_inv)] = 0.
r_mat_inv = sp.diags(r_inv)
mx = r_mat_inv.dot(mx)
return mx
def normalize_adj(adjacency):
degree = np.array(adjacency.sum(1))
d_hat = sp.diags(np.power(degree, -0.5).flatten())
adj_norm = d_hat.dot(adjacency).dot(d_hat).tocoo()
return adj_norm
def normalize_features(features):
return features / features.sum(1)
def load_data(path="../data/cora/", dataset="cora"):
"""Load citation network dataset (cora only for now)"""
print('Loading {} dataset...'.format(dataset))
idx_features_labels = np.genfromtxt("{}{}.content".format(path, dataset),
dtype=np.dtype(str))
features = sp.csr_matrix(idx_features_labels[:, 1:-1], dtype=np.float32)
labels = encode_onehot(idx_features_labels[:, -1])
# build graph
idx = np.array(idx_features_labels[:, 0], dtype=np.int32)
idx_map = {j: i for i, j in enumerate(idx)}
edges_unordered = np.genfromtxt("{}{}.cites".format(path, dataset),
dtype=np.int32)
edges = np.array(list(map(idx_map.get, edges_unordered.flatten())),
dtype=np.int32).reshape(edges_unordered.shape)
adj = sp.coo_matrix((np.ones(edges.shape[0]), (edges[:, 0], edges[:, 1])),
shape=(labels.shape[0], labels.shape[0]),
dtype=np.float32)
# build symmetric adjacency matrix
adj = adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj)
features = normalize_features(features)
adj = normalize_adj(adj + sp.eye(adj.shape[0]))
idx_train = range(140)
idx_val = range(200, 500)
idx_test = range(500, 1500)
features = torch.FloatTensor(np.array(features))
labels = torch.LongTensor(np.where(labels)[1])
adj = torch.FloatTensor(np.array(adj.todense()))
idx_train = torch.LongTensor(idx_train)
idx_val = torch.LongTensor(idx_val)
idx_test = torch.LongTensor(idx_test)
return adj, features, labels, idx_train, idx_val, idx_test
# Load data
adj, features, labels, idx_train, idx_val, idx_test = load_data()
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
