Asymptotic Statistics

Asymptotic Statistics......Page 2
Contents......Page 8
Preface......Page 14
Notation......Page 16
1.1 Approximate Statistical Procedures......Page 18
1.2 Asymptotic Optimality Theory......Page 19
1.3 Limitations......Page 20
1.4 The Index n......Page 21
2.1 Basic Theory......Page 22
2.2 Stochastic o and O Symbols......Page 29
*2.3 Characteristic Functions......Page 30
*2.5 Convergence of Moments......Page 34
*2.6 Convergence-Determining Classes......Page 35
*2.7 Law of the Iterated Logarithm......Page 36
*2.8 Lindeberg-Feller Theorem......Page 37
*2.9 Convergence in Total Variation......Page 39
Problems......Page 41
3.1 Basic Result......Page 42
3.2 Variance-Stabilizing Transformations......Page 47
*3.3 Higher-Order Expansions......Page 48
*3.4 Uniform Delta Method......Page 49
*3.5 Moments......Page 50
Problems......Page 51
4.1 Method of Moments......Page 52
*4.2 Exponential Families......Page 54
Problems......Page 57
5.1 Introduction......Page 58
5.2 Consistency......Page 61
5.3 Asymptotic Normality......Page 68
*5.4 Estimated Parameters......Page 77
5.5 Maximum Likelihood Estimators......Page 78
*5.6 Classical Conditions......Page 84
*5.7 One-Step Estimators......Page 88
*5.8 Rates of Convergence......Page 92
*5.9 Argmax Theorem......Page 96
Problems......Page 100
6.1 Likelihood Ratios......Page 102
6.2 Contiguity......Page 104
Problems......Page 108
7.1 Introduction......Page 109
7.2 Expanding the Likelihood......Page 110
7.3 Convergence to a Normal Experiment......Page 114
7.4 Maximum Likelihood......Page 117
*7.6 Local Asymptotic Normality......Page 120
Problems......Page 123
8.1 Asymptotic Concentration......Page 125
8.2 Relative Efficiency......Page 127
8.3 Lower Bound for Experiments......Page 128
8.4 Estimating Normal Means......Page 129
8.6 Almost-Everywhere Convolution Theorem......Page 132
*8.7 Local Asymptotic Minimax Theorem......Page 134
*8.8 Shrinkage Estimators......Page 136
*8.9 Achieving the Bound......Page 137
*8.10 Large Deviations......Page 139
Problems......Page 140
9.1 Introduction......Page 142
9.2 Asymptotic Representation Theorem......Page 143
9.3 Asymptotic Normality......Page 144
9.4 Uniform Distribution......Page 146
9.5 Pareto Distribution......Page 147
9.6 Asymptotic Mixed Normality......Page 148
9.7 Heuristics......Page 153
Problems......Page 154
10.1 Introduction......Page 155
10.2 Bernstein-von Mises Theorem......Page 157
10.3 Point Estimators......Page 163
*10.4 Consistency......Page 166
Problems......Page 169
11.1 Projections......Page 170
11.2 Conditional Expectation......Page 172
*11.4 Hoeffding Decomposition......Page 174
Problems......Page 177
12.1 One-Sample U-Statistics......Page 178
12.2 Two-Sample U-statistics......Page 182
*12.3 Degenerate U-Statistics......Page 184
Problems......Page 188
13.1 Rank Statistics......Page 190
13.2 Signed Rank Statistics......Page 198
*13.4 Rank Statistics under Alternatives......Page 201
13.5 Permutation Tests......Page 205
Problems......Page 207
14.1 Asymptotic Power Functions......Page 209
14.2 Consistency......Page 216
14.3 Asymptotic Relative Efficiency......Page 218
*14.4 Other Relative Efficiencies......Page 219
*14.5 Rescaling Rates......Page 228
Problems......Page 230
15.1 Asymptotic Representation Theorem......Page 232
15.2 Testing Normal Means......Page 233
15.3 Local Asymptotic Normality......Page 235
15.4 One-Sample Location......Page 237
15.5 Two-Sample Problems......Page 240
Problems......Page 243
16.1 Introduction......Page 244
*16.2 Taylor Expansion......Page 246
16.3 Using Local Asymptotic Normality......Page 248
16.4 Asymptotic Power Functions......Page 253
*16.6 Bahadur Efficiency......Page 255
Problems......Page 258
17.2 Pearson Statistic......Page 259
17.3 Estimated Parameters......Page 261
17.4 Testing Independence......Page 264
*17.5 Goodness-of-Fit Tests......Page 265
*17.6 Asymptotic Efficiency......Page 268
Problems......Page 270
18.1 Metric and Normed Spaces......Page 272
18.2 Basic Properties......Page 275
18.3 Bounded Stochastic Processes......Page 277
Problems......Page 280
19.1 Empirical Distribution Functions......Page 282
19.2 Empirical Distributions......Page 286
19.3 Goodness-of-Fit Statistics......Page 294
19.4 Random Functions......Page 296
19.5 Changing Classes......Page 299
19.6 Maximal Inequalities......Page 301
Problems......Page 306
20.1 von Mises Calculus......Page 308
20.2 Hadamard-Differentiable Functions......Page 313
20.3 Some Examples......Page 315
Problems......Page 320
21.1 Weak Consistency......Page 321
21.2 Asymptotic Normality......Page 322
21.3 Median Absolute Deviation......Page 327
21.4 Extreme Values......Page 329
Problems......Page 332
22.1 Introduction......Page 333
22.2 Hajek Projection......Page 335
22.3 Delta Method......Page 337
22.4 L-Estimators for Location......Page 340
Problems......Page 341
23.1 Introduction......Page 343
23.2 Consistency......Page 346
23.3 Higher-Order Correctness......Page 351
Problems......Page 356
24.2 Kernel Estimators......Page 358
24.3 Rate Optimality......Page 363
24.4 Estimating a Unimodal Density......Page 366
Problems......Page 373
25.1 Introduction......Page 375
25.2 Banach and Hilbert Spaces......Page 377
25.3 Tangent Spaces and Information......Page 379
25.4 Efficient Score Functions......Page 385
25.5 Score and Information Operators......Page 388
25.6 Testing......Page 401
*25.7 Efficiency and the Delta Method......Page 403
25.8 Efficient Score Equations......Page 408
25.9 General Estimating Equations......Page 417
25.10 Maximum Likelihood Estimators......Page 419
25.11 Approximately Least-Favorable Submodels......Page 425
25.12 Likelihood Equations......Page 436
Problems......Page 448
References......Page 450
Index......Page 456