tools/perf/util/dso.c

   1 #include <asm/bug.h>
   2 #include <sys/time.h>
   3 #include <sys/resource.h>
   4 #include "symbol.h"
   5 #include "dso.h"
   6 #include "machine.h"
   7 #include "auxtrace.h"
   8 #include "util.h"
   9 #include "debug.h"
  10 #include "vdso.h"
  11
  12 static const char * const debuglink_paths[] = {
  13         "%.0s%s",
  14         "%s/%s",
  15         "%s/.debug/%s",
  16         "/usr/lib/debug%s/%s"
  17 };
  18
  19 char dso__symtab_origin(const struct dso *dso)
  20 {
  21         static const char origin[] = {
  22                 [DSO_BINARY_TYPE__KALLSYMS]                     = 'k',
  23                 [DSO_BINARY_TYPE__VMLINUX]                      = 'v',
  24                 [DSO_BINARY_TYPE__JAVA_JIT]                     = 'j',
  25                 [DSO_BINARY_TYPE__DEBUGLINK]                    = 'l',
  26                 [DSO_BINARY_TYPE__BUILD_ID_CACHE]               = 'B',
  27                 [DSO_BINARY_TYPE__FEDORA_DEBUGINFO]             = 'f',
  28                 [DSO_BINARY_TYPE__UBUNTU_DEBUGINFO]             = 'u',
  29                 [DSO_BINARY_TYPE__OPENEMBEDDED_DEBUGINFO]       = 'o',
  30                 [DSO_BINARY_TYPE__BUILDID_DEBUGINFO]            = 'b',
  31                 [DSO_BINARY_TYPE__SYSTEM_PATH_DSO]              = 'd',
  32                 [DSO_BINARY_TYPE__SYSTEM_PATH_KMODULE]          = 'K',
  33                 [DSO_BINARY_TYPE__SYSTEM_PATH_KMODULE_COMP]     = 'm',
  34                 [DSO_BINARY_TYPE__GUEST_KALLSYMS]               = 'g',
  35                 [DSO_BINARY_TYPE__GUEST_KMODULE]                = 'G',
  36                 [DSO_BINARY_TYPE__GUEST_KMODULE_COMP]           = 'M',
  37                 [DSO_BINARY_TYPE__GUEST_VMLINUX]                = 'V',
  38         };
  39
  40         if (dso == NULL || dso->symtab_type == DSO_BINARY_TYPE__NOT_FOUND)
  41                 return '!';
  42         return origin[dso->symtab_type];
  43 }
  44
  45 int dso__read_binary_type_filename(const struct dso *dso,
  46                                    enum dso_binary_type type,
  47                                    char *root_dir, char *filename, size_t size)
  48 {
  49         char build_id_hex[SBUILD_ID_SIZE];
  50         int ret = 0;
  51         size_t len;
  52
  53         switch (type) {
  54         case DSO_BINARY_TYPE__DEBUGLINK:
  55         {
  56                 const char *last_slash;
  57                 char dso_dir[PATH_MAX];
  58                 char symfile[PATH_MAX];
  59                 unsigned int i;
  60
  61                 len = __symbol__join_symfs(filename, size, dso->long_name);
  62                 last_slash = filename + len;
  63                 while (last_slash != filename && *last_slash != '/')
  64                         last_slash--;
  65
  66                 strncpy(dso_dir, filename, last_slash - filename);
  67                 dso_dir[last_slash-filename] = '\0';
  68
  69                 if (!is_regular_file(filename)) {
  70                         ret = -1;
  71                         break;
  72                 }
  73
  74                 ret = filename__read_debuglink(filename, symfile, PATH_MAX);
  75                 if (ret)
  76                         break;
  77
  78                 /* Check predefined locations where debug file might reside */
  79                 ret = -1;
  80                 for (i = 0; i < ARRAY_SIZE(debuglink_paths); i++) {
  81                         snprintf(filename, size,
  82                                         debuglink_paths[i], dso_dir, symfile);
  83                         if (is_regular_file(filename)) {
  84                                 ret = 0;
  85                                 break;
  86                         }
  87                 }
  88
  89                 break;
  90         }
  91         case DSO_BINARY_TYPE__BUILD_ID_CACHE:
  92                 if (dso__build_id_filename(dso, filename, size) == NULL)
  93                         ret = -1;
  94                 break;
  95
  96         case DSO_BINARY_TYPE__FEDORA_DEBUGINFO:
  97                 len = __symbol__join_symfs(filename, size, "/usr/lib/debug");
  98                 snprintf(filename + len, size - len, "%s.debug", dso->long_name);
  99                 break;
 100
 101         case DSO_BINARY_TYPE__UBUNTU_DEBUGINFO:
 102                 len = __symbol__join_symfs(filename, size, "/usr/lib/debug");
 103                 snprintf(filename + len, size - len, "%s", dso->long_name);
 104                 break;
 105
 106         case DSO_BINARY_TYPE__OPENEMBEDDED_DEBUGINFO:
 107         {
 108                 const char *last_slash;
 109                 size_t dir_size;
 110
 111                 last_slash = dso->long_name + dso->long_name_len;
 112                 while (last_slash != dso->long_name && *last_slash != '/')
 113                         last_slash--;
 114
 115                 len = __symbol__join_symfs(filename, size, "");
 116                 dir_size = last_slash - dso->long_name + 2;
 117                 if (dir_size > (size - len)) {
 118                         ret = -1;
 119                         break;
 120                 }
 121                 len += scnprintf(filename + len, dir_size, "%s",  dso->long_name);
 122                 len += scnprintf(filename + len , size - len, ".debug%s",
 123                                                                 last_slash);
 124                 break;
 125         }
 126
 127         case DSO_BINARY_TYPE__BUILDID_DEBUGINFO:
 128                 if (!dso->has_build_id) {
 129                         ret = -1;
 130                         break;
 131                 }
 132
 133                 build_id__sprintf(dso->build_id,
 134                                   sizeof(dso->build_id),
 135                                   build_id_hex);
 136                 len = __symbol__join_symfs(filename, size, "/usr/lib/debug/.build-id/");
 137                 snprintf(filename + len, size - len, "%.2s/%s.debug",
 138                          build_id_hex, build_id_hex + 2);
 139                 break;
 140
 141         case DSO_BINARY_TYPE__VMLINUX:
 142         case DSO_BINARY_TYPE__GUEST_VMLINUX:
 143         case DSO_BINARY_TYPE__SYSTEM_PATH_DSO:
 144                 __symbol__join_symfs(filename, size, dso->long_name);
 145                 break;
 146
 147         case DSO_BINARY_TYPE__GUEST_KMODULE:
 148         case DSO_BINARY_TYPE__GUEST_KMODULE_COMP:
 149                 path__join3(filename, size, symbol_conf.symfs,
 150                             root_dir, dso->long_name);
 151                 break;
 152
 153         case DSO_BINARY_TYPE__SYSTEM_PATH_KMODULE:
 154         case DSO_BINARY_TYPE__SYSTEM_PATH_KMODULE_COMP:
 155                 __symbol__join_symfs(filename, size, dso->long_name);
 156                 break;
 157
 158         case DSO_BINARY_TYPE__KCORE:
 159         case DSO_BINARY_TYPE__GUEST_KCORE:
 160                 snprintf(filename, size, "%s", dso->long_name);
 161                 break;
 162
 163         default:
 164         case DSO_BINARY_TYPE__KALLSYMS:
 165         case DSO_BINARY_TYPE__GUEST_KALLSYMS:
 166         case DSO_BINARY_TYPE__JAVA_JIT:
 167         case DSO_BINARY_TYPE__NOT_FOUND:
 168                 ret = -1;
 169                 break;
 170         }
 171
 172         return ret;
 173 }
 174
 175 static const struct {
 176         const char *fmt;
 177         int (*decompress)(const char *input, int output);
 178 } compressions[] = {
 179 #ifdef HAVE_ZLIB_SUPPORT
 180         { "gz", gzip_decompress_to_file },
 181 #endif
 182 #ifdef HAVE_LZMA_SUPPORT
 183         { "xz", lzma_decompress_to_file },
 184 #endif
 185         { NULL, NULL },
 186 };
 187
 188 bool is_supported_compression(const char *ext)
 189 {
 190         unsigned i;
 191
 192         for (i = 0; compressions[i].fmt; i++) {
 193                 if (!strcmp(ext, compressions[i].fmt))
 194                         return true;
 195         }
 196         return false;
 197 }
 198
 199 bool is_kernel_module(const char *pathname, int cpumode)
 200 {
 201         struct kmod_path m;
 202         int mode = cpumode & PERF_RECORD_MISC_CPUMODE_MASK;
 203
 204         WARN_ONCE(mode != cpumode,
 205                   "Internal error: passing unmasked cpumode (%x) to is_kernel_module",
 206                   cpumode);
 207
 208         switch (mode) {
 209         case PERF_RECORD_MISC_USER:
 210         case PERF_RECORD_MISC_HYPERVISOR:
 211         case PERF_RECORD_MISC_GUEST_USER:
 212                 return false;
 213         /* Treat PERF_RECORD_MISC_CPUMODE_UNKNOWN as kernel */
 214         default:
 215                 if (kmod_path__parse(&m, pathname)) {
 216                         pr_err("Failed to check whether %s is a kernel module or not. Assume it is.",
 217                                         pathname);
 218                         return true;
 219                 }
 220         }
 221
 222         return m.kmod;
 223 }
 224
 225 bool decompress_to_file(const char *ext, const char *filename, int output_fd)
 226 {
 227         unsigned i;
 228
 229         for (i = 0; compressions[i].fmt; i++) {
 230                 if (!strcmp(ext, compressions[i].fmt))
 231                         return !compressions[i].decompress(filename,
 232                                                            output_fd);
 233         }
 234         return false;
 235 }
 236
 237 bool dso__needs_decompress(struct dso *dso)
 238 {
 239         return dso->symtab_type == DSO_BINARY_TYPE__SYSTEM_PATH_KMODULE_COMP ||
 240                 dso->symtab_type == DSO_BINARY_TYPE__GUEST_KMODULE_COMP;
 241 }
 242
 243 /*
 244  * Parses kernel module specified in @path and updates
 245  * @m argument like:
 246  *
 247  *    @comp - true if @path contains supported compression suffix,
 248  *            false otherwise
 249  *    @kmod - true if @path contains '.ko' suffix in right position,
 250  *            false otherwise
 251  *    @name - if (@alloc_name && @kmod) is true, it contains strdup-ed base name
 252  *            of the kernel module without suffixes, otherwise strudup-ed
 253  *            base name of @path
 254  *    @ext  - if (@alloc_ext && @comp) is true, it contains strdup-ed string
 255  *            the compression suffix
 256  *
 257  * Returns 0 if there's no strdup error, -ENOMEM otherwise.
 258  */
 259 int __kmod_path__parse(struct kmod_path *m, const char *path,
 260                        bool alloc_name, bool alloc_ext)
 261 {
 262         const char *name = strrchr(path, '/');
 263         const char *ext  = strrchr(path, '.');
 264         bool is_simple_name = false;
 265
 266         memset(m, 0x0, sizeof(*m));
 267         name = name ? name + 1 : path;
 268
 269         /*
 270          * '.' is also a valid character for module name. For example:
 271          * [aaa.bbb] is a valid module name. '[' should have higher
 272          * priority than '.ko' suffix.
 273          *
 274          * The kernel names are from machine__mmap_name. Such
 275          * name should belong to kernel itself, not kernel module.
 276          */
 277         if (name[0] == '[') {
 278                 is_simple_name = true;
 279                 if ((strncmp(name, "[kernel.kallsyms]", 17) == 0) ||
 280                     (strncmp(name, "[guest.kernel.kallsyms", 22) == 0) ||
 281                     (strncmp(name, "[vdso]", 6) == 0) ||
 282                     (strncmp(name, "[vsyscall]", 10) == 0)) {
 283                         m->kmod = false;
 284
 285                 } else
 286                         m->kmod = true;
 287         }
 288
 289         /* No extension, just return name. */
 290         if ((ext == NULL) || is_simple_name) {
 291                 if (alloc_name) {
 292                         m->name = strdup(name);
 293                         return m->name ? 0 : -ENOMEM;
 294                 }
 295                 return 0;
 296         }
 297
 298         if (is_supported_compression(ext + 1)) {
 299                 m->comp = true;
 300                 ext -= 3;
 301         }
 302
 303         /* Check .ko extension only if there's enough name left. */
 304         if (ext > name)
 305                 m->kmod = !strncmp(ext, ".ko", 3);
 306
 307         if (alloc_name) {
 308                 if (m->kmod) {
 309                         if (asprintf(&m->name, "[%.*s]", (int) (ext - name), name) == -1)
 310                                 return -ENOMEM;
 311                 } else {
 312                         if (asprintf(&m->name, "%s", name) == -1)
 313                                 return -ENOMEM;
 314                 }
 315
 316                 strxfrchar(m->name, '-', '_');
 317         }
 318
 319         if (alloc_ext && m->comp) {
 320                 m->ext = strdup(ext + 4);
 321                 if (!m->ext) {
 322                         free((void *) m->name);
 323                         return -ENOMEM;
 324                 }
 325         }
 326
 327         return 0;
 328 }
 329
 330 /*
 331  * Global list of open DSOs and the counter.
 332  */
 333 static LIST_HEAD(dso__data_open);
 334 static long dso__data_open_cnt;
 335 static pthread_mutex_t dso__data_open_lock = PTHREAD_MUTEX_INITIALIZER;
 336
 337 static void dso__list_add(struct dso *dso)
 338 {
 339         list_add_tail(&dso->data.open_entry, &dso__data_open);
 340         dso__data_open_cnt++;
 341 }
 342
 343 static void dso__list_del(struct dso *dso)
 344 {
 345         list_del(&dso->data.open_entry);
 346         WARN_ONCE(dso__data_open_cnt <= 0,
 347                   "DSO data fd counter out of bounds.");
 348         dso__data_open_cnt--;
 349 }
 350
 351 static void close_first_dso(void);
 352
 353 static int do_open(char *name)
 354 {
 355         int fd;
 356         char sbuf[STRERR_BUFSIZE];
 357
 358         do {
 359                 fd = open(name, O_RDONLY);
 360                 if (fd >= 0)
 361                         return fd;
 362
 363                 pr_debug("dso open failed: %s\n",
 364                          str_error_r(errno, sbuf, sizeof(sbuf)));
 365                 if (!dso__data_open_cnt || errno != EMFILE)
 366                         break;
 367
 368                 close_first_dso();
 369         } while (1);
 370
 371         return -1;
 372 }
 373
 374 static int __open_dso(struct dso *dso, struct machine *machine)
 375 {
 376         int fd;
 377         char *root_dir = (char *)"";
 378         char *name = malloc(PATH_MAX);
 379
 380         if (!name)
 381                 return -ENOMEM;
 382
 383         if (machine)
 384                 root_dir = machine->root_dir;
 385
 386         if (dso__read_binary_type_filename(dso, dso->binary_type,
 387                                             root_dir, name, PATH_MAX)) {
 388                 free(name);
 389                 return -EINVAL;
 390         }
 391
 392         if (!is_regular_file(name))
 393                 return -EINVAL;
 394
 395         fd = do_open(name);
 396         free(name);
 397         return fd;
 398 }
 399
 400 static void check_data_close(void);
 401
 402 /**
 403  * dso_close - Open DSO data file
 404  * @dso: dso object
 405  *
 406  * Open @dso's data file descriptor and updates
 407  * list/count of open DSO objects.
 408  */
 409 static int open_dso(struct dso *dso, struct machine *machine)
 410 {
 411         int fd = __open_dso(dso, machine);
 412
 413         if (fd >= 0) {
 414                 dso__list_add(dso);
 415                 /*
 416                  * Check if we crossed the allowed number
 417                  * of opened DSOs and close one if needed.
 418                  */
 419                 check_data_close();
 420         }
 421
 422         return fd;
 423 }
 424
 425 static void close_data_fd(struct dso *dso)
 426 {
 427         if (dso->data.fd >= 0) {
 428                 close(dso->data.fd);
 429                 dso->data.fd = -1;
 430                 dso->data.file_size = 0;
 431                 dso__list_del(dso);
 432         }
 433 }
 434
 435 /**
 436  * dso_close - Close DSO data file
 437  * @dso: dso object
 438  *
 439  * Close @dso's data file descriptor and updates
 440  * list/count of open DSO objects.
 441  */
 442 static void close_dso(struct dso *dso)
 443 {
 444         close_data_fd(dso);
 445 }
 446
 447 static void close_first_dso(void)
 448 {
 449         struct dso *dso;
 450
 451         dso = list_first_entry(&dso__data_open, struct dso, data.open_entry);
 452         close_dso(dso);
 453 }
 454
 455 static rlim_t get_fd_limit(void)
 456 {
 457         struct rlimit l;
 458         rlim_t limit = 0;
 459
 460         /* Allow half of the current open fd limit. */
 461         if (getrlimit(RLIMIT_NOFILE, &l) == 0) {
 462                 if (l.rlim_cur == RLIM_INFINITY)
 463                         limit = l.rlim_cur;
 464                 else
 465                         limit = l.rlim_cur / 2;
 466         } else {
 467                 pr_err("failed to get fd limit\n");
 468                 limit = 1;
 469         }
 470
 471         return limit;
 472 }
 473
 474 static rlim_t fd_limit;
 475
 476 /*
 477  * Used only by tests/dso-data.c to reset the environment
 478  * for tests. I dont expect we should change this during
 479  * standard runtime.
 480  */
 481 void reset_fd_limit(void)
 482 {
 483         fd_limit = 0;
 484 }
 485
 486 static bool may_cache_fd(void)
 487 {
 488         if (!fd_limit)
 489                 fd_limit = get_fd_limit();
 490
 491         if (fd_limit == RLIM_INFINITY)
 492                 return true;
 493
 494         return fd_limit > (rlim_t) dso__data_open_cnt;
 495 }
 496
 497 /*
 498  * Check and close LRU dso if we crossed allowed limit
 499  * for opened dso file descriptors. The limit is half
 500  * of the RLIMIT_NOFILE files opened.
 501 */
 502 static void check_data_close(void)
 503 {
 504         bool cache_fd = may_cache_fd();
 505
 506         if (!cache_fd)
 507                 close_first_dso();
 508 }
 509
 510 /**
 511  * dso__data_close - Close DSO data file
 512  * @dso: dso object
 513  *
 514  * External interface to close @dso's data file descriptor.
 515  */
 516 void dso__data_close(struct dso *dso)
 517 {
 518         pthread_mutex_lock(&dso__data_open_lock);
 519         close_dso(dso);
 520         pthread_mutex_unlock(&dso__data_open_lock);
 521 }
 522
 523 static void try_to_open_dso(struct dso *dso, struct machine *machine)
 524 {
 525         enum dso_binary_type binary_type_data[] = {
 526                 DSO_BINARY_TYPE__BUILD_ID_CACHE,
 527                 DSO_BINARY_TYPE__SYSTEM_PATH_DSO,
 528                 DSO_BINARY_TYPE__NOT_FOUND,
 529         };
 530         int i = 0;
 531
 532         if (dso->data.fd >= 0)
 533                 return;
 534
 535         if (dso->binary_type != DSO_BINARY_TYPE__NOT_FOUND) {
 536                 dso->data.fd = open_dso(dso, machine);
 537                 goto out;
 538         }
 539
 540         do {
 541                 dso->binary_type = binary_type_data[i++];
 542
 543                 dso->data.fd = open_dso(dso, machine);
 544                 if (dso->data.fd >= 0)
 545                         goto out;
 546
 547         } while (dso->binary_type != DSO_BINARY_TYPE__NOT_FOUND);
 548 out:
 549         if (dso->data.fd >= 0)
 550                 dso->data.status = DSO_DATA_STATUS_OK;
 551         else
 552                 dso->data.status = DSO_DATA_STATUS_ERROR;
 553 }
 554
 555 /**
 556  * dso__data_get_fd - Get dso's data file descriptor
 557  * @dso: dso object
 558  * @machine: machine object
 559  *
 560  * External interface to find dso's file, open it and
 561  * returns file descriptor.  It should be paired with
 562  * dso__data_put_fd() if it returns non-negative value.
 563  */
 564 int dso__data_get_fd(struct dso *dso, struct machine *machine)
 565 {
 566         if (dso->data.status == DSO_DATA_STATUS_ERROR)
 567                 return -1;
 568
 569         if (pthread_mutex_lock(&dso__data_open_lock) < 0)
 570                 return -1;
 571
 572         try_to_open_dso(dso, machine);
 573
 574         if (dso->data.fd < 0)
 575                 pthread_mutex_unlock(&dso__data_open_lock);
 576
 577         return dso->data.fd;
 578 }
 579
 580 void dso__data_put_fd(struct dso *dso __maybe_unused)
 581 {
 582         pthread_mutex_unlock(&dso__data_open_lock);
 583 }
 584
 585 bool dso__data_status_seen(struct dso *dso, enum dso_data_status_seen by)
 586 {
 587         u32 flag = 1 << by;
 588
 589         if (dso->data.status_seen & flag)
 590                 return true;
 591
 592         dso->data.status_seen |= flag;
 593
 594         return false;
 595 }
 596
 597 static void
 598 dso_cache__free(struct dso *dso)
 599 {
 600         struct rb_root *root = &dso->data.cache;
 601         struct rb_node *next = rb_first(root);
 602
 603         pthread_mutex_lock(&dso->lock);
 604         while (next) {
 605                 struct dso_cache *cache;
 606
 607                 cache = rb_entry(next, struct dso_cache, rb_node);
 608                 next = rb_next(&cache->rb_node);
 609                 rb_erase(&cache->rb_node, root);
 610                 free(cache);
 611         }
 612         pthread_mutex_unlock(&dso->lock);
 613 }
 614
 615 static struct dso_cache *dso_cache__find(struct dso *dso, u64 offset)
 616 {
 617         const struct rb_root *root = &dso->data.cache;
 618         struct rb_node * const *p = &root->rb_node;
 619         const struct rb_node *parent = NULL;
 620         struct dso_cache *cache;
 621
 622         while (*p != NULL) {
 623                 u64 end;
 624
 625                 parent = *p;
 626                 cache = rb_entry(parent, struct dso_cache, rb_node);
 627                 end = cache->offset + DSO__DATA_CACHE_SIZE;
 628
 629                 if (offset < cache->offset)
 630                         p = &(*p)->rb_left;
 631                 else if (offset >= end)
 632                         p = &(*p)->rb_right;
 633                 else
 634                         return cache;
 635         }
 636
 637         return NULL;
 638 }
 639
 640 static struct dso_cache *
 641 dso_cache__insert(struct dso *dso, struct dso_cache *new)
 642 {
 643         struct rb_root *root = &dso->data.cache;
 644         struct rb_node **p = &root->rb_node;
 645         struct rb_node *parent = NULL;
 646         struct dso_cache *cache;
 647         u64 offset = new->offset;
 648
 649         pthread_mutex_lock(&dso->lock);
 650         while (*p != NULL) {
 651                 u64 end;
 652
 653                 parent = *p;
 654                 cache = rb_entry(parent, struct dso_cache, rb_node);
 655                 end = cache->offset + DSO__DATA_CACHE_SIZE;
 656
 657                 if (offset < cache->offset)
 658                         p = &(*p)->rb_left;
 659                 else if (offset >= end)
 660                         p = &(*p)->rb_right;
 661                 else
 662                         goto out;
 663         }
 664
 665         rb_link_node(&new->rb_node, parent, p);
 666         rb_insert_color(&new->rb_node, root);
 667
 668         cache = NULL;
 669 out:
 670         pthread_mutex_unlock(&dso->lock);
 671         return cache;
 672 }
 673
 674 static ssize_t
 675 dso_cache__memcpy(struct dso_cache *cache, u64 offset,
 676                   u8 *data, u64 size)
 677 {
 678         u64 cache_offset = offset - cache->offset;
 679         u64 cache_size   = min(cache->size - cache_offset, size);
 680
 681         memcpy(data, cache->data + cache_offset, cache_size);
 682         return cache_size;
 683 }
 684
 685 static ssize_t
 686 dso_cache__read(struct dso *dso, struct machine *machine,
 687                 u64 offset, u8 *data, ssize_t size)
 688 {
 689         struct dso_cache *cache;
 690         struct dso_cache *old;
 691         ssize_t ret;
 692
 693         do {
 694                 u64 cache_offset;
 695
 696                 cache = zalloc(sizeof(*cache) + DSO__DATA_CACHE_SIZE);
 697                 if (!cache)
 698                         return -ENOMEM;
 699
 700                 pthread_mutex_lock(&dso__data_open_lock);
 701
 702                 /*
 703                  * dso->data.fd might be closed if other thread opened another
 704                  * file (dso) due to open file limit (RLIMIT_NOFILE).
 705                  */
 706                 try_to_open_dso(dso, machine);
 707
 708                 if (dso->data.fd < 0) {
 709                         ret = -errno;
 710                         dso->data.status = DSO_DATA_STATUS_ERROR;
 711                         break;
 712                 }
 713
 714                 cache_offset = offset & DSO__DATA_CACHE_MASK;
 715
 716                 ret = pread(dso->data.fd, cache->data, DSO__DATA_CACHE_SIZE, cache_offset);
 717                 if (ret <= 0)
 718                         break;
 719
 720                 cache->offset = cache_offset;
 721                 cache->size   = ret;
 722         } while (0);
 723
 724         pthread_mutex_unlock(&dso__data_open_lock);
 725
 726         if (ret > 0) {
 727                 old = dso_cache__insert(dso, cache);
 728                 if (old) {
 729                         /* we lose the race */
 730                         free(cache);
 731                         cache = old;
 732                 }
 733
 734                 ret = dso_cache__memcpy(cache, offset, data, size);
 735         }
 736
 737         if (ret <= 0)
 738                 free(cache);
 739
 740         return ret;
 741 }
 742
 743 static ssize_t dso_cache_read(struct dso *dso, struct machine *machine,
 744                               u64 offset, u8 *data, ssize_t size)
 745 {
 746         struct dso_cache *cache;
 747
 748         cache = dso_cache__find(dso, offset);
 749         if (cache)
 750                 return dso_cache__memcpy(cache, offset, data, size);
 751         else
 752                 return dso_cache__read(dso, machine, offset, data, size);
 753 }
 754
 755 /*
 756  * Reads and caches dso data DSO__DATA_CACHE_SIZE size chunks
 757  * in the rb_tree. Any read to already cached data is served
 758  * by cached data.
 759  */
 760 static ssize_t cached_read(struct dso *dso, struct machine *machine,
 761                            u64 offset, u8 *data, ssize_t size)
 762 {
 763         ssize_t r = 0;
 764         u8 *p = data;
 765
 766         do {
 767                 ssize_t ret;
 768
 769                 ret = dso_cache_read(dso, machine, offset, p, size);
 770                 if (ret < 0)
 771                         return ret;
 772
 773                 /* Reached EOF, return what we have. */
 774                 if (!ret)
 775                         break;
 776
 777                 BUG_ON(ret > size);
 778
 779                 r      += ret;
 780                 p      += ret;
 781                 offset += ret;
 782                 size   -= ret;
 783
 784         } while (size);
 785
 786         return r;
 787 }
 788
 789 static int data_file_size(struct dso *dso, struct machine *machine)
 790 {
 791         int ret = 0;
 792         struct stat st;
 793         char sbuf[STRERR_BUFSIZE];
 794
 795         if (dso->data.file_size)
 796                 return 0;
 797
 798         if (dso->data.status == DSO_DATA_STATUS_ERROR)
 799                 return -1;
 800
 801         pthread_mutex_lock(&dso__data_open_lock);
 802
 803         /*
 804          * dso->data.fd might be closed if other thread opened another
 805          * file (dso) due to open file limit (RLIMIT_NOFILE).
 806          */
 807         try_to_open_dso(dso, machine);
 808
 809         if (dso->data.fd < 0) {
 810                 ret = -errno;
 811                 dso->data.status = DSO_DATA_STATUS_ERROR;
 812                 goto out;
 813         }
 814
 815         if (fstat(dso->data.fd, &st) < 0) {
 816                 ret = -errno;
 817                 pr_err("dso cache fstat failed: %s\n",
 818                        str_error_r(errno, sbuf, sizeof(sbuf)));
 819                 dso->data.status = DSO_DATA_STATUS_ERROR;
 820                 goto out;
 821         }
 822         dso->data.file_size = st.st_size;
 823
 824 out:
 825         pthread_mutex_unlock(&dso__data_open_lock);
 826         return ret;
 827 }
 828
 829 /**
 830  * dso__data_size - Return dso data size
 831  * @dso: dso object
 832  * @machine: machine object
 833  *
 834  * Return: dso data size
 835  */
 836 off_t dso__data_size(struct dso *dso, struct machine *machine)
 837 {
 838         if (data_file_size(dso, machine))
 839                 return -1;
 840
 841         /* For now just estimate dso data size is close to file size */
 842         return dso->data.file_size;
 843 }
 844
 845 static ssize_t data_read_offset(struct dso *dso, struct machine *machine,
 846                                 u64 offset, u8 *data, ssize_t size)
 847 {
 848         if (data_file_size(dso, machine))
 849                 return -1;
 850
 851         /* Check the offset sanity. */
 852         if (offset > dso->data.file_size)
 853                 return -1;
 854
 855         if (offset + size < offset)
 856                 return -1;
 857
 858         return cached_read(dso, machine, offset, data, size);
 859 }
 860
 861 /**
 862  * dso__data_read_offset - Read data from dso file offset
 863  * @dso: dso object
 864  * @machine: machine object
 865  * @offset: file offset
 866  * @data: buffer to store data
 867  * @size: size of the @data buffer
 868  *
 869  * External interface to read data from dso file offset. Open
 870  * dso data file and use cached_read to get the data.
 871  */
 872 ssize_t dso__data_read_offset(struct dso *dso, struct machine *machine,
 873                               u64 offset, u8 *data, ssize_t size)
 874 {
 875         if (dso->data.status == DSO_DATA_STATUS_ERROR)
 876                 return -1;
 877
 878         return data_read_offset(dso, machine, offset, data, size);
 879 }
 880
 881 /**
 882  * dso__data_read_addr - Read data from dso address
 883  * @dso: dso object
 884  * @machine: machine object
 885  * @add: virtual memory address
 886  * @data: buffer to store data
 887  * @size: size of the @data buffer
 888  *
 889  * External interface to read data from dso address.
 890  */
 891 ssize_t dso__data_read_addr(struct dso *dso, struct map *map,
 892                             struct machine *machine, u64 addr,
 893                             u8 *data, ssize_t size)
 894 {
 895         u64 offset = map->map_ip(map, addr);
 896         return dso__data_read_offset(dso, machine, offset, data, size);
 897 }
 898
 899 struct map *dso__new_map(const char *name)
 900 {
 901         struct map *map = NULL;
 902         struct dso *dso = dso__new(name);
 903
 904         if (dso)
 905                 map = map__new2(0, dso, MAP__FUNCTION);
 906
 907         return map;
 908 }
 909
 910 struct dso *machine__findnew_kernel(struct machine *machine, const char *name,
 911                                     const char *short_name, int dso_type)
 912 {
 913         /*
 914          * The kernel dso could be created by build_id processing.
 915          */
 916         struct dso *dso = machine__findnew_dso(machine, name);
 917
 918         /*
 919          * We need to run this in all cases, since during the build_id
 920          * processing we had no idea this was the kernel dso.
 921          */
 922         if (dso != NULL) {
 923                 dso__set_short_name(dso, short_name, false);
 924                 dso->kernel = dso_type;
 925         }
 926
 927         return dso;
 928 }
 929
 930 /*
 931  * Find a matching entry and/or link current entry to RB tree.
 932  * Either one of the dso or name parameter must be non-NULL or the
 933  * function will not work.
 934  */
 935 static struct dso *__dso__findlink_by_longname(struct rb_root *root,
 936                                                struct dso *dso, const char *name)
 937 {
 938         struct rb_node **p = &root->rb_node;
 939         struct rb_node  *parent = NULL;
 940
 941         if (!name)
 942                 name = dso->long_name;
 943         /*
 944          * Find node with the matching name
 945          */
 946         while (*p) {
 947                 struct dso *this = rb_entry(*p, struct dso, rb_node);
 948                 int rc = strcmp(name, this->long_name);
 949
 950                 parent = *p;
 951                 if (rc == 0) {
 952                         /*
 953                          * In case the new DSO is a duplicate of an existing
 954                          * one, print a one-time warning & put the new entry
 955                          * at the end of the list of duplicates.
 956                          */
 957                         if (!dso || (dso == this))
 958                                 return this;    /* Find matching dso */
 959                         /*
 960                          * The core kernel DSOs may have duplicated long name.
 961                          * In this case, the short name should be different.
 962                          * Comparing the short names to differentiate the DSOs.
 963                          */
 964                         rc = strcmp(dso->short_name, this->short_name);
 965                         if (rc == 0) {
 966                                 pr_err("Duplicated dso name: %s\n", name);
 967                                 return NULL;
 968                         }
 969                 }
 970                 if (rc < 0)
 971                         p = &parent->rb_left;
 972                 else
 973                         p = &parent->rb_right;
 974         }
 975         if (dso) {
 976                 /* Add new node and rebalance tree */
 977                 rb_link_node(&dso->rb_node, parent, p);
 978                 rb_insert_color(&dso->rb_node, root);
 979                 dso->root = root;
 980         }
 981         return NULL;
 982 }
 983
 984 static inline struct dso *__dso__find_by_longname(struct rb_root *root,
 985                                                   const char *name)
 986 {
 987         return __dso__findlink_by_longname(root, NULL, name);
 988 }
 989
 990 void dso__set_long_name(struct dso *dso, const char *name, bool name_allocated)
 991 {
 992         struct rb_root *root = dso->root;
 993
 994         if (name == NULL)
 995                 return;
 996
 997         if (dso->long_name_allocated)
 998                 free((char *)dso->long_name);
 999
1000         if (root) {
1001                 rb_erase(&dso->rb_node, root);
1002                 /*
1003                  * __dso__findlink_by_longname() isn't guaranteed to add it
1004                  * back, so a clean removal is required here.
1005                  */
1006                 RB_CLEAR_NODE(&dso->rb_node);
1007                 dso->root = NULL;
1008         }
1009
1010         dso->long_name           = name;
1011         dso->long_name_len       = strlen(name);
1012         dso->long_name_allocated = name_allocated;
1013
1014         if (root)
1015                 __dso__findlink_by_longname(root, dso, NULL);
1016 }
1017
1018 void dso__set_short_name(struct dso *dso, const char *name, bool name_allocated)
1019 {
1020         if (name == NULL)
1021                 return;
1022
1023         if (dso->short_name_allocated)
1024                 free((char *)dso->short_name);
1025
1026         dso->short_name           = name;
1027         dso->short_name_len       = strlen(name);
1028         dso->short_name_allocated = name_allocated;
1029 }
1030
1031 static void dso__set_basename(struct dso *dso)
1032 {
1033        /*
1034         * basename() may modify path buffer, so we must pass
1035         * a copy.
1036         */
1037        char *base, *lname = strdup(dso->long_name);
1038
1039        if (!lname)
1040                return;
1041
1042        /*
1043         * basename() may return a pointer to internal
1044         * storage which is reused in subsequent calls
1045         * so copy the result.
1046         */
1047        base = strdup(basename(lname));
1048
1049        free(lname);
1050
1051        if (!base)
1052                return;
1053
1054        dso__set_short_name(dso, base, true);
1055 }
1056
1057 int dso__name_len(const struct dso *dso)
1058 {
1059         if (!dso)
1060                 return strlen("[unknown]");
1061         if (verbose > 0)
1062                 return dso->long_name_len;
1063
1064         return dso->short_name_len;
1065 }
1066
1067 bool dso__loaded(const struct dso *dso, enum map_type type)
1068 {
1069         return dso->loaded & (1 << type);
1070 }
1071
1072 bool dso__sorted_by_name(const struct dso *dso, enum map_type type)
1073 {
1074         return dso->sorted_by_name & (1 << type);
1075 }
1076
1077 void dso__set_sorted_by_name(struct dso *dso, enum map_type type)
1078 {
1079         dso->sorted_by_name |= (1 << type);
1080 }
1081
1082 struct dso *dso__new(const char *name)
1083 {
1084         struct dso *dso = calloc(1, sizeof(*dso) + strlen(name) + 1);
1085
1086         if (dso != NULL) {
1087                 int i;
1088                 strcpy(dso->name, name);
1089                 dso__set_long_name(dso, dso->name, false);
1090                 dso__set_short_name(dso, dso->name, false);
1091                 for (i = 0; i < MAP__NR_TYPES; ++i)
1092                         dso->symbols[i] = dso->symbol_names[i] = RB_ROOT;
1093                 dso->data.cache = RB_ROOT;
1094                 dso->data.fd = -1;
1095                 dso->data.status = DSO_DATA_STATUS_UNKNOWN;
1096                 dso->symtab_type = DSO_BINARY_TYPE__NOT_FOUND;
1097                 dso->binary_type = DSO_BINARY_TYPE__NOT_FOUND;
1098                 dso->is_64_bit = (sizeof(void *) == 8);
1099                 dso->loaded = 0;
1100                 dso->rel = 0;
1101                 dso->sorted_by_name = 0;
1102                 dso->has_build_id = 0;
1103                 dso->has_srcline = 1;
1104                 dso->a2l_fails = 1;
1105                 dso->kernel = DSO_TYPE_USER;
1106                 dso->needs_swap = DSO_SWAP__UNSET;
1107                 RB_CLEAR_NODE(&dso->rb_node);
1108                 dso->root = NULL;
1109                 INIT_LIST_HEAD(&dso->node);
1110                 INIT_LIST_HEAD(&dso->data.open_entry);
1111                 pthread_mutex_init(&dso->lock, NULL);
1112                 atomic_set(&dso->refcnt, 1);
1113         }
1114
1115         return dso;
1116 }
1117
1118 void dso__delete(struct dso *dso)
1119 {
1120         int i;
1121
1122         if (!RB_EMPTY_NODE(&dso->rb_node))
1123                 pr_err("DSO %s is still in rbtree when being deleted!\n",
1124                        dso->long_name);
1125         for (i = 0; i < MAP__NR_TYPES; ++i)
1126                 symbols__delete(&dso->symbols[i]);
1127
1128         if (dso->short_name_allocated) {
1129                 zfree((char **)&dso->short_name);
1130                 dso->short_name_allocated = false;
1131         }
1132
1133         if (dso->long_name_allocated) {
1134                 zfree((char **)&dso->long_name);
1135                 dso->long_name_allocated = false;
1136         }
1137
1138         dso__data_close(dso);
1139         auxtrace_cache__free(dso->auxtrace_cache);
1140         dso_cache__free(dso);
1141         dso__free_a2l(dso);
1142         zfree(&dso->symsrc_filename);
1143         pthread_mutex_destroy(&dso->lock);
1144         free(dso);
1145 }
1146
1147 struct dso *dso__get(struct dso *dso)
1148 {
1149         if (dso)
1150                 atomic_inc(&dso->refcnt);
1151         return dso;
1152 }
1153
1154 void dso__put(struct dso *dso)
1155 {
1156         if (dso && atomic_dec_and_test(&dso->refcnt))
1157                 dso__delete(dso);
1158 }
1159
1160 void dso__set_build_id(struct dso *dso, void *build_id)
1161 {
1162         memcpy(dso->build_id, build_id, sizeof(dso->build_id));
1163         dso->has_build_id = 1;
1164 }
1165
1166 bool dso__build_id_equal(const struct dso *dso, u8 *build_id)
1167 {
1168         return memcmp(dso->build_id, build_id, sizeof(dso->build_id)) == 0;
1169 }
1170
1171 void dso__read_running_kernel_build_id(struct dso *dso, struct machine *machine)
1172 {
1173         char path[PATH_MAX];
1174
1175         if (machine__is_default_guest(machine))
1176                 return;
1177         sprintf(path, "%s/sys/kernel/notes", machine->root_dir);
1178         if (sysfs__read_build_id(path, dso->build_id,
1179                                  sizeof(dso->build_id)) == 0)
1180                 dso->has_build_id = true;
1181 }
1182
1183 int dso__kernel_module_get_build_id(struct dso *dso,
1184                                     const char *root_dir)
1185 {
1186         char filename[PATH_MAX];
1187         /*
1188          * kernel module short names are of the form "[module]" and
1189          * we need just "module" here.
1190          */
1191         const char *name = dso->short_name + 1;
1192
1193         snprintf(filename, sizeof(filename),
1194                  "%s/sys/module/%.*s/notes/.note.gnu.build-id",
1195                  root_dir, (int)strlen(name) - 1, name);
1196
1197         if (sysfs__read_build_id(filename, dso->build_id,
1198                                  sizeof(dso->build_id)) == 0)
1199                 dso->has_build_id = true;
1200
1201         return 0;
1202 }
1203
1204 bool __dsos__read_build_ids(struct list_head *head, bool with_hits)
1205 {
1206         bool have_build_id = false;
1207         struct dso *pos;
1208
1209         list_for_each_entry(pos, head, node) {
1210                 if (with_hits && !pos->hit && !dso__is_vdso(pos))
1211                         continue;
1212                 if (pos->has_build_id) {
1213                         have_build_id = true;
1214                         continue;
1215                 }
1216                 if (filename__read_build_id(pos->long_name, pos->build_id,
1217                                             sizeof(pos->build_id)) > 0) {
1218                         have_build_id     = true;
1219                         pos->has_build_id = true;
1220                 }
1221         }
1222
1223         return have_build_id;
1224 }
1225
1226 void __dsos__add(struct dsos *dsos, struct dso *dso)
1227 {
1228         list_add_tail(&dso->node, &dsos->head);
1229         __dso__findlink_by_longname(&dsos->root, dso, NULL);
1230         /*
1231          * It is now in the linked list, grab a reference, then garbage collect
1232          * this when needing memory, by looking at LRU dso instances in the
1233          * list with atomic_read(&dso->refcnt) == 1, i.e. no references
1234          * anywhere besides the one for the list, do, under a lock for the
1235          * list: remove it from the list, then a dso__put(), that probably will
1236          * be the last and will then call dso__delete(), end of life.
1237          *
1238          * That, or at the end of the 'struct machine' lifetime, when all
1239          * 'struct dso' instances will be removed from the list, in
1240          * dsos__exit(), if they have no other reference from some other data
1241          * structure.
1242          *
1243          * E.g.: after processing a 'perf.data' file and storing references
1244          * to objects instantiated while processing events, we will have
1245          * references to the 'thread', 'map', 'dso' structs all from 'struct
1246          * hist_entry' instances, but we may not need anything not referenced,
1247          * so we might as well call machines__exit()/machines__delete() and
1248          * garbage collect it.
1249          */
1250         dso__get(dso);
1251 }
1252
1253 void dsos__add(struct dsos *dsos, struct dso *dso)
1254 {
1255         pthread_rwlock_wrlock(&dsos->lock);
1256         __dsos__add(dsos, dso);
1257         pthread_rwlock_unlock(&dsos->lock);
1258 }
1259
1260 struct dso *__dsos__find(struct dsos *dsos, const char *name, bool cmp_short)
1261 {
1262         struct dso *pos;
1263
1264         if (cmp_short) {
1265                 list_for_each_entry(pos, &dsos->head, node)
1266                         if (strcmp(pos->short_name, name) == 0)
1267                                 return pos;
1268                 return NULL;
1269         }
1270         return __dso__find_by_longname(&dsos->root, name);
1271 }
1272
1273 struct dso *dsos__find(struct dsos *dsos, const char *name, bool cmp_short)
1274 {
1275         struct dso *dso;
1276         pthread_rwlock_rdlock(&dsos->lock);
1277         dso = __dsos__find(dsos, name, cmp_short);
1278         pthread_rwlock_unlock(&dsos->lock);
1279         return dso;
1280 }
1281
1282 struct dso *__dsos__addnew(struct dsos *dsos, const char *name)
1283 {
1284         struct dso *dso = dso__new(name);
1285
1286         if (dso != NULL) {
1287                 __dsos__add(dsos, dso);
1288                 dso__set_basename(dso);
1289                 /* Put dso here because __dsos_add already got it */
1290                 dso__put(dso);
1291         }
1292         return dso;
1293 }
1294
1295 struct dso *__dsos__findnew(struct dsos *dsos, const char *name)
1296 {
1297         struct dso *dso = __dsos__find(dsos, name, false);
1298
1299         return dso ? dso : __dsos__addnew(dsos, name);
1300 }
1301
1302 struct dso *dsos__findnew(struct dsos *dsos, const char *name)
1303 {
1304         struct dso *dso;
1305         pthread_rwlock_wrlock(&dsos->lock);
1306         dso = dso__get(__dsos__findnew(dsos, name));
1307         pthread_rwlock_unlock(&dsos->lock);
1308         return dso;
1309 }
1310
1311 size_t __dsos__fprintf_buildid(struct list_head *head, FILE *fp,
1312                                bool (skip)(struct dso *dso, int parm), int parm)
1313 {
1314         struct dso *pos;
1315         size_t ret = 0;
1316
1317         list_for_each_entry(pos, head, node) {
1318                 if (skip && skip(pos, parm))
1319                         continue;
1320                 ret += dso__fprintf_buildid(pos, fp);
1321                 ret += fprintf(fp, " %s\n", pos->long_name);
1322         }
1323         return ret;
1324 }
1325
1326 size_t __dsos__fprintf(struct list_head *head, FILE *fp)
1327 {
1328         struct dso *pos;
1329         size_t ret = 0;
1330
1331         list_for_each_entry(pos, head, node) {
1332                 int i;
1333                 for (i = 0; i < MAP__NR_TYPES; ++i)
1334                         ret += dso__fprintf(pos, i, fp);
1335         }
1336
1337         return ret;
1338 }
1339
1340 size_t dso__fprintf_buildid(struct dso *dso, FILE *fp)
1341 {
1342         char sbuild_id[SBUILD_ID_SIZE];
1343
1344         build_id__sprintf(dso->build_id, sizeof(dso->build_id), sbuild_id);
1345         return fprintf(fp, "%s", sbuild_id);
1346 }
1347
1348 size_t dso__fprintf(struct dso *dso, enum map_type type, FILE *fp)
1349 {
1350         struct rb_node *nd;
1351         size_t ret = fprintf(fp, "dso: %s (", dso->short_name);
1352
1353         if (dso->short_name != dso->long_name)
1354                 ret += fprintf(fp, "%s, ", dso->long_name);
1355         ret += fprintf(fp, "%s, %sloaded, ", map_type__name[type],
1356                        dso__loaded(dso, type) ? "" : "NOT ");
1357         ret += dso__fprintf_buildid(dso, fp);
1358         ret += fprintf(fp, ")\n");
1359         for (nd = rb_first(&dso->symbols[type]); nd; nd = rb_next(nd)) {
1360                 struct symbol *pos = rb_entry(nd, struct symbol, rb_node);
1361                 ret += symbol__fprintf(pos, fp);
1362         }
1363
1364         return ret;
1365 }
1366
1367 enum dso_type dso__type(struct dso *dso, struct machine *machine)
1368 {
1369         int fd;
1370         enum dso_type type = DSO__TYPE_UNKNOWN;
1371
1372         fd = dso__data_get_fd(dso, machine);
1373         if (fd >= 0) {
1374                 type = dso__type_fd(fd);
1375                 dso__data_put_fd(dso);
1376         }
1377
1378         return type;
1379 }
1380
1381 int dso__strerror_load(struct dso *dso, char *buf, size_t buflen)
1382 {
1383         int idx, errnum = dso->load_errno;
1384         /*
1385          * This must have a same ordering as the enum dso_load_errno.
1386          */
1387         static const char *dso_load__error_str[] = {
1388         "Internal tools/perf/ library error",
1389         "Invalid ELF file",
1390         "Can not read build id",
1391         "Mismatching build id",
1392         "Decompression failure",
1393         };
1394
1395         BUG_ON(buflen == 0);
1396
1397         if (errnum >= 0) {
1398                 const char *err = str_error_r(errnum, buf, buflen);
1399
1400                 if (err != buf)
1401                         scnprintf(buf, buflen, "%s", err);
1402
1403                 return 0;
1404         }
1405
1406         if (errnum <  __DSO_LOAD_ERRNO__START || errnum >= __DSO_LOAD_ERRNO__END)
1407                 return -1;
1408
1409         idx = errnum - __DSO_LOAD_ERRNO__START;
1410         scnprintf(buf, buflen, "%s", dso_load__error_str[idx]);
1411         return 0;
1412 }