Internships / Match / Match Statistics / Applicant Survey 2004

Applicant Survey 2004

2004 APPIC Match: Survey of Internship Applicants
Summary of Survey Results

March 15, 2004


This survey of applicants who were registered for the 2004 APPIC Match was conducted via the internet between February 23 and March 15, 2004. All 3,258 applicants who registered for the APPIC Match were sent an e-mail message (along with one reminder e-mail) about the availability of the survey at a specific internet address.

Results of the survey are presented below. A total of 1,515 internship applicants (47%) completed the survey. (Approximately 200-250 applicants were prevented from taking the survey due to a technical problem with the Zoomerang web site on March 3, 2004; it is unknown how many of these applicants successfully completed the survey at a later time, after the problem was fixed).

Some of the more interesting findings from this survey include:

  1.  This year, applicants reported fewer violations of APPIC Match
      Policies by programs than in any other year since the Match was
      first conducted in 1999 (see question 9a).  

  2.  Ninety percent of applicants reported that they submitted a work
      sample (e.g., testing report, psychotherapy summary) to at least
      one site.  Of these, 14% reported difficulty submitting this work
      sample due to the new HIPAA law, with 9% being "unsure" (see 
      questions 12a and 12b).

  3.  Applicants generally supported the adoption of a "Centralized
      Application Service" if there was no cost to applicants.  However,
      support for such a system dropped dramatically as the potential
      cost to applicants increased (see question 16).

  4.  Applicants reported spending an average of $1,341.72 on the entire
      application process, including application and travel expenses (see 
      question 15).

  5.  Approximately 5% of applicants indicated that the optimal 
      internship structure for them would be a two-year, half-time 
      internship (see question 14).

  6.  Applicants submitted an average of 12.4 internship applications,
      compared to an average of 12.1 in the 2003 Match, 13.1 in the
      2002 Match, and 13.8 in the 1999 Match (see question 18).

  7.  Applicants reported that approximately 87.9% of sites complied 
      with the Match Policy that required them to notify applicants
      of their interview status (e.g., received an interview, no
      longer under consideration) no later than the date listed in 
      sites' APPIC Directory listings.  This compares to 87.6%
      last year (the first year the policy was implemented).

  8.  Only a small percentage of applicants used the APPIC Travel
      Discounts that were available (see question 17).


Missing data and "Not Applicable" responses were eliminated, and percentages do not necessarily total 100% due to rounding. Survey questions 10 and 24-29 requested open-ended comments and thus the results are not included below.


1.  Type of Doctoral Program

   Clinical    1142     76 %
   Counseling   247     16 %
   School        63      4 %
   Combined      39      3 %
   Other         21      1 %

   INTERPRETATION NOTE:  A "combined" program could mean:  (a) a doctoral
   program that defines itself as a "combined" program (e.g., clinical- 
   school), or (b) an arrangement negotiated by a student in which he/she
   integrates the curricula of two separate doctoral programs at his/her
   school.


2.  Degree Sought

   Ph.D.        963     64 %
   Psy.D.       540     36 %
   Ed.D.          1      0 %
   Other          8      1 %


3.  Is your doctoral program APA- or CPA-accredited?

   Yes         1414     94 %
   No            94      6 %


4.  Is your doctoral program:

        University Affiliated or            1320    87%
             University Based

        Free-Standing                        158    10%

        Other                                 30     2%


5.  Please check the item that applies to you (please respond even if 
   you withdrew from the Match or did not submit a Rank Order List):

        This is my FIRST time               1440    95%
        participating in the Match

        This is my SECOND time                63     4%
        participating in the Match

        Other                                  7     0%

   NOTE:  Three of the respondents who designated "other" indicated
   that this was their third time participating in the Match.


6.  Were you matched to an internship program by the APPIC Match?
   (i.e., did your official notification from National Matching
   Services indicate that you were successfully matched to an
   internship program?)

   Yes                                 1306     87%
   No                                   185     12%
   Withdrew / No rankings submitted      16      1%

   INTERPRETATION NOTE:  It appears that unmatched applicants may
   have been underrepresented in this survey (2004 APPIC Match 
   statistics indicated that 20% of participating applicants were 
   not matched).


7a. The materials and instructions provided by National Matching 
   Services (NMS) were clear and comprehensive.

   Strongly Agree      978     65 %
   Agree               467     31 %
   Neutral              24      2 % 
   Disagree             18      1 %
   Strongly Disagree    25      2 %


7b. The registration process with NMS went smoothly.

   Strongly Agree     1120     74 %
   Agree               318     21 %
   Neutral              28      2 % 
   Disagree             14      1 %
   Strongly Disagree    31      2 %


7c. The submission of my Rank Order List to NMS went smoothly.

   Strongly Agree     1183     79 %
   Agree               265     18 %
   Neutral              15      1 % 
   Disagree              7      0 %
   Strongly Disagree    29      2 %


7d. NMS was responsive to my questions and concerns
   (choose "N/A" if you never contacted NMS).

   Strongly Agree      192     61 %
   Agree                72     23 %
   Neutral              29      9 % 
   Disagree             10      3 %
   Strongly Disagree    11      4 %


7e. I am satisfied with the Match result that I received from
   the Matching Program.

   Strongly Agree      857     58 %
   Agree               287     19 %
   Neutral              92      6 % 
   Disagree             93      6 %
   Strongly Disagree   151     10 %


7f. Overall, I am satisfied with the APPIC Matching Program.

   Strongly Agree      726     48 %
   Agree               433     29 %
   Neutral             165     11 % 
   Disagree            107      7 %
   Strongly Disagree    72      5 %


8.  In December, NMS mailed a packet to each applicant registered for
   the Match that contained the applicant's password and instructions
   for submitting lists and obtaining Match results.  The instructions
   were also available on the NMS web site.  For next year, NMS is
   considering eliminating the mailing of packets in December, and
   only providing this information to applicants via the internet.

   a.  Would it be acceptable to you to have the instructions
       for submitting lists and obtaining results available for
       viewing and/or printing ONLY from the NMS web site, and not
       sent via regular mail?

       Yes                 906     60 %
       No                  481     32 %
       Unsure              125      8 %

   b.  Based on security considerations, would you be comfortable
       receiving your ROLIC (Rank Order List Input and Confirmation
       system) password from NMS via e-mail only, instead of via
       regular mail?

       Yes                 933     62 %
       No                  470     31 %
       Unsure              109      7 %


9a. In your judgment, did you experience any violation(s) of 
   APPIC Match Policies by any site?

   Yes                 117      8 %
   No                 1296     86 %
   Unsure               99      7 %

   NOTE:  This is the highest percentage of applicants responding
   "No" than in any previous APPIC survey of applicants since the first
   APPIC Match in 1999.  Results to this question from previous surveys:

                     YES    NO    UNSURE
              2003   11%    77%    12%
              2002   11%    78%    12%
              2001   10%    76%    14%
              2000   15%    74%    12%
              1999   12%    77%    11%

   It should also be noted that Match Policy 3d was changed this year to
   allow internship sites that offer more than one program in the Match to
   ask applicants to designate their preferences regarding the programs at 
   the site for which they wished to be interviewed.


9b. Did you reveal any ranking information (e.g., "You are my
   first choice") to any site?

   Yes                  15      1 %
   No                 1485     98 %
   Unsure               11      1 %


9c. Did you experience inappropriate pressure from any site to
   reveal your rankings?

   Yes                  28      2 %
   No                 1452     96 %
   Unsure               28      2 %


9d. Did any site reveal ranking information to you (e.g., "You
   are our first choice")?

   Yes                  34      2 %
   No                 1443     96 %
   Unsure               29      2 %


10.  (Open-ended question)


11a. In general, my doctoral program faculty provided a high level
    of support for my internship application and interview experience.

    Strongly Agree      500     33 %
    Agree               531     35 %
    Neutral             214     14 % 
    Disagree            181     12 %
    Strongly Disagree    86      6 %


11b. I worked closely with other students in my program throughout
    the process (e.g., sharing information, giving and receiving
    support).

    Strongly Agree      469     31 %
    Agree               543     36 %
    Neutral             208     14 % 
    Disagree            204     14 %
    Strongly Disagree    86      6 %


11c. I took the selection process very seriously (i.e., I worked hard
    on my application; invested much time and energy; etc.).

    Strongly Agree     1214     80 %
    Agree               253     17 %
    Neutral              27      2 % 
    Disagree              5      0 %
    Strongly Disagree    12      1 %


11d. I attended local or national workshops that focused on the 
    internship selection process.

    Strongly Agree      163     11 %
    Agree               218     15 %
    Neutral             114      8 % 
    Disagree            342     23 %
    Strongly Disagree   666     44 %


11e. I used reference materials (e.g., the APAGS workbook, other books)
    to educate myself about the internship selection process.

    Strongly Agree      551     36 %
    Agree               440     29 %
    Neutral             122      8 % 
    Disagree            183     12 %
    Strongly Disagree   214     14 %

    NOTE:  A total of 65% responded "Strongly Agree" or "Agree" to this
    item, compared to 54% who responded that way to a similar question 
    in last year's survey.


12a. AT LEAST ONE site to which I applied requested that I include a
    "work sample" (e.g., testing report, psychotherapy summary) as part
    of my application materials.

    Yes                1356     90 %
    No                  145     10 %
    Unsure                5      0 %


12b. (Please answer this next item ONLY if you WERE required to submit a
    work sample to any site):  The new federal HIPAA laws (Health 
    Insurance Portability and Accountability Act) made it difficult for
    me to submit a work sample.

    Yes                 192     14 %
    No                 1070     77 %
    Unsure              121      9 %


13.  If you used the APPIC Online Directory, please answer the
    questions below using the following scale:

     a.  The APPIC Online Directory was easy to navigate.

           Strongly Agree      600     40 %
           Agree               741     49 %
           Neutral             100      7 % 
           Disagree             44      3 %
           Strongly Disagree    15      1 %

     b.  The information provided in the APPIC Online Directory was
         comprehensive enough for me to successfully locate internship
         programs of interest.

           Strongly Agree      550     37 %
           Agree               737     49 %
           Neutral             123      8 % 
           Disagree             73      5 %
           Strongly Disagree    18      1 %

     c.  The information provided in the APPIC Online Directory was
         accurate and up-to-date.

           Strongly Agree      281     19 %
           Agree               738     49 %
           Neutral             272     18 % 
           Disagree            187     12 %
           Strongly Disagree    22      1 %

     d.  In general, the Online Directory's links to programs' web
         sites and e-mail addresses functioned properly.

           Strongly Agree      453     30 %
           Agree               826     55 %
           Neutral             153     10 % 
           Disagree             58      4 %
           Strongly Disagree     6      0 %

     e.  Overall, I am satisfied with the APPIC Online Directory.

           Strongly Agree      482     32 %
           Agree               848     57 %
           Neutral             120      8 % 
           Disagree             33      2 %
           Strongly Disagree    10      1 %


14.  If you could have designated the optimal internship structure for
    yourself, which of the following would you have preferred?

    A one-year, full-time internship        1387    92%
    A two-year, half-time internship          69     5%
    Other                                     48     3%


15.  APPIC would like to know how much you spent on various aspects of
    the application and selection process.

    Application costs involve preparing and submitting applications to
    sites, and may include such items as obtaining official copies of
    transcripts, printing, copying, regular and overnight mailing, etc.

    Travel costs may include such items as air or train fare, car
    rental, taxi, gasoline, hotel, etc.

    Please enter your BEST ESTIMATE of the dollar amount spent, digits
    only, in each of the following areas (e.g., one hundred dollars 
    would be entered as simply 100).

    a.  Application costs            Mean   =  $218.44
                                     SD     =   150.24
                                     Mode   =  $200.00
                                     Median =  $200.00
                                     Range  =  $0 to $1,200.00

    b.  Travel costs                 Mean   = $1049.47
                                     SD     =  1140.66
                                     Mode   = $2000.00
                                     Median = $ 700.00
                                     Range  = $0 to $10,000.00

    b.  Other (e.g., phone calls)    Mean   = $  73.80
                                     SD     =   190.27
                                     Mode   = $   0.00
                                     Median = $  25.00
                                     Range  = $0 to $3,000.00


16.  APPIC is considering the adoption of a "Centralized Application 
    Service" that would allow you to create and update your AAPI entirely
    through the internet. In other words, instead of using your word 
    processor, you would enter your application information into APPIC's 
    web site and, when ready to submit your applications, you would have
    them transmitted directly to selected internship sites via the 
    internet. Similarly, your transcripts, letters of recommendation, 
    verification form, etc. all would be uploaded to APPIC's web site and 
    transmitted electronically to sites. Applicants would maintain complete
    control as to which internship sites would be permitted to view their 
    application materials. 

    Thus, you would not need to pay any mailing costs, and you would only
    be required to purchase one copy of your transcript from your 
    university (since that single copy would be electronically transmitted
    to all of your sites). 

    APPIC has been researching various options in providing this service,
    and has found that costs and functionality vary widely. Keeping in mind
    how much you spent this year in preparing and submitting your 
    applications, please let us know whether or not you believe that APPIC 
    should adopt such a system, based on the various cost options listed
    below:

    a.  APPIC should adopt this system if there was NO COST to the 
        applicant.

           Strongly Agree     1017     68 %
           Agree               289     19 %
           Neutral             109      7 % 
           Disagree             53      4 %
           Strongly Disagree    29      2 %


    b.  APPIC should adopt this system if there was a cost of $100 to
        each applicant.

           Strongly Agree      333     22 %
           Agree               502     33 %
           Neutral             256     17 % 
           Disagree            228     15 %
           Strongly Disagree   182     12 %


    c.  APPIC should adopt this system if there was a cost of $200 to
        each applicant.

           Strongly Agree       95      6 %
           Agree               146     10 %
           Neutral             228     15 % 
           Disagree            464     31 %
           Strongly Disagree   560     38 %


    d.  APPIC should adopt this system if there was a cost of $300 to
        each applicant.

           Strongly Agree       44      3 %
           Agree                48      3 %
           Neutral             134      9 % 
           Disagree            330     22 %
           Strongly Disagree   935     63 %


17.  Did you use any of the APPIC travel discounts to purchase an 
    airline ticket, hotel room, and/or rental car?

    Yes                      89       6 %
    No                     1290      86 %
    Didn't know about it    123       8 %


18.  How many internship sites did you apply to (i.e., how many 
    separate internship applications did you submit)?

    Mean  = 12.4           Median = 12
    SD    =  5.1           Mode   = 12
    Range =  0 to 67

    INTERPRETATION NOTE:  Only one applicant reported applying to
    more than 35 internship sites.


19.  Considering ALL of the sites that you applied to, how many 
    notified you of your interview status (e.g., received an 
    interview, no longer under consideration) on or before the
    "interview notification date" listed in their APPIC Directory
    information?  (Please estimate if you don't know the exact
    number)

    Mean  = 10.9           Median = 11
    SD    =  5.0           Mode   = 12


20.  How many interviews (telephone or on-site) were you offered?

    Mean  =  6.7           Median = 6
    SD    =  3.6           Mode   = 5


21.  How many programs did you include on your final Rank Order List
    (i.e., how many program code numbers were listed)?

    Mean  =  6.7           Median = 6
    SD    =  3.7           Mode   = 5

    NOTE:  Use caution when comparing these numbers with the results
    from questions 18-20, since some sites used multiple program code
    numbers.


22.  What was the rank of the program that you were matched to?

    (Please see the 2004 APPIC Match Statistics for this information)


23.  How many separate round-trip airline tickets did you purchase
    in order to attend on-site interviews or open houses?

    Mean  =  1.6           Median = 1
    SD    =  2.1           Mode   = 0
    Range =  0 - 15

    A total of 42.6% purchased no airline tickets, while 16.4%
    purchased one ticket.