r548 - Add new setting twirssi_always_shorten to force all URLs to be shortened
[twirssi-net-twitter-lite.git] / twirssi.pl
index f0567d591a37c27be0ea3c458449cffe58e9169f..ced5f956938c6afc737599577e1e00d559c11412 100644 (file)
@@ -11,8 +11,8 @@ $Data::Dumper::Indent = 1;
 
 use vars qw($VERSION %IRSSI);
 
-$VERSION = "2.0";
-my ($REV) = '$Rev: 443 $' =~ /(\d+)/;
+$VERSION = "2.1.3beta";
+my ($REV) = '$Rev: 548 $' =~ /(\d+)/;
 %IRSSI = (
     authors     => 'Dan Boger',
     contact     => 'zigdon@gmail.com',
@@ -21,7 +21,7 @@ my ($REV) = '$Rev: 443 $' =~ /(\d+)/;
       . 'Can optionally set your bitlbee /away message to same',
     license => 'GNU GPL v2',
     url     => 'http://twirssi.com',
-    changed => '$Date: 2009-01-29 18:25:38 -0800 (Thu, 29 Jan 2009) $',
+    changed => '$Date: 2009-03-13 10:45:47 -0700 (Fri, 13 Mar 2009) $',
 );
 
 my $window;
@@ -34,6 +34,7 @@ my %nicks;
 my %friends;
 my %tweet_cache;
 my %id_map;
+my $failwhale            = 0;
 my %irssi_to_mirc_colors = (
     '%k' => '01',
     '%r' => '05',
@@ -81,21 +82,26 @@ sub cmd_direct_as {
     return unless &valid_username($username);
 
     eval {
-        unless ( $twits{$username}
+        if ( $twits{$username}
             ->new_direct_message( { user => $target, text => $text } ) )
         {
+            &notice("DM sent to $target");
+            $nicks{$target} = time;
+        } else {
+            my $error;
+            eval {
+                $error = JSON::Any->jsonToObj( $twits{$username}->get_error() );
+                $error = $error->{error};
+            };
+            die $error if $error;
             &notice("DM to $target failed");
-            return;
         }
     };
 
     if ($@) {
-        &notice("DM caused an error.  Aborted");
+        &notice("DM caused an error: $@");
         return;
     }
-
-    &notice("DM sent to $target");
-    $nicks{$target} = time;
 }
 
 sub cmd_tweet {
@@ -118,6 +124,7 @@ sub cmd_tweet_as {
     return unless &logged_in($twit);
 
     $data =~ s/^\s+|\s+$//;
+    $data =~ s/\s\s+/ /g;
     my ( $username, $data ) = split ' ', $data, 2;
 
     unless ( $username and $data ) {
@@ -127,27 +134,22 @@ sub cmd_tweet_as {
 
     return unless &valid_username($username);
 
-    if ( &too_long($data) and Irssi::settings_get_str("short_url_provider") ) {
-        foreach my $url ( $data =~ /(https?:\/\/\S+[\w\/])/g ) {
-            eval {
-                my $short = makeashorterlink($url);
-                $data =~ s/\Q$url/$short/g;
-            };
-        }
-    }
+    $data = &shorten($data);
 
     return if &too_long($data);
 
+    my $success = 1;
     eval {
         unless ( $twits{$username}->update($data) )
         {
             &notice("Update failed");
-            return;
+            $success = 0;
         }
     };
+    return unless $success;
 
     if ($@) {
-        &notice("Update caused an error.  Aborted.");
+        &notice("Update caused an error: $@.  Aborted.");
         return;
     }
 
@@ -217,21 +219,18 @@ sub cmd_reply_as {
         return;
     }
 
-    # remove any @nick at the beginning of the reply, as we'll add it anyway
-    $data =~ s/^\s*\@?$nick\s*//;
-    $data = "\@$nick " . $data;
+    if ( Irssi::settings_get_bool("twirssi_replies_autonick") ) {
 
-    if ( Irssi::settings_get_str("short_url_provider") ) {
-        foreach my $url ( $data =~ /(https?:\/\/\S+[\w\/])/g ) {
-            eval {
-                my $short = makeashorterlink($url);
-                $data =~ s/\Q$url/$short/g;
-            };
-        }
+        # remove any @nick at the beginning of the reply, as we'll add it anyway
+        $data =~ s/^\s*\@?$nick\s*//;
+        $data = "\@$nick " . $data;
     }
 
+    $data = &shorten($data);
+
     return if &too_long($data);
 
+    my $success = 1;
     eval {
         unless (
             $twits{$username}->update(
@@ -243,12 +242,13 @@ sub cmd_reply_as {
           )
         {
             &notice("Update failed");
-            return;
+            $success = 0;
         }
     };
+    return unless $success;
 
     if ($@) {
-        &notice("Update caused an error.  Aborted");
+        &notice("Update caused an error: $@.  Aborted");
         return;
     }
 
@@ -275,13 +275,15 @@ sub gen_cmd {
             return;
         }
 
+        my $success = 1;
         eval {
             unless ( $twit->$api_name($data) )
             {
                 &notice("$api_name failed");
-                return;
+                $success = 0;
             }
         };
+        return unless $success;
 
         if ($@) {
             &notice("$api_name caused an error.  Aborted.");
@@ -309,23 +311,18 @@ sub cmd_logout {
     my ( $data, $server, $win ) = @_;
 
     $data =~ s/^\s+|\s+$//g;
+    $data = $user unless $data;
     return unless &valid_username($data);
 
-    if ($data) {
-        &notice("Logging out $data...");
-        $twits{$data}->end_session();
-        delete $twits{$data};
+    &notice("Logging out $data...");
+    $twits{$data}->end_session();
+    delete $twits{$data};
+    undef $twit;
+    if ( keys %twits ) {
+        &cmd_switch( ( keys %twits )[0], $server, $win );
     } else {
-        &notice("Logging out $user...");
-        $twit->end_session();
-        undef $twit;
-        delete $twits{$user};
-        if ( keys %twits ) {
-            &cmd_switch( ( keys %twits )[0], $server, $win );
-        } else {
-            Irssi::timeout_remove($poll) if $poll;
-            undef $poll;
-        }
+        Irssi::timeout_remove($poll) if $poll;
+        undef $poll;
     }
 }
 
@@ -339,14 +336,26 @@ sub cmd_login {
     {
         my @user = split /\s*,\s*/, $autouser;
         my @pass = split /\s*,\s*/, $autopass;
-        if ( @user != @pass ) {
+
+        # if a password ends with a '\', it was meant to escape the comma, and
+        # it should be concatinated with the next one
+        my @unescaped;
+        while (@pass) {
+            my $p = shift @pass;
+            while ( $p =~ /\\$/ and @pass ) {
+                $p .= "," . shift @pass;
+            }
+            push @unescaped, $p;
+        }
+
+        if ( @user != @unescaped ) {
             &notice("Number of usernames doesn't match "
                   . "the number of passwords - auto-login failed" );
         } else {
             my ( $u, $p );
-            while ( @user and @pass ) {
+            while ( @user and @unescaped ) {
                 $u = shift @user;
-                $p = shift @pass;
+                $p = shift @unescaped;
                 &cmd_login("$u $p");
             }
             return;
@@ -401,7 +410,7 @@ sub cmd_login {
         }
         %nicks = %friends;
         $nicks{$user} = 0;
-        &get_updates;
+        return 1;
     } else {
         &notice("Login failed");
     }
@@ -418,6 +427,12 @@ sub cmd_add_search {
 
     $data =~ s/^\s+|\s+$//;
     $data = lc $data;
+
+    unless ($data) {
+        &notice("Usage: /twitter_subscribe <topic>");
+        return;
+    }
+
     if ( exists $id_map{__searches}{$user}{$data} ) {
         &notice("Already had a subscription for '$data'");
         return;
@@ -437,6 +452,12 @@ sub cmd_del_search {
     }
     $data =~ s/^\s+|\s+$//;
     $data = lc $data;
+
+    unless ($data) {
+        &notice("Usage: /twitter_unsubscribe <topic>");
+        return;
+    }
+
     unless ( exists $id_map{__searches}{$user}{$data} ) {
         &notice("No subscription found for '$data'");
         return;
@@ -477,15 +498,8 @@ sub cmd_upgrade {
         return;
     }
 
-    if ( not -x "/usr/bin/md5sum" and not $data ) {
-        &notice(
-"/usr/bin/md5sum can't be found - try '/twirssi_upgrade nomd5' to skip MD5 verification"
-        );
-        return;
-    }
-
     my $md5;
-    unless ($data) {
+    unless ( $data or Irssi::settings_get_bool("twirssi_upgrade_beta") ) {
         eval { use Digest::MD5; };
 
         if ($@) {
@@ -519,11 +533,14 @@ sub cmd_upgrade {
         }
     }
 
-    my $URL = "http://twirssi.com/twirssi.pl";
+    my $URL =
+      Irssi::settings_get_bool("twirssi_upgrade_beta")
+      ? "http://github.com/zigdon/twirssi/raw/master/twirssi.pl"
+      : "http://twirssi.com/twirssi.pl";
     &notice("Downloading twirssi from $URL");
     LWP::Simple::getstore( $URL, "$loc.upgrade" );
 
-    unless ($data) {
+    unless ( $data or Irssi::settings_get_bool("twirssi_upgrade_beta") ) {
         unless ( open( NEW, "$loc.upgrade" ) ) {
             &notice(
 "Failed to read $loc.upgrade.  Check that /set twirssi_location is set to the correct location."
@@ -615,6 +632,7 @@ sub get_updates {
     return unless &logged_in($twit);
 
     my ( $fh, $filename ) = File::Temp::tempfile();
+    binmode( $fh, ":utf8" );
     my $pid = fork();
 
     if ($pid) {    # parent
@@ -670,13 +688,11 @@ sub do_updates {
 
     print scalar localtime, " - Polling for updates for $username" if &debug;
     my $tweets;
-    eval {
-        $tweets = $obj->friends_timeline(
-            { since => HTTP::Date::time2str($last_poll) } );
-    };
+    eval { $tweets = $obj->friends_timeline(); };
 
     if ($@) {
-        print $fh "type:debug Error during friends_timeline call.  Aborted.\n";
+        print $fh
+          "type:debug Error during friends_timeline call: $@.  Aborted.\n";
         return 1;
     }
 
@@ -696,8 +712,7 @@ sub do_updates {
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
-        $text =~ s/(^|\W)\@([-\w]+)/$1\cC12\@$2\cO/g;
-        $text =~ s/[\n\r]/ /g;
+        $text = &hilight($text);
         my $reply = "tweet";
         if (    Irssi::settings_get_bool("show_reply_context")
             and $t->{in_reply_to_screen_name} ne $username
@@ -712,17 +727,22 @@ sub do_updates {
 
             if ($context) {
                 my $ctext = decode_entities( $context->{text} );
-                $ctext =~ s/(^|\W)\@([-\w]+)/$1\cC12\@$2\cO/g;
-                $ctext =~ s/[\n\r]/ /g;
+                $ctext = &hilight($ctext);
                 printf $fh "id:%d account:%s nick:%s type:tweet %s\n",
                   $context->{id}, $username,
                   $context->{user}{screen_name}, $ctext;
+                if ( $context->{truncated} ) {
+                    printf $fh "id:%s account:%s nick:%s type:ellispis %s\n",
+                      $context->{id} . "-url", $username,
+                      $context->{user}{screen_name},
+"http://twitter.com/$context->{user}{screen_name}/status/$context->{id}";
+                }
                 $reply = "reply";
             } elsif ($@) {
                 print $fh "type:debug request to get context failed: $@";
             } else {
                 print $fh
-"type:debug Failed to get context from $t->{in_reply_to_screen_name}"
+"type:debug Failed to get context from $t->{in_reply_to_screen_name}\n"
                   if &debug;
             }
         }
@@ -731,6 +751,12 @@ sub do_updates {
               and not Irssi::settings_get_bool("show_own_tweets");
         printf $fh "id:%d account:%s nick:%s type:%s %s\n",
           $t->{id}, $username, $t->{user}{screen_name}, $reply, $text;
+        if ( $t->{truncated} ) {
+            printf $fh "id:%s account:%s nick:%s type:ellispis %s\n",
+              $t->{id} . "-url", $username,
+              $t->{user}{screen_name},
+              "http://twitter.com/$t->{user}{screen_name}/status/$t->{id}";
+        }
     }
 
     print scalar localtime, " - Polling for replies" if &debug;
@@ -749,10 +775,15 @@ sub do_updates {
           if exists $friends{ $t->{user}{screen_name} };
 
         my $text = decode_entities( $t->{text} );
-        $text =~ s/(^|\W)\@([-\w]+)/$1\cC12\@$2\cO/g;
-        $text =~ s/[\n\r]/ /g;
+        $text = &hilight($text);
         printf $fh "id:%d account:%s nick:%s type:tweet %s\n",
           $t->{id}, $username, $t->{user}{screen_name}, $text;
+        if ( $t->{truncated} ) {
+            printf $fh "id:%s account:%s nick:%s type:ellispis %s\n",
+              $t->{id} . "-url", $username,
+              $t->{user}{screen_name},
+              "http://twitter.com/$t->{user}{screen_name}/status/$t->{id}";
+        }
     }
 
     print scalar localtime, " - Polling for DMs" if &debug;
@@ -769,8 +800,7 @@ sub do_updates {
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
-        $text =~ s/(^|\W)\@([-\w]+)/$1\cC12\@$2\cO/g;
-        $text =~ s/[\n\r]/ /g;
+        $text = &hilight($text);
         printf $fh "id:%d account:%s nick:%s type:dm %s\n",
           $t->{id}, $username, $t->{sender_screen_name}, $text;
     }
@@ -779,6 +809,8 @@ sub do_updates {
     if ( $obj->can('search') and $id_map{__searches}{$username} ) {
         my $search;
         foreach my $topic ( sort keys %{ $id_map{__searches}{$username} } ) {
+            print $fh "type:debug searching for $topic since ",
+              "$id_map{__searches}{$username}{$topic}\n";
             eval {
                 $search = $obj->search(
                     {
@@ -796,7 +828,8 @@ sub do_updates {
 
             unless ( $search->{max_id} ) {
                 print $fh
-"type:debug Invalid search results when searching for $topic.  Aborted.\n";
+"type:debug Invalid search results when searching for $topic.",
+                  "  Aborted.\n";
                 return 1;
             }
 
@@ -806,9 +839,7 @@ sub do_updates {
 
             foreach my $t ( reverse @{ $search->{results} } ) {
                 my $text = decode_entities( $t->{text} );
-                $text =~ s/(^|\W)\@([-\w]+)/$1\cC12\@$2\cO/g;
-                $text =~ s/(^|\W)\#([-\w]+)/$1\cC5\#$2\cO/g;
-                $text =~ s/[\n\r]/ /g;
+                $text = &hilight($text);
                 printf $fh "id:%d account:%s nick:%s type:search topic:%s %s\n",
                   $t->{id}, $username, $t->{from_user}, $topic, $text;
             }
@@ -828,8 +859,15 @@ sub monitor_child {
     print scalar localtime, " - checking child log at $filename ($attempt)"
       if &debug;
     my $new_last_poll;
+
+    # first time we run we don't want to print out *everything*, so we just
+    # pretend
+    my $suppress = 0;
+    $suppress = 1 unless keys %tweet_cache;
+
     if ( open FILE, $filename ) {
         my @lines;
+        my %new_cache;
         while (<FILE>) {
             chomp;
             last if /^__friends__/;
@@ -841,8 +879,18 @@ sub monitor_child {
                 }
             }
 
-            next if exists $meta{id} and exists $tweet_cache{ $meta{id} };
-            $tweet_cache{ $meta{id} } = time;
+            if ( not $meta{type} or $meta{type} ne 'searchid' ) {
+                if ( exists $meta{id} and exists $new_cache{ $meta{id} } ) {
+                    next;
+                }
+
+                $new_cache{ $meta{id} } = time;
+
+                if ( exists $meta{id} and exists $tweet_cache{ $meta{id} } ) {
+                    next;
+                }
+            }
+
             my $account = "";
             if ( $meta{account} ne $user ) {
                 $account = "$meta{account}: ";
@@ -862,7 +910,9 @@ sub monitor_child {
 
             my $hilight_color =
               $irssi_to_mirc_colors{ Irssi::settings_get_str("hilight_color") };
-            if ( $_ =~ /\@($meta{account})\W/ ) {
+            if ( ( $_ =~ /\@$meta{account}\W/i )
+                && Irssi::settings_get_bool("twirssi_hilights") )
+            {
                 $meta{nick} = "\cC$hilight_color$meta{nick}\cO";
                 $hilight = MSGLEVEL_HILIGHT;
             }
@@ -873,6 +923,9 @@ sub monitor_child {
                     ( MSGLEVEL_PUBLIC | $hilight ),
                     $meta{type}, $account, $meta{nick}, $marker, $_
                   ];
+            } elsif ( $meta{type} eq 'ellispis' ) {
+                push @lines,
+                  [ MSGLEVEL_PUBLIC, "tweet", $account, $meta{nick}, "", $_ ];
             } elsif ( $meta{type} eq 'search' ) {
                 push @lines,
                   [
@@ -880,6 +933,14 @@ sub monitor_child {
                     $meta{type}, $account, $meta{topic},
                     $meta{nick}, $marker,  $_
                   ];
+                if (
+                    exists $id_map{__searches}{ $meta{account} }{ $meta{topic} }
+                    and $meta{id} >
+                    $id_map{__searches}{ $meta{account} }{ $meta{topic} } )
+                {
+                    $id_map{__searches}{ $meta{account} }{ $meta{topic} } =
+                      $meta{id};
+                }
             } elsif ( $meta{type} eq 'dm' ) {
                 push @lines,
                   [
@@ -887,9 +948,17 @@ sub monitor_child {
                     $meta{type}, $account, $meta{nick}, $_
                   ];
             } elsif ( $meta{type} eq 'searchid' ) {
-                $id_map{__searches}{ $meta{account} }{ $meta{topic} } =
-                  $meta{id};
-                print "Search '$meta{topic}' id set to $meta{id}" if &debug;
+                print "Search '$meta{topic}' returned id $meta{id}" if &debug;
+                if (
+                    exists $id_map{__searches}{ $meta{account} }{ $meta{topic} }
+                    and $meta{id} >=
+                    $id_map{__searches}{ $meta{account} }{ $meta{topic} } )
+                {
+                    $id_map{__searches}{ $meta{account} }{ $meta{topic} } =
+                      $meta{id};
+                } elsif (&debug) {
+                    print "Search '$meta{topic}' returned invalid id $meta{id}";
+                }
             } elsif ( $meta{type} eq 'error' ) {
                 push @lines, [ MSGLEVEL_MSGS, $_ ];
             } elsif ( $meta{type} eq 'debug' ) {
@@ -911,12 +980,16 @@ sub monitor_child {
 
         if ($new_last_poll) {
             print "new last_poll = $new_last_poll" if &debug;
-            for my $line (@lines) {
-                $window->printformat(
-                    $line->[0],
-                    "twirssi_" . $line->[1],
-                    @$line[ 2 .. $#$line ]
-                );
+            if ($suppress) {
+                print "First call, not printing updates" if &debug;
+            } else {
+                foreach my $line (@lines) {
+                    $window->printformat(
+                        $line->[0],
+                        "twirssi_" . $line->[1],
+                        @$line[ 2 .. $#$line ]
+                    );
+                }
             }
 
             close FILE;
@@ -924,9 +997,13 @@ sub monitor_child {
               or warn "Failed to remove $filename: $!"
               unless &debug;
 
+            # commit the pending cache lines to the actual cache, now that
+            # we've printed our output
+            %tweet_cache = ( %tweet_cache, %new_cache );
+
             # keep enough cached tweets, to make sure we don't show duplicates.
             foreach ( keys %tweet_cache ) {
-                next if $tweet_cache{$_} >= $last_poll;
+                next if $tweet_cache{$_} >= $last_poll - 3600;
                 delete $tweet_cache{$_};
             }
             $last_poll = $new_last_poll;
@@ -940,21 +1017,50 @@ sub monitor_child {
                     print JSON JSON::Any->objToJson( \%id_map );
                     close JSON;
                 } else {
-                    &notice("Failed to write replies to $file: $!");
+                    &ccrap("Failed to write replies to $file: $!");
                 }
             }
+            $failwhale = 0;
             return;
         }
     }
 
     close FILE;
 
-    if ( $attempt < 12 ) {
+    if ( $attempt < 24 ) {
         Irssi::timeout_add_once( 5000, 'monitor_child',
             [ $filename, $attempt + 1 ] );
     } else {
-        &notice("Giving up on polling $filename");
+        print "Giving up on polling $filename" if &debug;
         unlink $filename unless &debug;
+
+        return unless Irssi::settings_get_bool("twirssi_notify_timeouts");
+
+        my $since;
+        my @time = localtime($last_poll);
+        if ( time - $last_poll < 24 * 60 * 60 ) {
+            $since = sprintf( "%d:%02d", @time[ 2, 1 ] );
+        } else {
+            $since = scalar localtime($last_poll);
+        }
+
+        if ( not $failwhale and time - $last_poll > 60 * 60 ) {
+            foreach my $whale (
+                q{     v  v        v},
+                q{     |  |  v     |  v},
+                q{     | .-, |     |  |},
+                q{  .--./ /  |  _.---.| },
+                q{   '-. (__..-"       \\},
+                q{      \\          a    |},
+                q{       ',.__.   ,__.-'/},
+                q{         '--/_.'----'`}
+              )
+            {
+                &ccrap($whale);
+            }
+            $failwhale = 1;
+        }
+        &ccrap("Haven't been able to get updated tweets since $since");
     }
 }
 
@@ -966,6 +1072,10 @@ sub notice {
     $window->print( "%R***%n @_", MSGLEVEL_PUBLIC );
 }
 
+sub ccrap {
+    $window->print( "%R***%n @_", MSGLEVEL_CLIENTCRAP );
+}
+
 sub update_away {
     my $data = shift;
 
@@ -979,7 +1089,7 @@ sub update_away {
             $server->send_raw("away :$data");
             return 1;
         } else {
-            &notice( "Can't find bitlbee server.",
+            &ccrap( "Can't find bitlbee server.",
                 "Update bitlbee_server or disable tweet_to_away" );
             return 0;
         }
@@ -1032,8 +1142,10 @@ sub sig_complete {
       )
     {    # /twitter_reply gets a nick:num
         $word =~ s/^@//;
-        @$complist = map { "$_:$id_map{__indexes}{$_}" } grep /^\Q$word/i,
-          sort keys %{ $id_map{__indexes} };
+        @$complist = map { "$_:$id_map{__indexes}{$_}" }
+          sort { $nicks{$b} <=> $nicks{$a} }
+          grep /^\Q$word/i,
+          keys %{ $id_map{__indexes} };
     }
 
     # /tweet, /tweet_as, /dm, /dm_as - complete @nicks (and nicks as the first
@@ -1066,6 +1178,66 @@ sub get_poll_time {
     return 60;
 }
 
+sub hilight {
+    my $text = shift;
+
+    if ( Irssi::settings_get_str("twirssi_nick_color") ) {
+        my $c = Irssi::settings_get_str("twirssi_nick_color");
+        $c = $irssi_to_mirc_colors{$c};
+        $text =~ s/(^|\W)\@([-\w]+)/$1\cC$c\@$2\cO/g if $c;
+    }
+    if ( Irssi::settings_get_str("twirssi_topic_color") ) {
+        my $c = Irssi::settings_get_str("twirssi_topic_color");
+        $c = $irssi_to_mirc_colors{$c};
+        $text =~ s/(^|\W)\#([-\w]+)/$1\cC$c\#$2\cO/g if $c;
+    }
+    $text =~ s/[\n\r]/ /g;
+
+    return $text;
+}
+
+sub shorten {
+    my $data = shift;
+
+    my $provider = Irssi::settings_get_str("short_url_provider");
+    if (
+        (
+            Irssi::settings_get_bool("twirssi_always_shorten")
+            or &too_long( $data, 1 )
+        )
+        and $provider
+      )
+    {
+        my @args;
+        if ( $provider eq 'Bitly' ) {
+            @args[ 1, 2 ] = split ',',
+              Irssi::settings_get_str("short_url_args"), 2;
+            unless ( @args == 3 ) {
+                &ccrap(
+                    "WWW::Shorten::Bitly requires a username and API key.",
+                    "Set short_url_args to username,API_key or change your",
+                    "short_url_provider."
+                );
+                return $data;
+            }
+        }
+
+        foreach my $url ( $data =~ /(https?:\/\/\S+[\w\/])/g ) {
+            eval {
+                $args[0] = $url;
+                my $short = makeashorterlink(@args);
+                if ($short) {
+                    $data =~ s/\Q$url/$short/g;
+                } else {
+                    &notice("Failed to shorten $url!");
+                }
+            };
+        }
+    }
+
+    return $data;
+}
+
 Irssi::signal_add( "send text", "event_send_text" );
 
 Irssi::theme_register(
@@ -1079,27 +1251,39 @@ Irssi::theme_register(
 );
 
 Irssi::settings_add_int( "twirssi", "twitter_poll_interval", 300 );
-Irssi::settings_add_str( "twirssi", "twitter_window",     "twitter" );
-Irssi::settings_add_str( "twirssi", "bitlbee_server",     "bitlbee" );
-Irssi::settings_add_str( "twirssi", "short_url_provider", "TinyURL" );
+Irssi::settings_add_str( "twirssi", "twitter_window",      "twitter" );
+Irssi::settings_add_str( "twirssi", "bitlbee_server",      "bitlbee" );
+Irssi::settings_add_str( "twirssi", "short_url_provider",  "TinyURL" );
+Irssi::settings_add_str( "twirssi", "short_url_args",      undef );
+Irssi::settings_add_str( "twirssi", "twitter_usernames",   undef );
+Irssi::settings_add_str( "twirssi", "twitter_passwords",   undef );
+Irssi::settings_add_str( "twirssi", "twirssi_nick_color",  "%B" );
+Irssi::settings_add_str( "twirssi", "twirssi_topic_color", "%r" );
 Irssi::settings_add_str( "twirssi", "twirssi_location",
     ".irssi/scripts/twirssi.pl" );
-Irssi::settings_add_str( "twirssi", "twitter_usernames", undef );
-Irssi::settings_add_str( "twirssi", "twitter_passwords", undef );
 Irssi::settings_add_str( "twirssi", "twirssi_replies_store",
     ".irssi/scripts/twirssi.json" );
+Irssi::settings_add_bool( "twirssi", "twirssi_upgrade_beta",      0 );
 Irssi::settings_add_bool( "twirssi", "tweet_to_away",             0 );
 Irssi::settings_add_bool( "twirssi", "show_reply_context",        0 );
 Irssi::settings_add_bool( "twirssi", "show_own_tweets",           1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_debug",             0 );
 Irssi::settings_add_bool( "twirssi", "twirssi_first_run",         1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_track_replies",     1 );
+Irssi::settings_add_bool( "twirssi", "twirssi_replies_autonick",  1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_use_reply_aliases", 0 );
+Irssi::settings_add_bool( "twirssi", "twirssi_notify_timeouts",   1 );
+Irssi::settings_add_bool( "twirssi", "twirssi_hilights",          1 );
+Irssi::settings_add_bool( "twirssi", "twirssi_always_shorten",    0 );
 Irssi::settings_add_bool( "twirssi", "tweet_window_input",        0 );
 
 $last_poll = time - &get_poll_time;
 $window = Irssi::window_find_name( Irssi::settings_get_str('twitter_window') );
 if ( !$window ) {
+    Irssi::active_win()
+      ->print( "Couldn't find a window named '"
+          . Irssi::settings_get_str('twitter_window')
+          . "', trying to create it." );
     $window =
       Irssi::Windowitem::window_create(
         Irssi::settings_get_str('twitter_window'), 1 );
@@ -1133,6 +1317,11 @@ if ($window) {
             print "nicks: ",   join ", ", sort keys %nicks;
             print "searches: ", Dumper \%{ $id_map{__searches} };
             print "last poll: $last_poll";
+            if ( open DUMP, ">/tmp/twirssi.cache.txt" ) {
+                print DUMP Dumper \%tweet_cache;
+                close DUMP;
+                print "cache written out to /tmp/twirssi.cache.txt";
+            }
         }
     );
     Irssi::command_bind(
@@ -1181,6 +1370,7 @@ if ($window) {
                 my $num = keys %{ $id_map{__indexes} };
                 &notice( sprintf "Loaded old replies from %d contact%s.",
                     $num, ( $num == 1 ? "" : "s" ) );
+                &cmd_list_search;
             };
         } else {
             &notice("Failed to load old replies from $file: $!");
@@ -1188,11 +1378,13 @@ if ($window) {
     }
 
     if ( my $provider = Irssi::settings_get_str("short_url_provider") ) {
+        &notice("Loading WWW::Shorten::$provider...");
         eval "use WWW::Shorten::$provider;";
 
         if ($@) {
             &notice(
-"Failed to load WWW::Shorten::$provider - either clear short_url_provider or install the CPAN module"
+                "Failed to load WWW::Shorten::$provider - either clear",
+                "short_url_provider or install the CPAN module"
             );
         }
     }
@@ -1201,6 +1393,7 @@ if ($window) {
         and my $autopass = Irssi::settings_get_str("twitter_passwords") )
     {
         &cmd_login();
+        &get_updates;
     }
 
 } else {