]> git.sommitrealweird.co.uk Git - twirssi-net-twitter-lite.git/blobdiff - twirssi.pl
Update friend requests on Twitter (only) to support cursors instead of pages
[twirssi-net-twitter-lite.git] / twirssi.pl
index 42718dd7340ec25c8ca47a94ae0d6894cd51eb7e..0abb396b1756e7acf3371b3e4f880d68da3b89fe 100644 (file)
@@ -6,12 +6,13 @@ use HTML::Entities;
 use File::Temp;
 use LWP::Simple;
 use Data::Dumper;
 use File::Temp;
 use LWP::Simple;
 use Data::Dumper;
+use Encode;
 $Data::Dumper::Indent = 1;
 
 use vars qw($VERSION %IRSSI);
 
 $Data::Dumper::Indent = 1;
 
 use vars qw($VERSION %IRSSI);
 
-$VERSION = "2.2.4beta";
-my ($REV) = '$Rev: 647 $' =~ /(\d+)/;
+$VERSION = "2.3.0beta";
+my ($REV) = '$Rev: 687 $' =~ /(\d+)/;
 %IRSSI = (
     authors     => 'Dan Boger',
     contact     => 'zigdon@gmail.com',
 %IRSSI = (
     authors     => 'Dan Boger',
     contact     => 'zigdon@gmail.com',
@@ -20,7 +21,7 @@ my ($REV) = '$Rev: 647 $' =~ /(\d+)/;
       . 'Can optionally set your bitlbee /away message to same',
     license => 'GNU GPL v2',
     url     => 'http://twirssi.com',
       . 'Can optionally set your bitlbee /away message to same',
     license => 'GNU GPL v2',
     url     => 'http://twirssi.com',
-    changed => '$Date: 2009-06-04 16:02:51 -0700 (Thu, 04 Jun 2009) $',
+    changed => '$Date: 2009-08-07 01:24:53 -0700 (Fri, 07 Aug 2009) $',
 );
 
 my $window;
 );
 
 my $window;
@@ -37,6 +38,8 @@ my %tweet_cache;
 my %id_map;
 my $failwhale  = 0;
 my $first_call = 1;
 my %id_map;
 my $failwhale  = 0;
 my $first_call = 1;
+my $child_pid;
+my %fix_replies_index;
 
 my %irssi_to_mirc_colors = (
     '%k' => '01',
 
 my %irssi_to_mirc_colors = (
     '%k' => '01',
@@ -88,7 +91,7 @@ sub cmd_direct_as {
         if ( $twits{$username}
             ->new_direct_message( { user => $target, text => $text } ) )
         {
         if ( $twits{$username}
             ->new_direct_message( { user => $target, text => $text } ) )
         {
-            &notice("DM sent to $target");
+            &notice("DM sent to $target: $text");
             $nicks{$target} = time;
         } else {
             my $error;
             $nicks{$target} = time;
         } else {
             my $error;
@@ -182,7 +185,8 @@ sub cmd_retweet_as {
         unless (
             $twits{$username}->update(
                 {
         unless (
             $twits{$username}->update(
                 {
-                    status                => $data,
+                    status => $data,
+
                     # in_reply_to_status_id => $id_map{ lc $nick }[$id]
                 }
             )
                     # in_reply_to_status_id => $id_map{ lc $nick }[$id]
                 }
             )
@@ -438,6 +442,10 @@ sub cmd_login {
     my $pass;
     if ($data) {
         ( $user, $pass ) = split ' ', $data, 2;
     my $pass;
     if ($data) {
         ( $user, $pass ) = split ' ', $data, 2;
+        unless ($pass) {
+            &notice("usage: /twitter_login <username>[\@<service>] <password>");
+            return;
+        }
     } elsif ( my $autouser = Irssi::settings_get_str("twitter_usernames")
         and my $autopass = Irssi::settings_get_str("twitter_passwords") )
     {
     } elsif ( my $autouser = Irssi::settings_get_str("twitter_usernames")
         and my $autopass = Irssi::settings_get_str("twitter_passwords") )
     {
@@ -493,11 +501,32 @@ sub cmd_login {
     $twit = "Net::$service"->new(
         username => $user,
         password => $pass,
     $twit = "Net::$service"->new(
         username => $user,
         password => $pass,
-        source   => "twirssi"
+        source   => "twirssi",
+        ssl      => Irssi::settings_get_bool("twirssi_avoid_ssl") ? 0 : 1,
     );
 
     );
 
+    unless ($twit) {
+        &notice("Failed to create Net::$service object!  Aborting.");
+        return;
+    }
+
+    if ( my $timeout = Irssi::settings_get_int("twitter_timeout")
+        and $twit->can('ua') )
+    {
+        $twit->ua->timeout($timeout);
+    }
+
     unless ( $twit->verify_credentials() ) {
         &notice("Login as $user\@$service failed");
     unless ( $twit->verify_credentials() ) {
         &notice("Login as $user\@$service failed");
+
+        if ( not Irssi::settings_get_bool("twirssi_avoid_ssl") ) {
+            &notice(
+                "It's possible you're missing one of the modules required for "
+                  . "SSL logins.  Try setting twirssi_avoid_ssl to on.  See "
+                  . "http://cpansearch.perl.org/src/GAAS/libwww-perl-5.831/README.SSL "
+                  . "for the detailed requirements." );
+        }
+
         $twit = undef;
         if ( keys %twits ) {
             &cmd_switch( ( keys %twits )[0], $server, $win );
         $twit = undef;
         if ( keys %twits ) {
             &cmd_switch( ( keys %twits )[0], $server, $win );
@@ -523,12 +552,6 @@ sub cmd_login {
         &notice( "loaded friends: ", scalar keys %friends );
         if ( Irssi::settings_get_bool("twirssi_first_run") ) {
             Irssi::settings_set_bool( "twirssi_first_run", 0 );
         &notice( "loaded friends: ", scalar keys %friends );
         if ( Irssi::settings_get_bool("twirssi_first_run") ) {
             Irssi::settings_set_bool( "twirssi_first_run", 0 );
-            unless ( exists $friends{twirssi} ) {
-                &notice("Welcome to twirssi!"
-                      . "  Perhaps you should add \@twirssi to your friends list,"
-                      . " so you can be notified when a new version is release?"
-                      . "  Just type /twitter_friend twirssi." );
-            }
         }
         %nicks = %friends;
         $nicks{$user} = 0;
         }
         %nicks = %friends;
         $nicks{$user} = 0;
@@ -538,6 +561,68 @@ sub cmd_login {
     }
 }
 
     }
 }
 
+sub cmd_add_follow {
+    my ( $data, $server, $win ) = @_;
+
+    unless ($data) {
+        &notice("Usage: /twitter_add_follow_extra <username>");
+        return;
+    }
+
+    $data =~ s/^\s+|\s+$//;
+    $data =~ s/^\@//;
+    $data = lc $data;
+
+    if ( exists $id_map{__fixreplies}{"$user\@$defservice"}{$data} ) {
+        &notice("Already following all replies by \@$data");
+        return;
+    }
+
+    $id_map{__fixreplies}{"$user\@$defservice"}{$data} = 1;
+    &notice("Will now follow all replies by \@$data");
+}
+
+sub cmd_del_follow {
+    my ( $data, $server, $win ) = @_;
+
+    unless ($data) {
+        &notice("Usage: /twitter_del_follow_extra <username>");
+        return;
+    }
+
+    $data =~ s/^\s+|\s+$//;
+    $data =~ s/^\@//;
+    $data = lc $data;
+
+    unless ( exists $id_map{__fixreplies}{"$user\@$defservice"}{$data} ) {
+        &notice("Wasn't following all replies by \@$data");
+        return;
+    }
+
+    delete $id_map{__fixreplies}{"$user\@$defservice"}{$data};
+    &notice("Will no longer follow all replies by \@$data");
+}
+
+sub cmd_list_follow {
+    my ( $data, $server, $win ) = @_;
+
+    my $found = 0;
+    foreach my $suser ( sort keys %{ $id_map{__fixreplies} } ) {
+        my $frusers;
+        foreach my $fruser ( sort keys %{ $id_map{__fixreplies}{$suser} } ) {
+            $frusers = $frusers ? "$frusers, $fruser" : $fruser;
+        }
+        if ($frusers) {
+            $found = 1;
+            &notice("Following all replies as \@$suser: $frusers");
+        }
+    }
+
+    unless ($found) {
+        &notice("Not following all replies by anyone");
+    }
+}
+
 sub cmd_add_search {
     my ( $data, $server, $win ) = @_;
 
 sub cmd_add_search {
     my ( $data, $server, $win ) = @_;
 
@@ -614,8 +699,8 @@ sub cmd_upgrade {
 
     my $loc = Irssi::settings_get_str("twirssi_location");
     unless ( -w $loc ) {
 
     my $loc = Irssi::settings_get_str("twirssi_location");
     unless ( -w $loc ) {
-        &notice(
-"$loc isn't writable, can't upgrade.  Perhaps you need to /set twirssi_location?"
+        &notice( "$loc isn't writable, can't upgrade." .
+                 "  Perhaps you need to /set twirssi_location?"
         );
         return;
     }
         );
         return;
     }
@@ -625,8 +710,8 @@ sub cmd_upgrade {
         eval { use Digest::MD5; };
 
         if ($@) {
         eval { use Digest::MD5; };
 
         if ($@) {
-            &notice(
-"Failed to load Digest::MD5.  Try '/twirssi_upgrade nomd5' to skip MD5 verification"
+            &notice( "Failed to load Digest::MD5." . 
+                     "  Try '/twirssi_upgrade nomd5' to skip MD5 verification"
             );
             return;
         }
             );
             return;
         }
@@ -640,8 +725,8 @@ sub cmd_upgrade {
         }
 
         unless ( open( CUR, $loc ) ) {
         }
 
         unless ( open( CUR, $loc ) ) {
-            &notice(
-"Failed to read $loc.  Check that /set twirssi_location is set to the correct location."
+            &notice( "Failed to read $loc." .
+                     "  Check that /set twirssi_location is set to the correct location."
             );
             return;
         }
             );
             return;
         }
@@ -662,10 +747,17 @@ sub cmd_upgrade {
     &notice("Downloading twirssi from $URL");
     LWP::Simple::getstore( $URL, "$loc.upgrade" );
 
     &notice("Downloading twirssi from $URL");
     LWP::Simple::getstore( $URL, "$loc.upgrade" );
 
+    unless ( -s "$loc.upgrade" ) {
+        &notice("Failed to save $loc.upgrade."
+              . "  Check that /set twirssi_location is set to the correct location."
+        );
+        return;
+    }
+
     unless ( $data or Irssi::settings_get_bool("twirssi_upgrade_beta") ) {
         unless ( open( NEW, "$loc.upgrade" ) ) {
     unless ( $data or Irssi::settings_get_bool("twirssi_upgrade_beta") ) {
         unless ( open( NEW, "$loc.upgrade" ) ) {
-            &notice(
-"Failed to read $loc.upgrade.  Check that /set twirssi_location is set to the correct location."
+            &notice("Failed to read $loc.upgrade."
+                  . "  Check that /set twirssi_location is set to the correct location."
             );
             return;
         }
             );
             return;
         }
@@ -700,18 +792,26 @@ sub cmd_upgrade {
 
 sub load_friends {
     my $fh   = shift;
 
 sub load_friends {
     my $fh   = shift;
+    my $cursor = -1;
     my $page = 1;
     my %new_friends;
     eval {
     my $page = 1;
     my %new_friends;
     eval {
-        while (1)
+        while ($page < 11 and $cursor ne "0")
         {
             print $fh "type:debug Loading friends page $page...\n"
               if ( $fh and &debug );
         {
             print $fh "type:debug Loading friends page $page...\n"
               if ( $fh and &debug );
-            my $friends = $twit->friends( { page => $page } );
-            last unless $friends;
+            my $friends;
+            if (ref $twit =~ /^Net::Twitter/) {
+                $friends = $twit->friends( { cursor => $cursor } );
+                last unless $friends;
+                $cursor = $friends->{next_cursor};
+                $friends = $friends->{users};
+            } else {
+                $friends = $twit->friends( { page => $page } );
+                last unless $friends;
+            }
             $new_friends{ $_->{screen_name} } = time foreach @$friends;
             $page++;
             $new_friends{ $_->{screen_name} } = time foreach @$friends;
             $page++;
-            last if @$friends == 0 or $page == 10;
         }
     };
 
         }
     };
 
@@ -755,12 +855,13 @@ sub get_updates {
 
     my ( $fh, $filename ) = File::Temp::tempfile();
     binmode( $fh, ":utf8" );
 
     my ( $fh, $filename ) = File::Temp::tempfile();
     binmode( $fh, ":utf8" );
-    my $pid = fork();
+    $child_pid = fork();
 
 
-    if ($pid) {    # parent
-        Irssi::timeout_add_once( 5000, 'monitor_child', [ $filename, 0 ] );
-        Irssi::pidwait_add($pid);
-    } elsif ( defined $pid ) {    # child
+    if ($child_pid) {    # parent
+        Irssi::timeout_add_once( 5000, 'monitor_child',
+            [ "$filename.done", 0 ] );
+        Irssi::pidwait_add($child_pid);
+    } elsif ( defined $child_pid ) {    # child
         close STDIN;
         close STDOUT;
         close STDERR;
         close STDIN;
         close STDOUT;
         close STDERR;
@@ -771,6 +872,20 @@ sub get_updates {
         my %context_cache;
         foreach ( keys %twits ) {
             $error++ unless &do_updates( $fh, $_, $twits{$_}, \%context_cache );
         my %context_cache;
         foreach ( keys %twits ) {
             $error++ unless &do_updates( $fh, $_, $twits{$_}, \%context_cache );
+
+            if ( $id_map{__fixreplies}{$_} ) {
+                my @frusers = sort keys %{ $id_map{__fixreplies}{$_} };
+
+                $error++
+                  unless &get_timeline( $fh, $frusers[ $fix_replies_index{$_} ],
+                    $_, $twits{$_}, \%context_cache );
+
+                $fix_replies_index{$_}++;
+                $fix_replies_index{$_} = 0
+                  if $fix_replies_index{$_} >= @frusers;
+                print $fh "id:$fix_replies_index{$_} ",
+                          "account:$_ type:fix_replies_index\n";
+            }
         }
 
         print $fh "__friends__\n";
         }
 
         print $fh "__friends__\n";
@@ -800,6 +915,7 @@ sub get_updates {
             print $fh "-- $new_poll";
         }
         close $fh;
             print $fh "-- $new_poll";
         }
         close $fh;
+        rename $filename, "$filename.done";
         exit;
     } else {
         &ccrap("Failed to fork for updating: $!");
         exit;
     } else {
         &ccrap("Failed to fork for updating: $!");
@@ -852,7 +968,7 @@ sub do_updates {
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
-        $text = &hilight($text);
+        $text =~ s/[\n\r]/ /g;
         my $reply = "tweet";
         if (    Irssi::settings_get_bool("show_reply_context")
             and $t->{in_reply_to_screen_name} ne $username
         my $reply = "tweet";
         if (    Irssi::settings_get_bool("show_reply_context")
             and $t->{in_reply_to_screen_name} ne $username
@@ -872,13 +988,13 @@ sub do_updates {
 
             if ($context) {
                 my $ctext = decode_entities( $context->{text} );
 
             if ($context) {
                 my $ctext = decode_entities( $context->{text} );
-                $ctext = &hilight($ctext);
+                $ctext =~ s/[\n\r]/ /g;
                 if ( $context->{truncated} and ref($obj) ne 'Net::Identica' ) {
                     $ctext .=
                         " -- http://twitter.com/$context->{user}{screen_name}"
                       . "/status/$context->{id}";
                 }
                 if ( $context->{truncated} and ref($obj) ne 'Net::Identica' ) {
                     $ctext .=
                         " -- http://twitter.com/$context->{user}{screen_name}"
                       . "/status/$context->{id}";
                 }
-                printf $fh "id:%d account:%s nick:%s type:tweet %s\n",
+                printf $fh "id:%s account:%s nick:%s type:tweet %s\n",
                   $context->{id}, $username,
                   $context->{user}{screen_name}, $ctext;
                 $reply = "reply";
                   $context->{id}, $username,
                   $context->{user}{screen_name}, $ctext;
                 $reply = "reply";
@@ -891,14 +1007,16 @@ sub do_updates {
             $text .= " -- http://twitter.com/$t->{user}{screen_name}"
               . "/status/$t->{id}";
         }
             $text .= " -- http://twitter.com/$t->{user}{screen_name}"
               . "/status/$t->{id}";
         }
-        printf $fh "id:%d account:%s nick:%s type:%s %s\n",
+        printf $fh "id:%s account:%s nick:%s type:%s %s\n",
           $t->{id}, $username, $t->{user}{screen_name}, $reply, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
           $t->{id}, $username, $t->{user}{screen_name}, $reply, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
-    printf $fh "id:%d account:%s type:last_id timeline\n",
+    printf $fh "id:%s account:%s type:last_id timeline\n",
       $new_poll_id, $username;
 
       $new_poll_id, $username;
 
-    print scalar localtime, " - Polling for replies" if &debug;
+    print scalar localtime, " - Polling for replies since ",
+      $id_map{__last_id}{$username}{reply}
+      if &debug;
     $new_poll_id = 0;
     eval {
         if ( $id_map{__last_id}{$username}{reply} )
     $new_poll_id = 0;
     eval {
         if ( $id_map{__last_id}{$username}{reply} )
@@ -921,16 +1039,16 @@ sub do_updates {
           if exists $friends{ $t->{user}{screen_name} };
 
         my $text = decode_entities( $t->{text} );
           if exists $friends{ $t->{user}{screen_name} };
 
         my $text = decode_entities( $t->{text} );
-        $text = &hilight($text);
+        $text =~ s/[\n\r]/ /g;
         if ( $t->{truncated} ) {
             $text .= " -- http://twitter.com/$t->{user}{screen_name}"
               . "/status/$t->{id}";
         }
         if ( $t->{truncated} ) {
             $text .= " -- http://twitter.com/$t->{user}{screen_name}"
               . "/status/$t->{id}";
         }
-        printf $fh "id:%d account:%s nick:%s type:tweet %s\n",
+        printf $fh "id:%s account:%s nick:%s type:tweet %s\n",
           $t->{id}, $username, $t->{user}{screen_name}, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
           $t->{id}, $username, $t->{user}{screen_name}, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
-    printf $fh "id:%d account:%s type:last_id reply\n", $new_poll_id, $username;
+    printf $fh "id:%s account:%s type:last_id reply\n", $new_poll_id, $username;
 
     print scalar localtime, " - Polling for DMs" if &debug;
     $new_poll_id = 0;
 
     print scalar localtime, " - Polling for DMs" if &debug;
     $new_poll_id = 0;
@@ -952,12 +1070,12 @@ sub do_updates {
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
 
     foreach my $t ( reverse @$tweets ) {
         my $text = decode_entities( $t->{text} );
-        $text = &hilight($text);
-        printf $fh "id:%d account:%s nick:%s type:dm %s\n",
+        $text =~ s/[\n\r]/ /g;
+        printf $fh "id:%s account:%s nick:%s type:dm %s\n",
           $t->{id}, $username, $t->{sender_screen_name}, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
           $t->{id}, $username, $t->{sender_screen_name}, $text;
         $new_poll_id = $t->{id} if $new_poll_id < $t->{id};
     }
-    printf $fh "id:%d account:%s type:last_id dm\n", $new_poll_id, $username;
+    printf $fh "id:%s account:%s type:last_id dm\n", $new_poll_id, $username;
 
     print scalar localtime, " - Polling for subscriptions" if &debug;
     if ( $obj->can('search') and $id_map{__searches}{$username} ) {
 
     print scalar localtime, " - Polling for subscriptions" if &debug;
     if ( $obj->can('search') and $id_map{__searches}{$username} ) {
@@ -987,13 +1105,13 @@ sub do_updates {
             }
 
             $id_map{__searches}{$username}{$topic} = $search->{max_id};
             }
 
             $id_map{__searches}{$username}{$topic} = $search->{max_id};
-            printf $fh "id:%d account:%s type:searchid topic:%s\n",
+            printf $fh "id:%s account:%s type:searchid topic:%s\n",
               $search->{max_id}, $username, $topic;
 
             foreach my $t ( reverse @{ $search->{results} } ) {
                 my $text = decode_entities( $t->{text} );
               $search->{max_id}, $username, $topic;
 
             foreach my $t ( reverse @{ $search->{results} } ) {
                 my $text = decode_entities( $t->{text} );
-                $text = &hilight($text);
-                printf $fh "id:%d account:%s nick:%s type:search topic:%s %s\n",
+                $text =~ s/[\n\r]/ /g;
+                printf $fh "id:%s account:%s nick:%s type:search topic:%s %s\n",
                   $t->{id}, $username, $t->{from_user}, $topic, $text;
                 $new_poll_id = $t->{id}
                   if not $new_poll_id
                   $t->{id}, $username, $t->{from_user}, $topic, $text;
                 $new_poll_id = $t->{id}
                   if not $new_poll_id
@@ -1007,6 +1125,86 @@ sub do_updates {
     return 1;
 }
 
     return 1;
 }
 
+sub get_timeline {
+    my ( $fh, $target, $username, $obj, $cache ) = @_;
+    my $tweets;
+    my $last_id = $id_map{__last_id}{$username}{$target};
+
+    print $fh "type:debug get_timeline(" .
+              "$fix_replies_index{$username}=$target > $last_id) started." .
+              "  username = $username\n";
+    eval {
+        $tweets = $obj->user_timeline(
+            {
+                id => $target,
+                (   
+                    $last_id ? (since_id => $last_id) : ()
+                ),
+            }
+        );
+    };
+
+    if ($@) {
+        print $fh
+          "type:debug Error during user_timeline($target) call: Aborted.\n";
+        print $fh "type:debug : $_\n" foreach split /\n/, Dumper($@);
+        return undef;
+    }
+
+    unless ($tweets) {
+        print $fh
+          "type:debug user_timeline($target) call returned undef!  Aborted\n";
+        return 1;
+    }
+
+    foreach my $t ( reverse @$tweets ) {
+        my $text = decode_entities( $t->{text} );
+        $text =~ s/[\n\r]/ /g;
+        my $reply = "tweet";
+        if (    Irssi::settings_get_bool("show_reply_context")
+            and $t->{in_reply_to_screen_name} ne $username
+            and $t->{in_reply_to_screen_name}
+            and not exists $friends{ $t->{in_reply_to_screen_name} } )
+        {
+            $nicks{ $t->{in_reply_to_screen_name} } = time;
+            my $context;
+            unless ( $cache->{ $t->{in_reply_to_status_id} } ) {
+                eval {
+                    $cache->{ $t->{in_reply_to_status_id} } =
+                      $obj->show_status( $t->{in_reply_to_status_id} );
+                };
+
+            }
+            $context = $cache->{ $t->{in_reply_to_status_id} };
+
+            if ($context) {
+                my $ctext = decode_entities( $context->{text} );
+                $ctext =~ s/[\n\r]/ /g;
+                if ( $context->{truncated} and ref($obj) ne 'Net::Identica' ) {
+                    $ctext .=
+                        " -- http://twitter.com/$context->{user}{screen_name}"
+                      . "/status/$context->{id}";
+                }
+                printf $fh "id:%s account:%s nick:%s type:tweet %s\n",
+                  $context->{id}, $username,
+                  $context->{user}{screen_name}, $ctext;
+                $reply = "reply";
+            }
+        }
+        if ( $t->{truncated} and ref($obj) ne 'Net::Identica' ) {
+            $text .= " -- http://twitter.com/$t->{user}{screen_name}"
+              . "/status/$t->{id}";
+        }
+        printf $fh "id:%s account:%s nick:%s type:%s %s\n",
+          $t->{id}, $username, $t->{user}{screen_name}, $reply, $text;
+        $last_id = $t->{id} if $last_id < $t->{id};
+    }
+    printf $fh "id:%s account:%s type:last_id_fixreplies %s\n",
+        $last_id, $username, $target;
+
+    return 1;
+}
+
 sub monitor_child {
     my ($data)   = @_;
     my $filename = $data->[0];
 sub monitor_child {
     my ($data)   = @_;
     my $filename = $data->[0];
@@ -1020,6 +1218,7 @@ sub monitor_child {
     # pretend
 
     if ( open FILE, $filename ) {
     # pretend
 
     if ( open FILE, $filename ) {
+        binmode FILE, ":utf8";
         my @lines;
         my %new_cache;
         while (<FILE>) {
         my @lines;
         my %new_cache;
         while (<FILE>) {
@@ -1038,6 +1237,13 @@ sub monitor_child {
                 }
             }
 
                 }
             }
 
+            if ( $meta{type} and $meta{type} eq 'fix_replies_index' ) {
+                $fix_replies_index{ $meta{account} } = $meta{id};
+                print "fix_replies_index for $meta{account} set to $meta{id}"
+                  if &debug;
+                next;
+            }
+
             if ( not $meta{type} or $meta{type} !~ /searchid|last_id/ ) {
                 if ( exists $meta{id} and exists $new_cache{ $meta{id} } ) {
                     next;
             if ( not $meta{type} or $meta{type} !~ /searchid|last_id/ ) {
                 if ( exists $meta{id} and exists $new_cache{ $meta{id} } ) {
                     next;
@@ -1132,6 +1338,11 @@ sub monitor_child {
                   $meta{id}
                   if $id_map{__last_id}{"$meta{account}\@$meta{service}"}{$_} <
                       $meta{id};
                   $meta{id}
                   if $id_map{__last_id}{"$meta{account}\@$meta{service}"}{$_} <
                       $meta{id};
+            } elsif ( $meta{type} eq 'last_id_fixreplies' ) {
+                $id_map{__last_id}{"$meta{account}\@$meta{service}"}{$_} =
+                  $meta{id}
+                  if $id_map{__last_id}{"$meta{account}\@$meta{service}"}{$_} <
+                      $meta{id};
             } elsif ( $meta{type} eq 'error' ) {
                 push @lines, [ MSGLEVEL_MSGS, $_ ];
             } elsif ( $meta{type} eq 'debug' ) {
             } elsif ( $meta{type} eq 'error' ) {
                 push @lines, [ MSGLEVEL_MSGS, $_ ];
             } elsif ( $meta{type} eq 'debug' ) {
@@ -1150,8 +1361,16 @@ sub monitor_child {
             }
 
             if (/^-- (\d+)$/) {
             }
 
             if (/^-- (\d+)$/) {
-                ($new_last_poll) = ($1);
-                last;
+                $new_last_poll = $1;
+                if ( $new_last_poll >= $last_poll ) {
+                    last;
+                } else {
+                    print "Impossible!  ",
+                      "new_last_poll=$new_last_poll < last_poll=$last_poll!"
+                      if &debug;
+                    undef $new_last_poll;
+                    next;
+                }
             }
             my ( $f, $t ) = split ' ', $_;
             $nicks{$f} = $friends{$f} = $t;
             }
             my ( $f, $t ) = split ' ', $_;
             $nicks{$f} = $friends{$f} = $t;
@@ -1167,7 +1386,8 @@ sub monitor_child {
                     $window->printformat(
                         $line->[0],
                         "twirssi_" . $line->[1],
                     $window->printformat(
                         $line->[0],
                         "twirssi_" . $line->[1],
-                        @$line[ 2 .. $#$line ]
+                        @$line[ 2 .. $#$line - 1 ],
+                        &hilight( $line->[-1] )
                     );
                 }
             }
                     );
                 }
             }
@@ -1188,6 +1408,12 @@ sub monitor_child {
             }
             $last_poll = $new_last_poll;
 
             }
             $last_poll = $new_last_poll;
 
+            # make sure the pid is removed from the waitpid list
+            Irssi::pidwait_remove($child_pid);
+
+            # and that we don't leave any zombies behind, somehow
+            wait();
+
             # save id_map hash
             if ( keys %id_map
                 and my $file =
             # save id_map hash
             if ( keys %id_map
                 and my $file =
@@ -1213,6 +1439,8 @@ sub monitor_child {
             [ $filename, $attempt + 1 ] );
     } else {
         print "Giving up on polling $filename" if &debug;
             [ $filename, $attempt + 1 ] );
     } else {
         print "Giving up on polling $filename" if &debug;
+        Irssi::pidwait_remove($child_pid);
+        wait();
         unlink $filename unless &debug;
 
         return unless Irssi::settings_get_bool("twirssi_notify_timeouts");
         unlink $filename unless &debug;
 
         return unless Irssi::settings_get_bool("twirssi_notify_timeouts");
@@ -1334,7 +1562,7 @@ sub sig_complete {
           keys %{ $id_map{__indexes} };
     }
 
           keys %{ $id_map{__indexes} };
     }
 
-    if ( $linestart =~ /^\/twitter_unfriend\s*$/ )
+    if ( $linestart =~ /^\/(twitter_unfriend|twitter_add_follow_extra|twitter_del_follow_extra)\s*$/ )
     {    # /twitter_unfriend gets a nick
         $word =~ s/^@//;
         push @$complist, grep /^\Q$word/i,
     {    # /twitter_unfriend gets a nick
         $word =~ s/^@//;
         push @$complist, grep /^\Q$word/i,
@@ -1382,7 +1610,7 @@ sub hilight {
     if ( Irssi::settings_get_str("twirssi_topic_color") ) {
         my $c = Irssi::settings_get_str("twirssi_topic_color");
         $c = $irssi_to_mirc_colors{$c};
     if ( Irssi::settings_get_str("twirssi_topic_color") ) {
         my $c = Irssi::settings_get_str("twirssi_topic_color");
         $c = $irssi_to_mirc_colors{$c};
-        $text =~ s/(^|\W)\#([-\w]+)/$1\cC$c\#$2\cO/g if $c;
+        $text =~ s/(^|\W)(\#|\!)([-\w]+)/$1\cC$c$2$3\cO/g if $c;
     }
     $text =~ s/[\n\r]/ /g;
 
     }
     $text =~ s/[\n\r]/ /g;
 
@@ -1411,7 +1639,7 @@ sub shorten {
                     "Set short_url_args to username,API_key or change your",
                     "short_url_provider."
                 );
                     "Set short_url_args to username,API_key or change your",
                     "short_url_provider."
                 );
-                return $data;
+                return decode "utf8", $data;
             }
         }
 
             }
         }
 
@@ -1428,7 +1656,7 @@ sub shorten {
         }
     }
 
         }
     }
 
-    return $data;
+    return decode "utf8", $data;
 }
 
 sub normalize_username {
 }
 
 sub normalize_username {
@@ -1487,6 +1715,7 @@ Irssi::settings_add_str( "twirssi", "twirssi_replies_store",
     ".irssi/scripts/twirssi.json" );
 
 Irssi::settings_add_int( "twirssi", "twitter_friends_poll", 600 );
     ".irssi/scripts/twirssi.json" );
 
 Irssi::settings_add_int( "twirssi", "twitter_friends_poll", 600 );
+Irssi::settings_add_int( "twirssi", "twitter_timeout",      30 );
 
 Irssi::settings_add_bool( "twirssi", "twirssi_upgrade_beta",      0 );
 Irssi::settings_add_bool( "twirssi", "tweet_to_away",             0 );
 
 Irssi::settings_add_bool( "twirssi", "twirssi_upgrade_beta",      0 );
 Irssi::settings_add_bool( "twirssi", "tweet_to_away",             0 );
@@ -1501,6 +1730,7 @@ Irssi::settings_add_bool( "twirssi", "twirssi_notify_timeouts",   1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_hilights",          1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_always_shorten",    0 );
 Irssi::settings_add_bool( "twirssi", "tweet_window_input",        0 );
 Irssi::settings_add_bool( "twirssi", "twirssi_hilights",          1 );
 Irssi::settings_add_bool( "twirssi", "twirssi_always_shorten",    0 );
 Irssi::settings_add_bool( "twirssi", "tweet_window_input",        0 );
+Irssi::settings_add_bool( "twirssi", "twirssi_avoid_ssl",         0 );
 
 $last_poll = time - &get_poll_time;
 $window = Irssi::window_find_name( Irssi::settings_get_str('twitter_window') );
 
 $last_poll = time - &get_poll_time;
 $window = Irssi::window_find_name( Irssi::settings_get_str('twitter_window') );
@@ -1532,6 +1762,9 @@ if ($window) {
     Irssi::command_bind( "twitter_list_subscriptions", "cmd_list_search" );
     Irssi::command_bind( "twirssi_upgrade",            "cmd_upgrade" );
     Irssi::command_bind( "twitter_updates",            "get_updates" );
     Irssi::command_bind( "twitter_list_subscriptions", "cmd_list_search" );
     Irssi::command_bind( "twirssi_upgrade",            "cmd_upgrade" );
     Irssi::command_bind( "twitter_updates",            "get_updates" );
+    Irssi::command_bind( "twitter_add_follow_extra",   "cmd_add_follow" );
+    Irssi::command_bind( "twitter_del_follow_extra",   "cmd_del_follow" );
+    Irssi::command_bind( "twitter_list_follow_extra",  "cmd_list_follow" );
     Irssi::command_bind( "bitlbee_away",               "update_away" );
     if ( Irssi::settings_get_bool("twirssi_use_reply_aliases") ) {
         Irssi::command_bind( "reply",    "cmd_reply" );
     Irssi::command_bind( "bitlbee_away",               "update_away" );
     if ( Irssi::settings_get_bool("twirssi_use_reply_aliases") ) {
         Irssi::command_bind( "reply",    "cmd_reply" );
@@ -1557,23 +1790,34 @@ if ($window) {
     Irssi::command_bind(
         "twirssi_version",
         sub {
     Irssi::command_bind(
         "twirssi_version",
         sub {
-            &notice("Twirssi v$VERSION (r$REV); "
-                  . "Net::Twitter v$Net::Twitter::VERSION. "
+            &notice(
+                "Twirssi v$VERSION (r$REV); "
+                  . (
+                    $Net::Twitter::VERSION
+                    ? "Net::Twitter v$Net::Twitter::VERSION. "
+                    : ""
+                  )
+                  . (
+                    $Net::Identica::VERSION
+                    ? "Net::Identica v$Net::Identica::VERSION. "
+                    : ""
+                  )
                   . "JSON in use: "
                   . JSON::Any::handler()
                   . "JSON in use: "
                   . JSON::Any::handler()
-                  . ".  See details at http://twirssi.com/" );
+                  . ".  See details at http://twirssi.com/"
+            );
         }
     );
     Irssi::command_bind(
         }
     );
     Irssi::command_bind(
-        "twitter_friend",
+        "twitter_follow",
         &gen_cmd(
         &gen_cmd(
-            "/twitter_friend <username>",
+            "/twitter_follow <username>",
             "create_friend",
             sub { &notice("Following $_[0]"); $nicks{ $_[0] } = time; }
         )
     );
     Irssi::command_bind(
             "create_friend",
             sub { &notice("Following $_[0]"); $nicks{ $_[0] } = time; }
         )
     );
     Irssi::command_bind(
-        "twitter_unfriend",
+        "twitter_unfollow",
         &gen_cmd(
             "/twitter_unfriend <username>",
             "destroy_friend",
         &gen_cmd(
             "/twitter_unfriend <username>",
             "destroy_friend",
@@ -1588,6 +1832,22 @@ if ($window) {
             sub { &notice("Device updated to $_[0]"); }
         )
     );
             sub { &notice("Device updated to $_[0]"); }
         )
     );
+    Irssi::command_bind(
+        "twitter_block",
+        &gen_cmd(
+            "/twitter_block <username>",
+            "create_block",
+            sub { &notice("Blocked $_[0]"); }
+        )
+    );
+    Irssi::command_bind(
+        "twitter_unblock",
+        &gen_cmd(
+            "/twitter_unblock <username>",
+            "destroy_block",
+            sub { &notice("Unblock $_[0]"); }
+        )
+    );
     Irssi::signal_add_last( 'complete word' => \&sig_complete );
 
     &notice("  %Y<%C(%B^%C)%N                   TWIRSSI v%R$VERSION%N (r$REV)");
     Irssi::signal_add_last( 'complete word' => \&sig_complete );
 
     &notice("  %Y<%C(%B^%C)%N                   TWIRSSI v%R$VERSION%N (r$REV)");
@@ -1608,6 +1868,7 @@ if ($window) {
                 &notice( sprintf "Loaded old replies from %d contact%s.",
                     $num, ( $num == 1 ? "" : "s" ) );
                 &cmd_list_search;
                 &notice( sprintf "Loaded old replies from %d contact%s.",
                     $num, ( $num == 1 ? "" : "s" ) );
                 &cmd_list_search;
+                &cmd_list_follow;
             };
         } else {
             &notice("Failed to load old replies from $file: $!");
             };
         } else {
             &notice("Failed to load old replies from $file: $!");